BR112020012594A2 - imageamento hiperespectral em um ambiente com deficiência de luz - Google Patents

imageamento hiperespectral em um ambiente com deficiência de luz Download PDF

Info

Publication number
BR112020012594A2
BR112020012594A2 BR112020012594-6A BR112020012594A BR112020012594A2 BR 112020012594 A2 BR112020012594 A2 BR 112020012594A2 BR 112020012594 A BR112020012594 A BR 112020012594A BR 112020012594 A2 BR112020012594 A2 BR 112020012594A2
Authority
BR
Brazil
Prior art keywords
bits
image
electromagnetic radiation
endoscopic system
pulse
Prior art date
Application number
BR112020012594-6A
Other languages
English (en)
Inventor
Joshua D. Talbert
Donald M. Wichern
Original Assignee
Ethicon Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ethicon Llc filed Critical Ethicon Llc
Publication of BR112020012594A2 publication Critical patent/BR112020012594A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00066—Proximal part of endoscope body, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G01J2003/4334—Modulation spectrometry; Derivative spectrometry by modulation of source, e.g. current modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

A presente invenção refere-se a um sistema de imageamento endoscópico para uso em um ambiente com deficiência de luz que inclui um dispositivo de imageamento que tem um tubo, um ou mais sensores de imagem e um conjunto de lentes que inclui pelo menos um elemento óptico que corresponde a um ou mais sensores de imagem. O sistema endoscópico inclui um mostruário para que um usuário visualize uma cena e um controlador de processamento do sinal de imagem. O sistema endoscópico inclui um mecanismo de iluminação que tem uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio.

Description

Relatório Descritivo da Patente de Invenção para "IMAGEA-
MENTO HIPERESPECTRAL EM UM AMBIENTE COM DEFICIÊNCIA DE LUZ". ANTECEDENTES DA INVENÇÃO
[0001] Os avanços tecnológicos permitiram avanços nas capacida- des de imageamento para uso médico. Um endoscópio pode ser usado para visualizar o interior de um corpo e examinar o interior de um órgão ou cavidade do corpo. Os endoscópios podem ser usados para inves- tigar os sintomas de um paciente, confirmar um diagnóstico ou aplicar tratamento médico. Um endoscópio médico pode ser usado para visu- alizar vários sistemas e partes corporais, incluindo, por exemplo, o trato gastrointestinal, o trato respiratório, o trato urinário, a cavidade abdominal por meio de uma pequena incisão etc. Os endoscópios po- dem ser adicionalmente usados para procedimentos cirúrgicos, como procedimentos de cirurgia plástica, procedimentos realizados em arti- culações ou ossos, procedimentos realizados no sistema neurológico, procedimentos realizados dentro da cavidade abdominal etc.
[0002] Os endoscópios também têm sido usados em campos não médicos para visualizar e inspecionar espaços que podem ser inaces- síveis ou de difícil visualização. Por exemplo, os endoscópios podem ser usados por planejadores ou arquitetos para visualizar modelos em escala de edifícios ou cidades propostos. Os endoscópios podem ser usados para visualizar um espaço interno de um sistema complexo, como um computador. Os endoscópios podem ser até usados por au- toridades policiais ou por militares para realizar a vigilância em espa- ços apertados ou para examinar dispositivos explosivos.
[0003] Entre seus vários usos, os endoscópios podem ser benéficos para visualizar um espaço em cores. Uma imagem colorida digital pode incluir pelo menos três camadas, ou "canais de cor" para cada pixel da imagem. Cada um dos canais de cor mede a intensidade e a crominân- cia da luz para uma banda espectral. Comumente, uma imagem colorida digital inclui um canal de cor para as bandas espectrais vermelha, verde e azul de luz (essa pode ser denominada uma imagem RGB). Cada um dos canais de cor vermelho, verde e azul inclui informação de brilho para a banda espectral vermelha, verde ou azul de luz. As informações de brilho das camadas vermelha, verde e azul separadas podem ser com- binadas para criar uma imagem colorida digital. Pelo fato de uma ima- gem colorida ser composta por camadas separadas, um sensor de ima- gem de câmera digital comumente inclui uma matriz de filtro de cor que permite que comprimentos de onda de luz visível vermelha, verde e azul atinjam sensores de pixel selecionados. Cada elemento de sensor de pixel individual é sensibilizado para comprimentos de onda vermelha, verde ou azul e somente retornará dados de imagem para aquele com- primento de onda. Os dados de imagem da matriz total de sensores de pixel são combinados para gerar a imagem RGB.
[0004] No caso de imageamento por endoscópio para diagnósticos médicos ou procedimentos médicos, pode ser benéfico ou mesmo ne- cessário visualizar uma cavidade corporal com imagens coloridas. Por exemplo, se um endoscópio for usado para visualizar a cavidade abdo- minal de um corpo, uma imagem colorida pode fornecer informações valiosas para ajudar a identificar diferentes órgãos ou tecidos dentro do abdômen ou para fins de identificação ou para certas condições ou do- enças dentro do espaço. Como discutido acima, uma câmera digital ca- paz de capturar imagens coloridas pode ter pelo menos três tipos distintos de sensores de pixel para capturar individualmente as camadas vermelha, verde e azul camadas das imagens coloridas. Os pelo menos três tipos distintos de sensores de pixel podem consumir um espaço físico relativa- mente significativo (quando comparado com uma matriz de pixel agnóstica em termos de cor), de modo que a matriz de pixel completa não pode se encaixar na pequena extremidade distal do endoscópio que é inserido no corpo. Uma vez que as câmeras digitais coloridas podem incluir os pelo menos três tipos distintos de sensores de pixel, uma matriz de pixel total (ou seja, o sensor de imagem) fica comumente localizada em uma uni- dade de empunhadura de um endoscópio que é seguro por um operador de endoscópio e não é colocado dentro da cavidade corporal. Para um endoscópio desse tipo, a luz é transmitida ao longo do comprimento do endoscópio desde a unidade de empunhadura até a extremidade distal do endoscópio que é colocado dentro da cavidade corporal. Essa confi- guração de endoscópio tem limitações significativas. Os endoscópios com essa configuração são delicados e podem ser facilmente desali- nhados ou danificados quando colididos ou impactados durante o uso regular. Isso pode degradar significativamente a qualidade das imagens geradas pelo endoscópio e exigir que o endoscópio seja frequente- mente reparado ou substituído.
[0005] Em alguns casos, e particularmente no caso de imagea- mento médico ou procedimentos médicos, pode ser benéfico ver mais que uma imagem colorida. As imagens coloridas refletem o que o olho humano detecta ao olhar para um ambiente. Entretanto, o olho humano é limitado a visualizar somente luz visível e não pode detectar outros comprimentos de onda do espectro eletromagnético. Em outros com- primentos de onda do espectro eletromagnético além dos comprimen- tos de onda de "luz visível", informações adicionais sobre um ambiente podem ser obtidas. Um método de detecção de informações adicionais sobre um ambiente, além do que o olho humano é capaz de detectar, é o imageamento hiperespectral. No caso de imageamento para fins médicos, o imageamento hiperespectral pode fornecer uma visão ex- clusiva de uma cavidade corporal que fornece informações adicionais além do que o olho humano ou uma câmera colorida digital pode de- tectar.
[0006] O imageamento hiperespectral pode ser usado para identi- ficar diferentes materiais ou objetos e para identificar diferentes pro- cessos. O olho humano vê a cor de luz visível principalmente em três bandas de comprimentos de onda que são percebidas como combina- ções de vermelho, verde e azul. Um olho humano normal responderá aos comprimentos de onda de radiação eletromagnética de cerca de 350 nm a cerca de 750 nm, e essa banda de comprimentos de onda pode ser denominada "espectro visível." O imageamento hiperespec- tral é diferente pelo fato de que divide o espectro de comprimentos de onda de luz em várias bandas adicionais com base na reflexão do te- cido, objeto ou materiais. Isso permite que o imageamento hiperespec- tral forneça informações além do que é visível ao olho humano. O ima- geamento hiperespectral pode fornecer informações benéficas em vá- rias aplicações onde é difícil ou impossível que o olho humano ou com- putadores identifique materiais, objetos ou processos específicos. O imageamento hiperespectral pode ser particularmente eficaz em certos casos, pois alguns objetos deixam "impressões digitais" exclusivas no espectro eletromagnético que podem ser denominadas assinaturas es- pectrais. Essas assinaturas espectrais permitem a identificação de de- terminados materiais, objetos ou processos que não podem ser vistos pelo olho humano ou computadores.
[0007] O imageamento hiperespectral foi originalmente desenvolvido para aplicações em mineração e geologia. Ao contrário de uma imagem de câmera normal que fornece informações limitadas ao olho humano, o imageamento hiperespectral pode identificar minerais específicos com base nas assinaturas espectrais dos diferentes minerais. O imagea- mento hiperespectral pode ser útil mesmo quando capturado em ima- gens aéreas e pode fornecer informações, por exemplo, sobre vaza- mentos de óleo ou gás de tubulações ou poços naturais e seus efeitos sobre a vegetação nas proximidades. Essas informações são coletadas com base nas assinaturas espectrais de determinados materiais, objetos ou processos que podem ser identificados por imageamento hiperespec- tral.
[0008] Entretanto, o imageamento hiperespectral é extremamente complexo e pode exigir rápida capacidade de processamento por compu- tador, detectores sensíveis e grandes capacidades de armazenamento de dados. Adicionalmente, se uma imagem hiperespectral for sobreposta so- bre uma imagem em preto e branco ou colorida para fornecer contexto a um profissional da área médica, uma câmera (ou múltiplas câmeras) capaz de gerar a imagem sobreposta pode ter muitos tipos distintos de sensores de pixel que são sensíveis à distintas faixas de radiação eletromagnética. Isso pode incluir os três tipos separados de sensores de pixel para gerar uma imagem RGB colorida por meio de métodos convencionais, em com- binação com sensores de pixel adicionais para gerar os dados de imagem hiperespectral em diferentes comprimentos de onda do espectro eletro- magnético. Isso pode consumir um espaço físico relativamente grande e necessita de uma grande matriz de pixel para garantir que a resolução da imagem seja satisfatória. No caso de imageamento endoscópico, a câ- mera ou câmeras pode ser colocada em uma unidade manual ou unidade robótica do endoscópio, uma vez que os múltiplos sensores de pixel sen- síveis a comprimento de onda exigem muito espaço físico e necessitam que uma matriz de pixel muito grande seja colocada na extremidade distal do endoscópio dentro da cavidade corporal. Isso gera as mesmas desvan- tagens mencionadas acima e pode fazer com que o endoscópio seja muito delicado, de modo que a qualidade da imagem seja significativamente de- gradada quando o endoscópio é colidido ou impactado durante o uso.
[0009] A presente invenção se refere, de modo geral, à detecção eletromagnética e sensores que podem ser aplicáveis ao imageamento endoscópico. A invenção também se refere a condições de entrada ele-
tromagnética de baixa energia, bem como a condições de emissão ele- tromagnética de baixa energia. A invenção se refere mais particular- mente, porém não totalmente necessariamente, a um sistema para pro- duzir uma imagem em ambientes deficientes de luz e estruturas, méto- dos e recursos associados, o que pode incluir o controle de uma fonte de luz pela duração, intensidade ou ambas, a pulsação de uma fonte de luz controlada por componente durante o período de supressão de um sensor de imagem, maximização do período de supressão para permitir luz ideal, e manutenção do equilíbrio de cor.
[0010] As características e vantagens da invenção serão apresen- tadas na descrição a seguir e, em parte, se tornarão evidentes a partir da descrição, ou poderão ser aprendidas pela prática da invenção sem a indevida experimentação. As características e vantagens da presente invenção podem ser realizadas e obtidas por meio dos instrumentos e combinações particularmente ressaltadas nas reivindicações anexas.
BREVE DESCRIÇÃO DOS DESENHOS
[0011] Implementações não limitadoras e não exaustivas da inven- ção são descritas com referência às figuras a seguir, em que números de referência similares se referem a partes similares ao longo das várias vistas, salvo especificação em contrário. As vantagens da invenção se- rão mais bem compreendidas com referência à seguinte descrição e de- senhos anexos em que:
[0012] A Figura 1 é uma vista esquemática de uma modalidade de um sistema de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente defi- ciente de luz, de acordo com uma modalidade;
[0013] A Figura 2 é uma vista esquemática de um hardware de sis- tema complementar;
[0014] As Figuras 2A a 2D são ilustrações dos ciclos operacionais de um sensor usado para construir um quadro de imagem, de acordo com modalidades da invenção;
[0015] A Figura 3 é uma representação gráfica da operação de uma modalidade de um emissor eletromagnético, de acordo com uma moda- lidade;
[0016] A Figura 4 é uma representação gráfica da variação da du- ração e magnitude do pulso eletromagnético emitido para fornecer con- trole da exposição, de acordo com uma modalidade;
[0017] A Figura 5 é uma representação gráfica de uma modalidade da invenção que combina os ciclos operacionais de um sensor, o emis- sor eletromagnético e os pulsos eletromagnéticos emitidos das Figuras 2A a 4, que demonstram o sistema de imageamento durante a opera- ção, de acordo com uma modalidade;
[0018] A Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado, de acordo com uma modalidade;
[0019] As Figuras 7A a 7E ilustram vistas esquemáticas dos proces- sos durante um intervalo de tempo para gravar um quadro de vídeo tanto para luz de espectro completo quanto para luz de espectro partici- onado de acordo com os princípios e ensinamentos da invenção;
[0020] As Figuras 8 a 12 ilustram o ajuste tanto do emissor eletro- magnético quanto do sensor, em que o dito ajuste pode ser realizado simultaneamente em algumas modalidades de acordo com os princípios e ensinamentos da invenção;
[0021] As Figuras 13 a 21 ilustram métodos de correção do sensor e esquemas de hardware para uso com um sistema de luz particionada, de acordo com modalidades da invenção;
[0022] As Figuras 22 a 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da invenção;
[0023] A Figura 24 ilustra o impacto sobre a razão sinal/ruído da correção de cor para um típico sensor do tipo Bayer em comparação com a ausência de correção de cor;
[0024] A Figura 25 ilustra a cromaticidade de 3 lasers monocromá- ticos em comparação com a gama sRGB;
[0025] As Figuras 26 a 27B ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da invenção;
[0026] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada com um sensor de cor corres- pondente, de acordo com modalidades da invenção;
[0027] As Figuras 29A e 29B ilustram uma implementação tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridi- mensional, de acordo com modalidades da invenção;
[0028] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento construído sobre uma pluralidade de substratos, em que uma pluralidade de colunas de pixel que formam a matriz de pixel está localizada no primeiro substrato e uma pluralidade de colunas de circuito está localizada em um segundo substrato e mostra uma co- nexão elétrica e comunicação entre uma coluna de pixels e sua coluna de circuito associada ou correspondente;
[0029] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, em que a pluralidade de matrizes de pixel e o sensor de imagem são construídos sobre uma pluralidade de substratos;
[0030] As Figuras 32 a 36 ilustram modalidades de emissores que compreendem diversas configurações de filtro mecânico e obturador, de acordo com modalidades da invenção;
[0031] A Figura 37 é um diagrama esquemático que ilustra um sis- tema para fornecer iluminação a um ambiente deficiente de luz de acordo com uma modalidade;
[0032] A Figura 38 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com uma modalidade;
[0033] A Figura 39 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com outra modalidade;
[0034] A Figura 40 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com ainda outra modalidade;
[0035] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica emitindo por meio de um difusor em uma saída para iluminar uma cena, de acordo com uma modalidade;
[0036] A Figura 42 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0037] A Figura 43 ilustra uma porção do espectro eletromagnético dividida em uma pluralidade de diferentes subespectros que podem ser emitidos por emissores de uma fonte de luz, de acordo com uma moda- lidade;
[0038] A Figura 44 é um diagrama esquemático que ilustra um dia- grama de temporização para emissão e leitura a fim de gerar uma ima- gem multiespectral ou hiperespectral, de acordo com uma modalidade;
[0039] A Figura 45 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0040] A Figura 46 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de uma pluralidade de filtros, de acordo com uma modalidade; e
[0041] A Figura 47 é um diagrama esquemático que ilustra uma ma- triz de grade para rastreamento de objeto e/ou superfície, de acordo com uma modalidade;
[0042] A Figura 48 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem multies- pectral ou hiperespectral, de acordo com uma modalidade; e
[0043] A Figura 49 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem de fluo- rescência, de acordo com uma modalidade.
DESCRIÇÃO DETALHADA
[0044] A invenção se estende a métodos, sistemas e produtos ba- seados em computador para imageamento digital que podem ser prin- cipalmente adequados para aplicações médicas como imageamento médico endoscópico. Esses métodos, sistemas e produtos baseados em computador como descritos na presente invenção podem fornecer imageamento ou capacidades diagnósticas para uso em aplicações mé- dicas robóticas, como o uso de robótica para realizar procedimentos de imageamento, procedimentos cirúrgicos e similares. Na descrição da in- venção a seguir, é feita referência aos desenhos anexos, os quais fazem parte da mesma, e nos quais são mostradas, por meio de ilustração, implementações específicas nas quais a invenção pode ser coloca em prática. É compreendido que outras implementações podem ser usadas e que alterações estruturais podem ser feitas sem que se afaste do es- copo da invenção.
[0045] Os endoscópios têm uma grande variedade de usos e podem fornecer benefícios significativos no campo médico. A endoscopia é usada em medicina para visualizar o interior de um corpo e, em alguns casos, pode fornecer imageamento que de outra maneira seria impossível ver ou exigiria procedimentos cirúrgicos invasivos. Os endoscópios podem ser usados para diagnósticos médicos, investigação, ou pesquisa, e também po- dem ser usados para realizar procedimentos médicos de uma maneira minimamente invasiva. Os endoscópios médicos podem fornecer bene- fícios significativos a pacientes e profissionais da área médica ao elimi- nar a necessidade de cirurgias corretivas ou exploratórias dolorosas e invasivas.
[0046] Como descrito na presente invenção, um sistema endoscó- pico para uso em um ambiente deficiente de luz, como uma cavidade de um corpo, pode incluir um dispositivo de imageamento e um meca- nismo de luz. O mecanismo de luz pode incluir uma fonte de iluminação para gerar pulsos de radiação eletromagnética e pode incluir adicional- mente um lúmen para transmitir pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. O lúmen pode transmitir os pulsos de radiação eletromagnética em comprimentos de onda ou bandas de comprimentos de onda em particular do espectro eletromagnético. O lú- men pode transmitir esses pulsos em uma sequência temporizada e da- dos de imageamento podem ser capturados por um sensor durante cada um dos pulsos. Os dados de imageamento associados aos dife- rentes comprimentos de onda dos pulsos podem ser usados para gerar uma imagem vermelha, verde e azul (RGB) e/ou imagens multiespec- trais ou hiperespectrais. Em uma modalidade, o imageamento multies- pectral ou hiperespectral pode ser sobreposto sobre uma imagem em preto e branco ou RGB.
[0047] Como descrito na presente invenção, os sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem fornecer dados de imagem especializados de um ambiente deficiente de luz. Os dados de imagem especializados podem ser usados para gerar image- amento multiespectral ou hiperespectral e/ou para identificar certos ma-
teriais, tecidos, componentes ou processos dentro de um ambiente de- ficiente de luz. Em certas modalidades, o imageamento multiespectral ou hiperespectral pode ser fornecido a um profissional da área médica ou programa implementado por computador para permitir a identificação de determinadas estruturas ou tecidos dentro de um corpo. Esses dados de imageamento multiespectral ou hiperespectral podem ser sobrepos- tos em imagens em preto e branco ou RGB para fornecer informações e contexto adicionais.
[0048] Adicionalmente, esses sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem ser usados em coor- denação com determinados reagentes ou corantes. Em uma implemen- tação de imageamento médico, determinados reagentes ou corantes podem ser administrados a um paciente, e estes reagentes ou corantes podem apresentar fluorescência ou reagir com certos comprimentos de onda de radiação eletromagnética. O sistema de imagem endoscópica como descrito na presente invenção pode transmitir radiação eletromag- nética em comprimentos de onda especificados para apresentar fluores- cência nos reagentes ou corantes. A fluorescência dos reagentes ou corantes pode ser capturada por um sensor de imagem para gerar ima- geamento para auxiliar na identificação de tecidos ou estruturas e/ou para auxiliar no diagnóstico ou pesquisa. Em uma implementação, a um paciente pode ser administrada uma pluralidade de reagentes ou coran- tes que são, cada um, configurados para apresentar fluorescência em diferentes comprimentos de onda e/ou fornecer uma indicação de dife- rentes estruturas, tecidos, reações químicas, processos biológicos etc. Nessa implementação, o sistema endoscópico como descrito na pre- sente invenção pode emitir cada um dos comprimentos de onda aplicá- veis para apresentar fluorescência em cada um dos reagentes ou co- rantes aplicáveis. Isso pode eliminar a necessidade histórica de se rea- lizar procedimentos de imageamento individuais para cada um dentre uma pluralidade de reagentes ou corantes.
[0049] Os endoscópios médicos podem fornecer um fluxo contínuo de imagem digital de um espaço interno de um corpo onde uma extre- midade distal do endoscópio é inserida. Em várias implementações, pode ser benéfico ou mesmo necessário que o fluxo de imagem digital forneça imageamento colorido total, de modo que um profissional da área médica possa fazer uma distinção melhor entre tecidos e estruturas no corpo. Em implementações adicionais, pode ser benéfico fornecer dados de imageamento hiperespectral para permitir a diferenciação en- tre estruturas, tecidos, processos e condições com maior precisão. Adi- cionalmente, o imageamento hiperespectral pode permitir que um pro- fissional da área médica ou um programa de computador receba infor- mações sobre uma condição em um corpo humano que não é visível ao olho humano ou discernível em uma imagem RGB colorida.
[0050] São descritos na presente invenção sistemas, métodos e dis- positivos para gerar dados de imagem colorida e/ou dados de imagem hiperespectral por um endoscópio. Um sistema da invenção inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes. O conjunto de lentes pode incluir pelo menos um elemento óptico que corresponde a pelo menos um entre o um ou mais sensores de imagem. O sistema inclui adicionalmente uma tela para visualizar uma cena e um controlador de processamento de sinal de imagem. O sistema pode incluir adicionalmente um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação configurada para gerar um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. Em uma modalidade, pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radia- ção eletromagnética entre 513 nm e 545 nm. Em uma modalidade, pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radiação eletromagnética entre 565 nm e 585 nm. Em uma moda- lidade, pelo menos uma porção do um ou mais pulsos de radiação ele- tromagnética inclui radiação eletromagnética entre 900 nm e 1000 nm. Em implementações da invenção, a emissão de pulso pelo mecanismo de luz pode ter uma duração muito curta e pode ser menor que um tempo ligado/desligado de um microssegundo (µs).
[0051] Em uma modalidade da invenção, um sistema endoscópico ilumina uma fonte e pulsa radiação eletromagnética para imageamento espectral ou hiperespectral. O imageamento espectral usa múltiplas bandas ao longo do espectro eletromagnético. Isso é diferente das câ- meras convencionais que apenas capturam luz ao longo dos três com- primentos de onda com base no espectro visível que são discerníveis pelo olho humano, incluindo os comprimentos de onda vermelho, verde e azul para gerar uma imagem RGB. O imageamento espectral pode usar quaisquer bandas de comprimento de onda no espectro eletromag- nético, incluindo os comprimentos de onda infravermelho, o espectro vi- sível, o espectro ultravioleta, comprimentos de onda de raios X ou qual- quer combinação adequada de várias bandas de comprimento de onda. O imageamento espectral pode sobrepor o imageamento gerado com base em bandas não visíveis (por exemplo, infravermelho) sobre o ima- geamento com base em bandas visíveis (por exemplo, uma imagem RGB padrão) para fornecer informações adicionais que são facilmente discerníveis por uma pessoa ou algoritmo de computador.
[0052] O imageamento hiperespectral é uma subcategoria de ima- geamento espectral. O imageamento hiperespectral inclui a espectros- copia e a fotografia digital. Em uma modalidade de imageamento hipe- respectral, um espectro completo ou alguma informação espectral é co- letado em cada pixel em um plano de imagem. Uma câmera hiperes- pectral pode usar hardware especial para capturar qualquer número adequado de bandas de comprimento de onda para cada pixel que pode ser interpretado como um espectro completo. O objetivo do imagea- mento hiperespectral pode variar para diferentes aplicações. Em uma aplicação, o objetivo do imageamento hiperespectral é obter todo o es- pectro eletromagnético de cada pixel em uma cena de imagem. Isso pode permitir encontrar determinados objetos que de outra maneira não podem ser identificáveis sob as bandas de comprimento de onda de luz visível. Isso pode permitir que determinados materiais ou tecidos sejam identificados com precisão quando esses materiais ou tecidos não pu- derem ser identificáveis sob as bandas de comprimento de onda de luz visível. Adicionalmente, isso pode permitir que determinados processos sejam detectados pela captura de uma imagem ao longo de todos os comprimentos de onda do espectro eletromagnético.
[0053] O imageamento hiperespectral pode fornecer vantagens par- ticulares em relação ao imageamento convencional em aplicações mé- dicas. As informações obtidas pelo imageamento hiperespectral podem permitir que profissionais da área médica e/ou programas implementado por computador identifiquem precisamente determinados tecidos ou condições que podem levar a diagnósticos que podem não ser possíveis ou que podem ser menos precisos se for usado imageamento conven- cional, por exemplo, imageamento RGB. Adicionalmente, o imagea- mento hiperespectral pode ser usado durante procedimentos médicos para permitir cirurgia guiada por imagem, o que pode permitir que um profissional da área médica, por exemplo, visualize tecidos localizados atrás de determinados tecidos ou fluidos, identificar células cancerosas atípicas em contraste com células típicas saudáveis, identificar determi- nados tecidos ou condições, identificar estruturas de importância crítica etc. O imageamento hiperespectral pode fornecer informações diagnós- ticas especializadas sobre a fisiologia, morfologia e composição do te- cido, as quais não podem ser geradas com imageamento convencional.
[0054] O imageamento endoscópico hiperespectral pode apresen- tar vantagens em relação ao imageamento convencional em várias apli- cações e implementações da invenção. Em implementações médicas, o imageamento endoscópico hiperespectral pode permitir que um pro- fissional da área médica ou programa implementado por computador diferencie, por exemplo, tecido nervoso, tecido muscular, diversos va- sos, a direção do fluxo sanguíneo etc. O imageamento hiperespectral pode permitir que tecido canceroso atípico seja precisamente diferenci- ado de tecido saudável típico e pode, portanto, permitir que um profissi- onal da área médica ou programa implementado por computador iden- tifique o limite de um tumor canceroso durante uma operação ou image- amento investigativo. Adicionalmente, o imageamento hiperespectral em um ambiente deficiente de luz como descrito na presente invenção pode ser combinado com o uso de um reagente ou corante para permitir a diferenciação adicional entre determinados tecidos ou substâncias. Nessa modalidade, um reagente ou corante pode sofrer fluorescência por uma banda de comprimento de onda específica no espectro eletro- magnético e, portanto, fornecer informações específicas para o propó- sito daquele reagente ou corante. Os sistemas, métodos e dispositivos como descritos na presente invenção podem permitir que qualquer nú- mero de bandas de comprimento de onda seja pulsado, de modo que um ou mais reagentes ou corantes possam sofrer fluorescência em di- ferentes momentos. Em determinadas implementações, isso pode per- mitir a identificação ou investigação de diversas condições clínicas du- rante um único procedimento de imageamento.
[0055] Um endoscópio médico pode pulsar radiação eletromagné- tica em bandas de comprimento de onda fora do espectro de luz visível para permitir a geração de imagens hiperespectrais. O imageamento endoscópico hiperespectral é um meio sem contato e não invasivo de imageamento médico que não exige que um paciente seja exposto a radiação nociva comum em outros métodos de imageamento.
[0056] Os endoscópios convencionais, usados em, por exemplo, procedimentos endoscópicos robóticos como artroscopia e laparosco- pia, são projetados de modo que os sensores de imagem sejam tipica- mente colocados dentro de uma unidade de empunhadura que é segura por um operador de endoscópio e não é inserida em uma cavidade. Nessa configuração, uma unidade de endoscópio transmite luz inci- dente ao longo do comprimento de um tubo de endoscópio em direção ao sensor por meio de um conjunto complexo de componentes ópticos precisamente acoplados, com mínima perda e distorção. O custo da uni- dade de endoscópio é principalmente devido aos elementos ópticos, uma vez que os componentes ópticos são caros e o processo de fabri- cação dos componentes ópticos é trabalhoso. Adicionalmente, esse tipo de endoscópio é mecanicamente delicado e impactos relativamente pe- quenos podem facilmente danificar os componentes ou desordenar os alinhamentos relativos desses componentes. Desalinhamentos ainda menores dos componentes do endoscópio (por exemplo, os componen- tes ópticos precisamente acoplados) podem levar a uma degradação significativa da qualidade da imagem ou inutilizar o endoscópio. Quando os componentes são desalinhados, a luz incidente que se desloca ao longo do comprimento do endoscópio pode diminuir, de modo que haja pouca ou nenhuma luz na extremidade distal do endoscópio e o endos- cópio fica inutilizado. Uma vez que os endoscópios convencionais exi- gem esses componentes ópticos precisos e complexos e uma vez que esses componentes podem ficar facilmente desalinhados, esses endos- cópios convencionais exigem ciclos de reparo frequentes e caros para manter a qualidade da imagem.
[0057] Uma solução para esse problema é colocar o sensor de ima- gem dentro do próprio endoscópio na extremidade distal. Essa solução pode eliminar a necessidade de uma coleta complexa e precisa de com- ponentes ópticos acoplados que podem ser facilmente desalinhados e/ou danificados. Essa solução potencialmente se aproxima da simplici- dade, robustez e economia óptica que é universalmente realizada, por exemplo, dentro de câmeras em telefones celulares. Entretanto, deve ser reconhecido que uma grande parte dos benefícios oferecidos por um endoscópio surge do tamanho compacto da extremidade distal do endoscópio. Se a extremidade distal do endoscópio for aumentada para acomodar os múltiplos sensores de pixel distintos sensíveis ao compri- mento de onda convencionalmente usados para o imageamento colo- rido ou imageamento hiperespectral, a matriz de pixel pode ser muito grande e o endoscópio pode não mais caber nos pequenos espaços ou pode causar obstrução ou ser invasivo quando usado em uma imple- mentação médica. Uma vez que a extremidade distal do endoscópio deve continuar muito pequena, é desafiador colocar um ou mais senso- res de imagem na extremidade distal. Uma solução aceitável para essa abordagem não é de maneira alguma trivial e apresenta sua própria gama de desafios de engenharia, não sendo de menor importância o fato de que os sensores de cor e/ou o imageamento hiperespectral de- vem caber dentro de uma área que é altamente confinada. Isto é parti- cularmente desafiador quando uma matriz de pixel em câmeras conven- cionais inclui sensores de pixel separados para cada uma das bandas de luz visível vermelha, verde e azul, com sensores de pixel adicionais para outras bandas de comprimento de onda usadas para o imagea- mento hiperespectral. A área da ponta distal do endoscópio pode ser particularmente confinada lado a lado nas dimensões X e Y, enquanto há mais espaço ao longo do comprimento do tubo de endoscópio na dimensão Z.
[0058] Uma vez que muitos dos benefícios de um endoscópio são derivados do pequeno tamanho da extremidade distal do endoscópio,
restrições agressivas devem ser impostas à área do sensor de imagem quando os sensores de imagem estão localizados na extremidade dis- tal. Essas restrições agressivas impostas à área do sensor naturalmente resultam em menos pixels e/ou pixels menores dentro de uma matriz de pixel. A redução da contagem de pixels pode afetar diretamente a reso- lução espacial, enquanto a redução da área de pixel pode reduzir a ca- pacidade de sinal disponível e, dessa forma, a sensibilidade do pixel, bem como otimizar o número de pixels de modo que a qualidade da imagem aumente, a mínima resolução de pixel e o número nativo de pixels usando a máxima qualidade e passo de pixel, de modo que a resolução não seja um problema, bem como a redução da razão si- nal/ruído (SNR - "signal to noise ratio") de cada pixel. A redução da ca- pacidade de sinal reduz a faixa dinâmica, ou seja, a capacidade do dis- positivo ou câmera de imageamento de simultaneamente capturar todas as informações úteis de cenas com grandes faixas de luminosidade. Há vários métodos para se estender a faixa dinâmica de sistemas de ima- geamento além daquela do próprio pixel. Entretanto, todos eles podem ter algum tipo de penalidade (por exemplo, na resolução ou taxa de qua- dro) e podem introduzir artefatos indesejáveis que se tornam problemá- ticos em casos extremos. A consequência de se reduzir a sensibilidade é que maior energia de luz é exigida para trazer as regiões mais escuras da cena para níveis de sinal aceitáveis. A redução do número F (au- mento da abertura) pode compensar uma perda de sensibilidade, porém às custas de distorção espacial e profundidade reduzida do foco.
[0059] No setor de sensores, sensores de imagem de semicondutor metal-óxido complementar ("CMOS" - "complementary metal-oxide-se- miconductor") possuem sensores de imagem de dispositivo acoplado a carga ("CCD" - charge-coupled device) convencionais amplamente des- locados em aplicações de câmeras modernas. Os sensores de imagem CMOS têm maior facilidade de integração e operação, qualidade de imagem superior ou comparável, maior versatilidade e menor custo se comparados com sensores de imagem CCD. Tipicamente, os sensores de imagem CMOS podem incluir o circuito necessário para converter informação de imagem em dados digitais e possuem vários níveis de processamento digital incorporados posteriormente. Isso pode variar desde algoritmos básicos com a finalidade de corrigir não idealidades, o que pode, por exemplo, surgir de variações no comportamento do am- plificador, até cadeias completas de processamento de sinal de imagem (ISP - "image signal processing"), fornecendo dados de vídeo no espaço de cor padrão vermelho-verde-azul ("RGB" - "red-green-blue"), por exemplo, (câmeras-em-circuito integrado).
[0060] A unidade de controle de um endoscópio ou sensor de ima- gem pode estar localizada remotamente a partir do sensor de imagem e pode ser uma distância física significativa em relação ao sensor de imagem. Quando a unidade de controle está distante do sensor, pode ser desejável transmitir os dados no domínio digital, uma vez que este é amplamente imune ao ruído de interferência e à degradação de sinal quando comparada com a transmissão de um fluxo de dados analógi- cos. Será reconhecido que diversos padrões de sinalização digital elé- trica podem ser usados, por exemplo, LVDS (sinalização diferencial de baixa tensão), sub-LVDS, SLVS (sinalização de baixa tensão escalável) ou outros padrões de sinalização digital elétrica.
[0061] Pode haver um forte desejo de minimizar o número de con- dutores elétricos para reduzir o número de blocos que consumem es- paço no sensor, bem como de reduzir a complexidade e o custo da pro- dução do sensor. Embora a adição de conversão de analógico para di- gital ao sensor possa ser vantajosa, a área adicional ocupada pelos cir- cuitos de conversão é compensada devido à significativa redução na potência de armazenamento temporário analógico necessária devido à conversão precoce para um sinal digital.
[0062] Em termos de consumo de área, dado o típico tamanho de recurso disponível em tecnologias de sensor de imagem CMOS (CIS), pode ser preferível em algumas implementações ter todos os sinais ló- gicos internos gerados no mesmo circuito integrado que a matriz de pixel por meio de um conjunto de registradores de controle e uma inter- face de comando simples.
[0063] Algumas implementações da invenção podem incluir aspec- tos de um sensor combinado e projeto de sistema que permita um ima- geamento de alta definição com reduzidas contagens de pixels em um ambiente de iluminação altamente controlado. Isso pode ser realizado em virtude de pulsação quadro a quadro de um comprimento de onda de cor única e comutando-se ou alternando-se cada quadro entre um comprimento de onda de cor única e diferente com o uso de uma fonte de luz controlada combinada com altas taxas de captura de quadro e um sensor monocromático correspondente especialmente projetado. Adicionalmente, a radiação eletromagnética fora do espectro de luz vi- sível pode ser pulsada para permitir a geração de uma imagem hiperes- pectral. Os pixels podem ser agnósticos em termos de cor, de modo que cada pixel possa gerar dados para cada pulso de radiação eletromag- nética, incluindo pulsos para comprimentos de onda vermelho, verde e azul de luz visível com outros comprimentos de onda que podem ser usados para o imageamento hiperespectral.
[0064] Como usado na presente invenção, sensor monocromático se refere a um sensor de imageamento não filtrado. Uma vez que os pixels são agnósticos em termos de cor, a resolução espacial eficaz é apreciavelmente maior do que suas contrapartes coloridas (tipicamente filtrado em padrão Bayer) em câmeras convencionais de sensor único. Eles também podem ter maior eficiência quântica uma vez que muito menos fótons incidentes são desperdiçados entre os pixels individuais. Além disso, a modulação de cor espacial baseada em Bayer exige que a função de transferência de modulação (MTF - "modulation transfer function") dos elementos ópticos que acompanham seja reduzida em comparação com a modulação monocromática, para desfocar os arte- fatos coloridos associados ao padrão Bayer. Isso tem um impacto pre- judicial sobre a real resolução espacial que pode ser realizada com os sensores de cor.
[0065] A invenção se refere também a uma solução de sistema para aplicações endoscópicas nas quais o sensor de imagem reside na ex- tremidade distal do endoscópio. Ao buscar um sistema baseado em sen- sor com mínima área, há outros aspectos de projeto que podem ser de- senvolvidos além da redução na contagem de pixels. A área da porção digital do circuito integrado pode ser minimizada. Além disso, o número de conexões com o circuito integrado (blocos) pode também ser minimi- zado. A invenção descreve novos métodos que atingem esses objetivos para a realização desse sistema. Isso envolve o projeto de um sensor de imagem CMOS totalmente customizado com vários novos recursos.
[0066] Com a finalidade de promover um entendimento dos princí- pios de acordo com a invenção, será feita referência agora às modali- dades ilustradas nos desenhos e uma linguagem específica será usada para descrevê-las. No entanto, ficará entendido que nenhuma limitação do escopo da invenção é no presente documento concebida. Quaisquer alterações e modificações adicionais dos recursos da invenção ilustra- dos na presente invenção, bem como quaisquer aplicações adicionais dos princípios da invenção como ilustrados na presente invenção, que normalmente ocorreriam aos versados na técnica e estando de posse da presente invenção, devem ser consideradas no escopo da invenção reivindicada.
[0067] Antes da estrutura, sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serem descritos e descritos,
deve-se compreender que a presente invenção não está limitada a es- truturas, configurações, etapas de processo e materiais em particular descritos na presente invenção, uma vez que essas estruturas, configu- rações, etapas de processo e materiais podem variar de alguma ma- neira. Entende-se também que a terminologia no presente documento empregada é usada para o propósito de apenas descrever modalidades particulares e não pretende ser limitadora, uma vez que o escopo da invenção será limitado apenas pelas reivindicações anexas e equivalen- tes das mesmas.
[0068] Ao descrever e reivindicar a matéria da invenção, a seguinte terminologia será usada de acordo com as definições descritas abaixo.
[0069] Deve-se notar que como usado neste relatório descritivo e nas reivindicações anexas, as formas singulares "um", "uma", "o(s)" e "a(s)" incluem as respectivas formas no plural, a menos que o contexto determine claramente do outro modo.
[0070] Como usados na presente invenção, os termos "compreen- dendo," "incluindo," "contendo," "caracterizado(a) por," e equivalentes gramaticais destes são termos inclusivos ou abertos que não excluem elementos ou etapas de método adicionais não mencionados.
[0071] Como usada na presente invenção, a frase "que consiste em" e equivalentes gramaticais desta excluem qualquer elemento ou etapa não especificado na reivindicação.
[0072] Como usado na presente invenção, a expressão "que con- siste essencialmente em" e os equivalentes gramaticais da mesma limi- tam o escopo de uma reivindicação para os materiais ou etapas espe- cíficas e os que não afetam materialmente as características básicas e novas ou as características da invenção reivindicada.
[0073] Como usado na presente invenção, o termo "proximal" deve se referir amplamente ao conceito de uma porção com a máxima proxi- midade de uma origem.
[0074] Como usado na presente invenção, o termo "distal" deve se referir de modo geral ao oposto de proximal, e assim o conceito de uma porção mais distante de uma origem ou uma porção com a máxima dis- tância, dependendo do contexto.
[0075] Como usados na presente invenção, os sensores de cor ou os sensores de múltiplos espectros são aqueles sensores conhecidos por terem uma matriz de filtro de cor (CFA - "color filter array") para filtrar a radiação eletromagnética de entrada em seus componentes separa- dos. Na faixa visual do espectro eletromagnético, essa CFA pode ser construída em um padrão ou modificação de Bayer para separar os componentes de espectro verde, vermelho e azul da luz.
[0076] Agora com referência às Figuras 1 a 5, os sistemas e méto- dos para produzir uma imagem em um ambiente deficiente de luz serão agora descritos. A Figura 1 ilustra uma vista esquemática de um sensor pareado e um emissor eletromagnético em operação para uso na pro- dução de uma imagem em um ambiente deficiente de luz. Essa confi- guração permite uma maior funcionalidade em um ambiente de luz con- trolada ou em um ambiente deficiente de luz.
[0077] Deve ser observado que, como usado na presente invenção, o termo "luz" é tanto uma partícula quanto um comprimento de onda e tem como objetivo denotar radiação eletromagnética que é detectável por uma matriz de pixel e pode incluir comprimentos de onda a partir dos espectros visível e não visível de radiação eletromagnética. O termo "partição" é usado na presente invenção para significar uma faixa pre- determinada de comprimentos de onda do espectro eletromagnético que é menor que todo o espectro, ou em outras palavras, comprimentos de onda que foram alguma porção do espectro eletromagnético. Como usado na presente invenção, um emissor é uma fonte de luz que pode ser controlável em relação à porção do espectro eletromagnético que é emitido ou que pode operar de acordo com a física de seus componen- tes, a intensidade das emissões ou a duração da emissão, ou todas as acima. Um emissor pode emitir luz em qualquer emissão incerta, difusa ou colimada e pode ser controlado digitalmente ou por métodos ou sis- temas analógicos. Como usado na presente invenção, um emissor ele- tromagnético é uma fonte de uma explosão de energia eletromagnética e inclui fontes de luz, como lasers, LEDs, luz incandescente ou qualquer fonte de luz que possa ser digitalmente controlada.
[0078] Uma matriz de pixel de um sensor de imagem pode ser pa- reada eletronicamente com um emissor, de modo que sejam sincroni- zados durante a operação tanto para receber as emissões quanto para os ajustes feitos dentro do sistema. Como pode ser visto na Figura 1, um emissor 100 pode ser ajustado para emitir radiação eletromagnética na forma de um laser que pode ser pulsado para iluminar um objeto 110. O emissor 100 pode pulsar em um intervalo que corresponde à opera- ção e à funcionalidade de uma matriz de pixel 122. O emissor 100 pode pulsar luz em uma pluralidade de partições eletromagnéticas 105, de modo que a matriz de pixel receba energia eletromagnética e produza um conjunto de dados que corresponde (em tempo) a cada partição ele- tromagnética específica 105. Por exemplo, a Figura 1 ilustra um sistema tendo um sensor monocromático 120 tendo uma matriz de pixel (preto e branco) 122 e circuitos de suporte em que a matriz de pixel 122 é sensível à radiação eletromagnética de qualquer comprimento de onda. O emissor de luz 100 ilustrado na figura pode ser um emissor de laser capaz de emitir uma partição eletromagnética vermelha 105a, uma par- tição eletromagnética azul 105b e uma partição eletromagnética verde 105c em qualquer sequência desejada. Em uma modalidade em que uma imagem hiperespectral pode ser gerada, o emissor de luz 100 pode pulsar radiação eletromagnética em qualquer comprimento de onda no espectro eletromagnético, de tal modo que uma imagem hiperespectral possa ser gerada. Será reconhecido que outros emissores de luz 100 podem ser usados na Figura 1 sem que se afaste do escopo da inven- ção, por exemplo, emissores de base digital ou analógica.
[0079] Durante a operação, uma cor ou partição de comprimento de onda específica pode ser atribuída aos dados criados pelo sensor mo- nocromático 120 para qualquer pulso individual, em que a atribuição é baseada no tempo da cor pulsada ou da partição de comprimento de onda proveniente do emissor 100. Embora os pixels 122 não sejam de- dicados por cor, eles podem receber a atribuição de uma cor para qual- quer dado conjunto de dados com base em uma informação deduzida sobre o emissor.
[0080] Em uma modalidade exemplificadora da invenção, o emissor 100 pulsa radiação eletromagnética em comprimentos de onda especi- alizados. Esses pulsos podem ser capazes de gerar uma imagem hipe- respectral especializada que é particularmente adequada para determi- nadas aplicações médicas ou diagnósticas. Na modalidade exemplifica- dora, o emissor 100 pulsa radiação eletromagnética entre 513 nm e 545 nm, entre 565 nm e 585 nm e entre 900 nm e 1000 nm.
[0081] Em uma modalidade, três conjuntos de dados que represen- tam pulsos eletromagnéticos VERMELHOS, VERDES e AZUIS podem ser combinados para formar um quadro de imagem única. Um ou mais conjuntos de dados adicionais que representam outras partições de comprimento de onda podem ser sobrepostos no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS. O um ou mais conjuntos de dados adicionais pode representar, por exem- plo, pulsos entre 513 nm e 545 nm, e entre 565 nm e 585 nm, e entre 900 nm e 1000 nm. O um ou mais conjuntos de dados adicionais pode representar imageamento hiperespectral que pode ser sobreposto no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS.
[0082] Será reconhecido que a invenção não está limitada a qual- quer combinação de cor em particular ou qualquer partição eletromag- nética em particular e que qualquer combinação de cor ou qualquer par- tição eletromagnética pode ser usada no lugar de VERMELHO, VERDE e AZUL, como Ciano, Magenta e amarelo; Ultravioleta; infravermelho; qualquer combinação do que foi acima mencionado ou qualquer outra combinação de cor, incluindo todos os comprimentos de onda visível e não visível, sem que se afaste do escopo da invenção. Na figura, o ob- jeto 110 a ser imageado contém uma porção vermelha 110a, uma por- ção verde 110b e uma porção azul 110c. Como ilustrado na figura, a luz refletida dos pulsos eletromagnéticos contém somente os dados para a porção do objeto tendo a cor específica que corresponde à partição de cor pulsada. Esses conjuntos de dados de cor separada (ou intervalo de cor) podem ser então usados para reconstruir a imagem pela combina- ção dos conjuntos de dados em 130.
[0083] Em uma modalidade, uma pluralidade de conjuntos de dados que representam pulsos eletromagnéticos VERMELHOS, VERDES e AZUIS com partições adicionais de comprimento de onda ao longo do espectro eletromagnético pode ser combinada para formar um quadro de imagem única tendo uma imagem RGB com dados de imagem hipe- respectral sobrepostos na imagem RGB. Dependendo da aplicação ou instância, diferentes combinações de conjuntos de dados de compri- mento de onda podem ser desejáveis. Por exemplo, em algumas imple- mentações, um conjunto de dados que representa partições de compri- mento de onda específicas pode ser usado para gerar uma imagem hi- perespectral especializada para diagnosticar uma condição clínica em particular, investigar determinados tecidos corporais etc.
[0084] Como ilustrado na Figura 2, as implementações da presente invenção podem compreender ou usar um computador de propósito es- pecial ou geral, incluindo hardware de computador, como, por exemplo,
um ou mais processadores e memória de sistema, como discutido com mais detalhes abaixo. As implementações no escopo da presente inven- ção também podem incluir mídia legível física e outras mídias legíveis por computador para carregar ou armazenar instruções executáveis por computador e/ou estruturas de dados. Essa mídia legível por computa- dor pode ser qualquer mídia disponível que possa ser acessada por um sistema de computador de propósito geral ou propósito especial. A mí- dia legível por computador que armazena instruções executáveis por computador são mídias (dispositivos) de armazenamento em computa- dor. A mídia legível por computador que carrega instruções executáveis por computador são mídias de transmissão. Assim, a título de exemplo, e não de limitação, as implementações da invenção podem compreen- der pelo menos dois tipos distintamente diferentes de mídia legível por computador: mídias (dispositivos) de armazenamento em computador e mídias de transmissão.
[0085] As mídias (dispositivos) de armazenamento em computador incluem RAM, ROM, EEPROM, CD-ROM, drives de estado sólido ("SSDs" - "solid state drives") (por exemplo, baseados em RAM), me- mória Flash, memória de troca de fase ("PCM" - "phase-change me- mory"), outros tipos de memória, outro armazenamento em disco óptico, armazenamento em disco magnético ou outros dispositivos de armaze- namento magnético, ou qualquer outra mídia que possa ser usada para armazenar meios de código de programa desejados na forma de instru- ções executáveis por computador ou estruturas de dados e que podem ser acessados por um computador de propósito geral ou de propósito especial.
[0086] Uma "rede" é definida como um ou mais links de dados que permitem o transporte de dados eletrônicos entre sistemas e/ou módu- los de computador e/ou outros dispositivos eletrônicos. Em uma imple- mentação, um sensor e uma unidade de controle de câmera podem ser ligados em rede para se comunicarem entre si e com outros componen- tes conectados na rede aos quais estão conectados. Quando a informa- ção é transferida ou fornecida por uma rede ou outra conexão de comu- nicações (tanto por fio, sem fio ou por uma combinação com fio e sem fio) a um computador, o computador visualiza adequadamente a cone- xão como um meio de transmissão. Os meios de transmissão podem incluir uma rede e/ou links de dados que podem ser usados para conter meios desejados de código de programa na forma de instruções execu- táveis por computador ou estruturas de dados e que podem ser acessa- dos por um computador de propósito geral ou de propósito especial. Combinações dos acima citados também precisam ser incluídas no es- copo de mídias legíveis por computador.
[0087] Adicionalmente, ao atingir vários componentes de sistema de computador, os meios de código de programa na forma de instruções executáveis por computador ou estruturas de dados podem ser transfe- ridos automaticamente de mídias de transmissão para mídias (disposi- tivos) de armazenamento em computador (ou vice-versa). Por exemplo, instruções executáveis por computador ou estruturas de dados recebi- dos por uma rede ou link de dados podem ser armazenadas temporari- amente em RAM dentro de um módulo de interface de rede (por exem- plo, um "NIC") e, então, por fim, transferidas para a RAM do sistema de computador e/ou para mídias (dispositivos) menos voláteis de armaze- namento em computador em um sistema de computador. A RAM pode também incluir drives de estado sólido (SSDs ou armazenamento em diferentes níveis em memória em tempo real baseada em PCIx, como FusionIO). Assim, deve ficar entendido que as mídias (dispositivos) de armazenamento em computador podem ser incluídas em componentes de sistema de computador que também (ou até principalmente) usam mídias de transmissão.
[0088] As instruções executáveis por computador compreendem,
por exemplo, instruções e dados que, quando executados em um pro- cessador, fazem com que um computador de propósito geral, um com- putador de propósito especial ou dispositivo de processamento de pro- pósito especial realize uma determinada função ou grupo de funções. As instruções executáveis por computador podem ser, por exemplo, ins- truções binarias de formato intermediário, por exemplo, a linguagem de montagem, ou mesmo o código-fonte. Embora essa matéria tenha sido descrita em uma linguagem específica para recursos estruturais e/ou ações metodológicas, deve-se compreender que a matéria definida nas reivindicações anexas não está necessariamente limitada aos recursos descritos ou às ações descritas acima. Em vez disso, os recursos e ações descritos são descritos como formas de exemplo de implementa- ção das reivindicações.
[0089] Os versados na técnica apreciarão que a invenção pode ser colocada em prática em ambientes de computação em rede com vários tipos de configurações de sistema de computador, incluindo computa- dores pessoais, computadores tipo desktop, computadores tipo laptop, processadores de mensagens, unidades de controle, unidade de con- trole de câmeras, dispositivos de mão, peças de mão, sistemas de múl- tiplos processadores, dispositivos eletrônicos do consumidor baseados em microprocessador ou programáveis, PCs em rede, minicomputado- res, computadores do tipo mainframe, telefones móveis, PDAs, tablets, pagers, roteadores, switches, dispositivos de armazenamento diversos, e similares. Deve ser observado que quaisquer dos dispositivos de com- putação mencionados acima pode ser fornecido por ou estar localizado dentro de um tijolo e pilão. A invenção pode também ser colocada em prática em ambientes de sistema distribuído onde sistemas de compu- tador locais e remotos que estão ligados (tanto por links de dados com fio, links de dados sem fio ou por uma combinação de links de dados com e sem fio) através de uma rede, e ambos realizam tarefas. Em um ambiente de sistema distribuído, os módulos de programa podem estar situados em dispositivos de armazenamento de memória tanto locais quanto remotos.
[0090] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou ma- trizes de portas programáveis em campo (FPGAs) podem ser progra- mados para realizar um ou mais dos sistemas e procedimentos descri- tos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a compo- nentes de sistema em particular. Como os versados na técnica enten- derão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre com- ponentes que diferem em nome, porém não em função.
[0091] A Figura 2 é um diagrama de blocos que ilustra um exemplo de dispositivo de computação 150. O dispositivo de computação 150 pode ser usado para realizar diversos procedimentos, como aqueles dis- cutidos na presente invenção. O dispositivo de computação 150 pode funcionar como um servidor, um cliente ou qualquer outra entidade de computação. O dispositivo de computação 150 pode desempenhar vá- rias funções de monitoramento como discutido na presente invenção, e pode executar um ou mais programa de aplicativo, como o programa de aplicativo descrito na presente invenção. O dispositivo de computação 150 pode ser qualquer um de uma ampla variedade de dispositivos de computação, como um computador do tipo desktop, um computador do tipo notebook, um computador servidor, um computador portátil, uma unidade de controle de câmera, computador do tipo tablet e similares.
[0092] O dispositivo de computação 150 inclui um ou mais proces- sador(es) 152, um ou mais dispositivo(s) de memória 154, uma ou mais interface(s) 156, um ou mais dispositivo(s) de armazenamento em massa 158, um ou mais dispositivo(s) de entrada/saída (I/O) 160, e um dispositivo de exibição 180, sendo todos acoplados a um barramento
162. O(s) processador(es) 152 inclui(em) um ou mais processadores ou controladores que executam instruções armazenadas em dispositivo(s) de memória 154 e/ou em dispositivo(s) de armazenamento em massa
158. O(s) processador(es) 152 pode(m) também incluir vários tipos de mídia legível por computador, como memória em cache.
[0093] O(s) dispositivo(s) de memória 154 inclui(em) diversas mí- dias legíveis por computador, como memória volátil (por exemplo, me- mória de acesso aleatório (RAM) 164) e/ou memória não volátil (por exemplo, memória somente de leitura (ROM) 166). O(s) dispositivo(s) de memória 154 pode(m) também incluir ROM regravável, como memó- ria Flash.
[0094] O(s) dispositivo(s) de armazenamento em massa 158 in- clui(em) diversas mídias legíveis por computador, como fitas magnéti- cas, discos magnéticos, discos ópticos, memória de estado sólido (por exemplo, memória) etc. Como mostrado na Figura 2, um dispositivo de armazenamento em massa em particular é um drive de disco rígido 174. Vários drives também podem ser incluídos no(s) dispositivo(s) de arma- zenamento em massa 158 para permitir a leitura a partir de e/ou a gra- vação nas diversas mídias legíveis por computador. O(s) dispositivo(s) de armazenamento em massa 158 inclui(em) mídias removíveis 176 e/ou mídias não removíveis.
[0095] O(s) dispositivo(s) de I/O 160 inclui(em) vários dispositivos que permitem que dados e/ou outras informações sejam inseridos em ou recuperados do dispositivo de computação 150. Exemplos de dispo- sitivos de I/O 160 incluem dispositivos de imageamento digital, sensores e emissores eletromagnéticos, dispositivos de controle de cursor, tecla- dos, teclados tipo keypad, microfones, monitores ou outros dispositivos de exibição, autofalantes, impressoras, cartões de interface de rede, modems, lentes, CCDs ou outros dispositivos de captura de imagem, e similares.
[0096] O dispositivo de exibição 180 inclui qualquer tipo de disposi- tivo capaz de exibir informações para um ou mais usuários do disposi- tivo de computação 150. Exemplos de dispositivo de exibição 180 in- cluem um monitor, terminal de tela, dispositivo de projeção de vídeo, e similares.
[0097] A(s) interface(s) 106 inclui(em) diversas interfaces que per- mitem que um dispositivo de computação 150 interaja com outros siste- mas, dispositivos ou ambientes de computação. Exemplo(s) de interface 156 podem incluir qualquer número de diferentes interfaces de rede 170, como interfaces para rede local (LANs), redes de área ampla (WANs), redes sem fio e a Internet. Outra(s) interface(s) inclui(em) interface de usuário 168 e interface de dispositivo periférico 172. A(s) interface(s) 156 pode(m) também incluir um ou mais elementos de interface de usu- ário 168. A(s) interface(s) 156 pode(m) também incluir uma ou mais in- terfaces periféricas, como interfaces para impressoras, dispositivos de apontamento (mouses, track pad etc.), teclados e similares.
[0098] O barramento 162 permite que processador(es) 152, dispo- sitivo(s) de memória 154, interface(s) 156, dispositivo(s) de armazena- mento em massa 158, e dispositivo(s) de I/O 160 se comuniquem entre si, bem como com outros dispositivos ou componentes acoplados ao barramento 162. O barramento 162 representa um ou mais de vários tipos de estruturas de barramento, como um barramento de sistema, barramento PCI, barramento IEEE 1394, barramento USB etc.
[0099] Para fins de ilustração, programas e outros componentes de programa executáveis são mostrados na presente invenção como blo- cos discretos, embora seja compreendido que esses programas e com- ponentes podem permanecer em diversos momentos em diferentes componentes de armazenamento do dispositivo de computação 150, e são executados pelo(s) processador(es) 152. Alternativamente, os sis- temas e procedimentos descritos na presente invenção podem ser im- plementados em hardware, ou em uma combinação de hardware, sof- tware e/ou firmware. Por exemplo, um ou mais circuitos integrados es- pecíficos para aplicação (ASICs - "application specific integrated cir- cuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimen- tos descritos na presente invenção.
[0100] A Figura 2A ilustra os ciclos operacionais de um sensor usado no modo de leitura por rolagem ou durante a leitura do sensor
200. A leitura do quadro pode começar em e pode ser representada pela linha vertical 210. O período de leitura é representado pela linha diago- nal ou inclinada 202. O sensor pode ser lido fileira por fileira, em que o topo da borda inclinada para baixo é a fileira superior do sensor 212 e em que o fundo da borda inclinada para baixo é a fileira inferior do sen- sor 214. O tempo entre a leitura da última fileira e o próximo ciclo de leitura pode ser chamado de tempo de supressão 216. Deve ser obser- vado que algumas das fileiras de pixel do sensor podem ser cobertas com um protetor de luz (por exemplo, um revestimento metálico ou qual- quer outra camada substancialmente de cor negra de um outro tipo de material). Essas fileiras de pixel cobertas podem ser denominadas filei- ras ópticas negras 218 e 220. As fileiras ópticas negras 218 e 220 po- dem ser usadas como entrada para algoritmos de correção. Como mos- trado na Figura 2A, essas fileiras ópticas negras 218 e 220 podem estar localizadas no topo da matriz de pixel ou no fundo da matriz de pixel ou no topo e no fundo da matriz de pixel. A Figura 2B ilustra um processo de controle da quantidade de radiação eletromagnética, por exemplo, luz, que é exposta a um pixel, sendo assim integrada ou acumulada pelo pixel. Será reconhecido que os fótons são partículas elementares de radiação eletromagnética. Os fótons são integrados, absorvidos ou acu- mulados por cada pixel e convertidos em uma carga ou corrente elétrica. Um obturador eletrônico ou obturador de rolagem (mostrado pela linha tracejada 222) pode ser usado para iniciar o tempo de integração pela reinicialização do pixel. A luz então integrará até a próxima fase de lei- tura. A posição do obturador eletrônico 222 pode ser movimentada entre dois ciclos de leitura 202 para controlar a saturação de pixel para uma determinada quantidade de luz. Deve ser observado que essa técnica permite um tempo de integração constante entre duas linhas diferentes, mas introduz um atraso ao se movimentar das fileiras superiores para as inferiores. A Figura 2C ilustra o caso em que o obturador eletrônico 222 foi removido. Nessa configuração, a integração da luz de entrada pode começar durante a leitura 202 e pode terminar no próximo ciclo de leitura 202, que também define o início da próxima integração. A Figura 2D mostra uma configuração sem um obturador eletrônico 222, mas com uma luz controlada e pulsada 230 durante o tempo de supressão
216. Isso garante que todas as fileiras vejam a mesma luz emitida do mesmo pulso de luz 230. Em outras palavras, cada fileira iniciará sua integração em um ambiente escuro, que pode ser na fileira óptica negra traseira 220 do quadro de leitura (m) para uma largura máxima de pulso de luz e, então, receberá uma luz estroboscópica e terminará sua inte- gração em um ambiente escuro, que pode ser na fileira óptica negra frontal 218 do próximo quadro de leitura subsequente (m+1) para uma largura máxima de pulso de luz. No exemplo da Figura 2D, a imagem gerada a partir do pulso de luz ficará unicamente disponível durante a leitura do quadro (m+1) sem qualquer interferência nos quadros (m) e (m+2). Deve ser observado que a condição para se ter um pulso de luz a ser lido somente em um quadro e não interferir nos quadros vizinhos é ter o dado pulso de luz disparado durante o tempo de supressão 216. Uma vez que as fileiras ópticas negras 218, 220 são insensíveis à luz, o tempo de quadro (m) das fileiras ópticas negras traseiras 220 e o tempo de quadro (m+1) das fileiras ópticas negras frontais 218 podem ser somados ao tempo de supressão 216 para determinar a faixa má- xima do tempo de disparo do pulso de luz 230. Como ilustrado na Figura 2A, um sensor pode passar pelo ciclo muitas vezes para receber dados para cada cor pulsada ou comprimento de onda (por exemplo, vermelho, verde, azul, ou outro comprimento de onda no espectro eletromagné- tico). Cada ciclo pode ser cronometrado. Em uma modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de 16,67 ms. Em uma outra modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de 8,3 ms. Será reconhecido que outros intervalos de tempo são contemplados pela invenção e têm como obje- tivo ficar dentro do escopo da presente invenção.
[0101] A Figura 3 ilustra graficamente a operação de uma modali- dade de um emissor eletromagnético. Um emissor pode ser cronome- trado para corresponder aos ciclos de um sensor, de modo que radiação eletromagnética seja emitida dentro do ciclo de operação do sensor e/ou durante uma parte do ciclo de operação do sensor. A Figura 3 ilustra o Pulso 1 em 302, o Pulso 2 em 304 e o Pulso 3 em 306. Em uma moda- lidade, o emissor pode pulsar durante a parte de leitura 202 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar du- rante a parte de supressão 216 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar durante um período que ocorre du- rante partes de dois ou mais ciclos operacionais do sensor. Em uma modalidade, o emissor pode iniciar um pulso durante a parte de supres- são 216 ou durante a parte óptica negra 220 da parte de leitura 202, e terminar o pulso durante a parte de leitura 202, ou durante a parte óptica negra 218 da parte de leitura 202 do próximo ciclo subsequente. Ficará entendido que qualquer combinação do que foi exposto acima deverá permanecer dentro do escopo da presente invenção, contanto que o pulso do emissor e o ciclo do sensor correspondam.
[0102] A Figura 4 representa graficamente a variação da duração e a magnitude do pulso eletromagnético emitido (por exemplo, Pulso 1 em 402, Pulso 2 em 404 e Pulso 3 em 406) para controlar a exposição. Um emissor tendo uma magnitude de saída fixa pode ser pulsado durante quaisquer dos ciclos mencionados acima em relação às Figuras 2D e 3 para um intervalo para fornecer a energia eletromagnética necessária para a matriz de pixel. Um emissor tendo uma magnitude de saída fixa pode ser pulsado em um intervalo de tempo maior, fornecendo assim mais energia eletromagnética aos pixels ou o emissor pode ser pulsado em um intervalo de tempo menor, fornecendo assim menos energia ele- tromagnética. A necessidade de um intervalo de tempo mais longo ou mais curto depende das condições operacionais.
[0103] Em contraste ao ajuste do intervalo de tempo que o emissor pulsa uma magnitude de saída fixa, a própria magnitude da emissão pode ser aumentada para fornecer mais energia eletromagnética aos pixels. De modo similar, a redução da magnitude do pulso fornece me- nos energia eletromagnética aos pixels. Deve ser observado que uma modalidade do sistema pode ter a capacidade de ajustar simultanea- mente tanto a magnitude quanto a duração, se desejado. Adicional- mente, o sensor pode ser ajustado para aumentar sua sensibilidade e duração como desejado para uma qualidade de imagem ideal. A Figura 4 ilustra a variação da magnitude e a duração dos pulsos. Na ilustração, o Pulso 1 em 402 tem uma maior magnitude ou intensidade do que o Pulso 2 em 404 ou o Pulso 3 em 406. Adicionalmente, o Pulso 1 em 402 tem uma duração menor do que o Pulso 2 em 404 ou o Pulso 3 em 406,
de modo que a energia eletromagnética fornecida pelo pulso seja ilus- trada pela área sob o pulso mostrado na ilustração. Na ilustração, o Pulso 2 em 404 tem uma magnitude ou intensidade relativamente baixa e uma duração maior em comparação com o Pulso 1 em 402 ou com o Pulso 3 em 406. Por fim, na ilustração, o Pulso 3 em 406 tem uma mag- nitude ou intensidade e duração intermediárias em comparação com o Pulso 1 em 402 e com o Pulso 2 em 404.
[0104] A Figura 5 é uma representação gráfica de uma modalidade da invenção que combina os ciclos operacionais, o emissor eletromag- nético e os pulsos eletromagnéticos emitidos das Figuras 2 a 4 para demonstrar o sistema de imageamento durante a operação de acordo com os princípios e ensinamentos da invenção. Como pode ser visto na figura, o emissor eletromagnético pulsa as emissões principalmente du- rante o período de supressão 216 do sensor, de modo que os pixels serão carregados e estarão prontos para a leitura durante a parte de leitura 202 do ciclo de sensor. As porções em linha tracejada no pulso (da Figura 3) ilustram o potencial ou a capacidade de emitir energia ele- tromagnética durante as partes ópticas negras 220 e 218 do ciclo de leitura (ciclo de sensor) 200 se tempo adicional for necessário ou dese- jado para pulsar energia eletromagnética.
[0105] Agora com referência às Figuras 6 a 9A, a Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro com- pleto e luz de espectro particionado. Deve ser observado que os senso- res de cor possuem uma matriz de filtro de cor (CFA) para filtrar deter- minados comprimentos de onda de luz por pixel comumente usado para a recepção de luz de espectro completo. Um exemplo de uma CFA é um padrão Bayer. Uma vez que o sensor de cor pode compreender pixels dentro da matriz que são sensibilizados para uma única cor de dentro do espectro completo, o resultado é uma imagem com resolução reduzida, pois a matriz de pixel possui espaços de pixel dedicados a apenas uma única cor de luz dentro do espectro completo. Normal- mente, tal disposição é formada em um padrão do tipo tabuleiro de xa- drez ao longo de toda a matriz.
[0106] Em contraste, quando espectros particionados de luz são usados, um sensor pode ser sensibilizado ou responsivo à magnitude de toda a energia de luz, pois a matriz de pixel será instruída que está detectando energia eletromagnética de uma partição predeterminada do espectro completo de energia eletromagnética em cada ciclo. Portanto, para formar uma imagem, o sensor precisa somente passar pelo ciclo com uma pluralidade de partições de diferenciação de dentro do espec- tro completo de luz e, então, remontar a imagem para exibir uma mistura predeterminada de valores de cor para cada pixel ao longo da matriz. Consequentemente, uma imagem com maior resolução também é for- necida, pois há distâncias reduzidas em comparação com um sensor Bayer entre centros de pixel da mesma sensibilidade de cor para cada um dos pulsos de cor. Como resultado, a imagem colorida formada tem uma maior função de transferência de modulação (MTF - "modulation transfer function"). Uma vez que a imagem de cada ciclo de quadro de partição de cor tem uma maior resolução, a imagem resultante criada quando os quadros de luz particionada são combinados em um quadro de cores completas também tem uma maior resolução. Em outras pala- vras, uma vez que todos e cada um dos pixels dentro da matriz (em vez de, no máximo, cada segundo pixel em um sensor com filtro de cor) está detectando as magnitudes de energia de um determinado pulso e uma determinada cena, com apenas frações de tempo de separação, uma imagem com maior resolução é criada para cada cena, exigindo que menos dados derivados (menos preciso) sejam introduzidos.
[0107] Por exemplo, a luz visível branca ou de espectro completo é uma combinação de luz vermelha, verde e azul. Na modalidade mos- trada na Figura 6, pode ser visto que tanto no processo de espectro particionado 620 quanto no processo de espectro completo 610, o tempo para capturar uma imagem varia de t(0) a t(1). No processo de espectro completo 610, luz branca ou energia eletromagnética de es- pectro completo é emitida em 612. Em 614, a energia eletromagnética branca ou de espectro completo é detectada. Em 616, a imagem é pro- cessada e exibida. Assim, entre o tempo t(0) e t(1), a imagem foi pro- cessada e exibida. Contrariamente, no processo de espectro particio- nado 620, uma primeira partição é emitida em 622 e detectada em 624. Em 626, uma segunda partição é emitida e, então, detectada em 628. Em 630, uma terceira partição é emitida e detectada em 632. Em 634, a imagem é processada e exibida. Será reconhecido que qualquer sis- tema que usa um ciclo de sensor de imagem que é pelo menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da invenção.
[0108] Como pode ser visto graficamente na modalidade ilustrada na Figura 6 entre os tempos t(0) e t(1), o sensor para o sistema de es- pectro particionado 620 passou pelo ciclo três vezes para cada um do sistema de espectro completo. No sistema de espectro particionado 620, o primeiro dos três ciclos de sensor é para um espectro verde 622 e 624, o segundo dos três é para um espectro vermelho 626 e 628, e o terceiro é para um espectro azul 630 e 632. Assim, em uma modalidade em que o dispositivo de exibição (painel de LCD) opera a 50-60 quadros por segundo, um sistema de luz particionada deve operar em 150-180 quadros por segundo para manter a continuidade e a integridade do ví- deo exibido.
[0109] Em outras modalidades, pode haver diferentes taxas de cap- tura e exibição de quadro. Além disso, a taxa de captura média poderia ser qualquer múltiplo da taxa de exibição.
[0110] Em uma modalidade, pode ser desejado que nem todas as partições sejam representadas igualmente dentro da taxa de quadro do sistema. Em outras palavras, nem todas as fontes de luz precisam ser pulsadas com a mesma regularidade, de modo a enfatizar e desenfati- zar aspectos da cena gravada como desejado pelos usuários. Também deve ser compreendido que as partições não visíveis e visíveis do es- pectro eletromagnético podem ser pulsadas juntas dentro de um sis- tema com seu respectivo valor de dados sendo costuradas na saída de vídeo como desejado para exibição a um usuário.
[0111] Uma modalidade pode compreender um padrão de ciclo de pulso como segue: i. Pulso verde; ii. Pulso vermelho; iii. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso infravermelho (IV); viii. (Repetir)
[0112] Como pode ser visto no exemplo, uma partição infraverme- lha ou uma partição de comprimento de onda especializada (por exem- plo, 513 a 545 nm, 565 a 585 nm e/ou 900 a 100 nm) pode ser pulsada a uma taxa que difere das taxas dos outros pulsos de partição. Isso pode ser feito para enfatizar um determinado aspecto da cena, com os dados IV simplesmente sendo sobrepostos aos outros dados na saída de vídeo para realizar a ênfase desejada. Deve ser observado que a adição de uma partição eletromagnética no topo das partições vermelha, verde e azul não necessariamente exige que o sistema em série opere em qua- tro vezes a taxa de um sistema não serial de espectro completo, pois cada partição não precisa ser representada igualmente no padrão de pulso. Como visto na modalidade, a adição de um pulso de partição que é representado menos em um padrão de pulso (infravermelho em um exemplo acima), resultaria em um aumento menor que 20% da veloci- dade de ciclo do sensor a fim de acomodar a amostragem de partição irregular.
[0113] Em várias modalidades, o padrão de ciclo de pulso pode in- cluir qualquer um dos seguintes comprimentos de onda em qualquer ordem adequada. Esses comprimentos de onda podem ser particular- mente adequados para determinar dados de imagem multiespectral ou hiperespectral ou para determinar dados de imagem com base em uma emissão de relaxamento de reagente fluorescente: i. 465 ± 5 nm; ii. 533 ± 4 nm; iii. 638 ± 5 nm; iv. 780 ± 5 nm; v. 805 ± 5 nm; vi. 975 ± 5 nm; vii. 577 ± 2 nm; ou viii. 523 ± 4 nm.
[0114] Em uma modalidade, pode ser emitida uma partição eletro- magnética que é sensível a corantes ou materiais que são usados para destacar aspectos de uma cena. Na modalidade, pode ser suficiente destacar a localização dos corantes ou materiais sem a necessidade de alta resolução. Nessa modalidade, a partição eletromagnética sensível a corante pode passar pelo ciclo de forma muito menos frequente do que as outras partições no sistema para incluir os dados enfatizados.
[0115] Os ciclos de partição podem ser divididos de modo a acomo- dar ou aproximar vários padrões de imageamento e vídeo. Em uma mo- dalidade, os ciclos de partição podem compreender pulsos de energia eletromagnética no espectro Vermelho, Verde e Azul como mais bem ilustrado nas Figuras 7A a 7D. Na Figura 7A, as diferentes intensidades de luz foram alcançadas modulando-se a largura ou a duração do pulso de luz dentro da faixa de trabalho mostrada pelas linhas tracejadas ver- ticais cinza. Na Figura 7B, as diferentes intensidades de luz foram al- cançadas modulando-se a potência da luz ou a potência do emissor ele- tromagnético que pode ser um emissor de laser ou LED, porém man- tendo a largura ou a duração do pulso constantes. A Figura 7C mostra o caso em que tanto a potência de luz quanto a largura do pulso de luz estão sendo moduladas, levando a uma maior flexibilidade. Os ciclos de partição podem empregar CMY, IV e ultravioleta com o uso de uma fonte de pulso não visível misturada com fontes de pulso visível e qualquer outro espaço de cor exigido para produzir uma imagem ou se aproximar de um padrão de vídeo desejado que é atualmente conhecido ou ainda por ser desenvolvido. Também deve ser compreendido que um sistema pode ser capaz de alternar entre os espaços de cor durante o progresso para fornecer a qualidade de emissão de imagem desejada.
[0116] Em uma modalidade que usa espaços de cor Verde-Azul- Verde-Vermelho (como visto na Figura 7D), pode-se desejar pulsar os componentes de luminância mais frequentemente do que os componen- tes de crominância, pois os usuários são, de modo geral, mais sensíveis às diferenças de magnitude da luz do que às diferenças de cor da luz. Esse princípio pode ser explorado com o uso de um sensor monocro- mático como ilustrado na Figura 7D. Na Figura 7D, a cor verde, que contém a maioria das informações de luminância, pode ser pulsada mais frequentemente ou com mais intensidade em um esquema (G-B- G-R-G-B-G-R…) para se obter os dados de luminância. Essa configura- ção criaria uma transmissão de vídeo que tem perceptivelmente mais detalhes, sem criar e transmitir dados imperceptíveis.
[0117] Em uma modalidade, a duplicação do pulso de uma partição mais fraca pode ser usada para produzir uma emissão que foi ajustada para o pulso mais fraco. Por exemplo, a luz laser azul é considerada fraca em relação à sensibilidade dos pixels baseados em silício e é difícil de se produzir em comparação com a luz vermelha ou verde e, portanto, pode ser pulsada mais frequentemente durante um ciclo de quadro para compensar a fraqueza da luz. Esses pulsos adicionais podem ser reali- zados em série no decorrer do tempo ou usando-se múltiplos lasers que pulsam simultaneamente para produzir o efeito de compensação dese- jado. Deve ser observado que ao pulsar durante um período de supres- são (tempo durante o qual o sensor não está lendo a matriz de pixel), o sensor é insensível às diferenças/disparidades entre lasers do mesmo tipo e simplesmente acumula a luz para a emissão desejada. Em uma outra modalidade, a faixa de máximo pulso de luz pode ser diferente de quadro para quadro. Isso é mostrado na Figura 7E onde os pulsos de luz são diferentes de quadro para quadro. O sensor pode ser construído para poder programar diferentes tempos de supressão com um padrão de repetição de 2 ou 3 ou 4 ou n quadros. Na Figura 7E, são ilustrados 4 diferentes pulsos de luz, e o Pulso 1 pode se repetir, por exemplo, após o Pulso 4 e pode ter um padrão de 4 quadros com diferentes tem- pos de supressão. Essa técnica pode ser usada para colocar a partição mais potente no menor tempo de supressão e, portanto, permitir que a partição mais fraca tenha pulso mais largo em um dos próximos quadros sem a necessidade de aumentar a velocidade de leitura. O quadro re- construído pode ter ainda um padrão regular de quadro para quadro, pois é constituído de muitos quadros pulsados.
[0118] Como pode ser visto na Figura 8, uma vez que cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Em 810, os dados obtidos do histograma de um qua- dro anterior podem ser analisados. Em 820, o sensor pode ser ajustado como mencionado abaixo. Adicionalmente, em 830, o emissor pode ser ajustado. Em 840, a imagem pode ser obtida do tempo de amostra ajus- tado a partir do sensor ou a imagem pode ser obtida com luz emitida ajustada (tanto aumentada quanto diminuída), ou uma combinação do acima mencionado. Por exemplo, uma vez que o espectro de luz ver- melha é mais prontamente detectado por um sensor dentro do sistema do que o espectro de luz azul, o sensor pode ser ajustado para ficar menos sensível durante o ciclo de partição vermelho e mais sensível durante o ciclo de partição azul devido à baixa Eficiência Quântica que a partição azul tem em relação ao silício (mais bem ilustrado na Figura 9). De modo similar, o emissor pode ser ajustado para fornecer uma partição ajustada (por exemplo, maior ou menor intensidade e duração). Adicionalmente, ajustes podem ser feitos tanto ao nível do sensor quanto do emissor. O emissor pode também ser projetado para emitir em uma frequência específica ou pode ser alterado para emitir múltiplas frequências de uma partição específica para ampliar o espectro de luz que está sendo emitido, se desejado, para uma aplicação em particular.
[0119] A Figura 10 mostra um esquema de um pixel 4T não com- partilhado. O sinal TX é usado para transferir cargas acumuladas do fotodiodo (PPD) para a difusão oscilante (FD). O sinal de reinicialização é usado para reinicializar o FD para o barramento de reinicialização. Se os sinais de reinicialização e TX estiverem "ligados" ao mesmo tempo, o PPD é constantemente reinicializado (cada carga de foto gerada no PPD é diretamente coletada no barramento de reinicialização) e o PPD está sempre vazio. A implementação de matriz de pixel usual inclui uma linha de reinicialização horizontal que fixa os sinais de reinicialização de todos os pixels dentro de uma fileira e uma linha TX horizontal que fixa os sinais TX de todos os pixels dentro de uma fileira.
[0120] Em uma modalidade, o tempo de ajuste de sensibilidade do sensor é ilustrado e o ajuste de sensibilidade do sensor pode ser alcan- çado usando-se um mecanismo de reinicialização global (ou seja, um meio de disparo de todos os sinais de reinicialização da matriz de pixel de uma vez) e um mecanismo de TX global (ou seja, meios de disparo de todos os sinais TX da matriz de pixel de uma vez). Isto é mostrado na Figura 11. Nesse caso, o pulso de luz é constante em termos de duração e amplitude, porém a luz integrada em todos os pixels começa com a transição de "ligado" para "desligado" do TX global e termina com o pulso de luz. Portanto, a modulação é realizada movendo-se a borda em queda do pulso TX global.
[0121] Por outro lado, o emissor pode emitir luz vermelha em uma menor intensidade do que a luz azul para produzir uma imagem corre- tamente exposta (mais bem ilustrada na Figura 12). Em 1210, os dados obtidos do histograma de um quadro anterior podem ser analisados. Em 1220, o emissor pode ser ajustado. Em 1230, a imagem pode ser obtida a partir da luz emitida ajustada. Adicionalmente, em uma modalidade, tanto o emissor quanto o sensor podem ser simultaneamente ajustados.
[0122] A reconstrução dos quadros de espectro particionado em um quadro de espectro completo para emissão posterior poderia ser tão simples quanto misturar os valores detectados para cada pixel na matriz em algumas modalidades. Adicionalmente, a blenda e a mistura de va- lores podem ser médias simples ou podem ser ajustadas em uma tabela de consulta (LUT - "lookup table") predeterminada de valores para emis- sões desejadas. Em uma modalidade de um sistema usando espectros de luz particionada, os valores detectados podem ser pós-processados ou adicionalmente refinados remotamente a partir do sensor por uma imagem ou processador secundário, e sendo pouco antes enviado para uma tela.
[0123] A Figura 13 ilustra um exemplo básico em 1300 de um ISP monocromático e como uma cadeia de ISP pode ser montada para fins de geração de sequências de imagem sRGB a partir de dados brutos do sensor gerados na presença do esquema de pulsação de luz G-R-
G-B.
[0124] O primeiro estágio se refere à realização de correções (vide 1302, 1304 e 1306 na Figura 13) para levar em consideração quaisquer não idealidades na tecnologia de sensor para as quais é mais apropri- ado trabalhar no domínio de dados brutos (vide a Figura 21).
[0125] No próximo estágio, dois quadros (vide 1308 e 1310 na Fi- gura 13) seriam armazenados temporariamente uma vez que cada qua- dro final deriva dados de três quadros brutos. A reconstrução do quadro em 1314 continuaria por dados de amostragem do quadro atual e dos dois quadros armazenados temporariamente (1308 e/ou 1310). O pro- cesso de reconstrução resulta em quadros de cores completas em es- paço de cor RGB linear.
[0126] Nesse exemplo, os coeficientes de equilíbrio de branco em 1318 e a matriz de correção de cor em 1320 são aplicados antes da conversão em espaço YCbCr em 1322 para subsequente intensificação de borda em 1324. Após a intensificação de borda em 1324, as imagens são transformadas de volta em RGB linear em 1326 para alteração de escala em 1328, se aplicável.
[0127] Por fim, a função de transferência gama em 1330 seria apli- cada para transladar os dados para o domínio sRGB em 1332.
[0128] A Figura 14 é um exemplo de modalidade de hardware de fusão de cores. O hardware de fusão de cores recebe um fluxo de dados de vídeo RGBGRGBGRGBG em 1402 e o converte em um fluxo de da- dos de vídeo RGB paralelo em 1405. A largura de bit no lado de entrada pode ser, por exemplo, de 12 bits por cor. A largura de saída para esse exemplo seria de 36 bits por pixel. Outras modalidades podem ter dife- rentes larguras de bit iniciais e 3 vezes esse número para a largura de saída. O bloco escritor de memória assume como sua entrada a trans- missão de vídeo RGBG em 1402 e escreve cada quadro em seu buffer de memória de quadro correta em 1404 (o escritor de memória dispara o mesmo gerador de pulso 1410 que executa a fonte de luz laser). Como ilustrado em 1404, a escrita da memória segue o padrão, Vermelho, Verde 1, Azul, Verde 2, e então reinicia com Vermelho novamente. Em 1406, o leitor de memória lê três quadros de uma vez para construir um pixel RGB. Cada pixel tem três vezes a largura de bit de um componente de cor individual. O leitor também dispara o gerador de pulso de laser em 1410. O leitor espera até que os quadros Vermelho, Verde 1 e Azul tenham sido escritos, então passa a lê-los em paralelo enquanto o es- critor continua a escrever Verde 2 e reinicia em Vermelho. Quando o Vermelho termina, o leitor começa a ler a partir do Azul, Verde 2 e Ver- melho. Esse padrão continua indefinidamente.
[0129] Agora com referência às Figuras 15 e 16, a reconstrução pa- drão RG1BG2RG1BG2 ilustrada na Figura 16 permite a saída de 60 fps com entrada de 120 fps em uma modalidade. Cada quadro consecutivo contém tanto um componente vermelho quanto um azul do quadro an- terior. Na Figura 16, cada componente de cor está disponível em 8,3 ms e o quadro reconstruído resultante tem um período de 16,67 ms. De modo geral, para esse esquema de pulsação, o quadro reconstruído tem um período de duas vezes aquele do quadro colorido de entrada como mostrado na Figura 15. Em outras modalidades, diferentes esquemas de pulsação podem ser empregados. Por exemplo, as modalidades po- dem ser baseadas no tempo de cada componente de cor ou quadro (T1) e em que o quadro reconstruído tem um período de duas vezes aquele do quadro de cor de entrada (2 x T1). Diferentes quadros dentro da se- quência podem ter diferentes períodos de quadro e a taxa média de captura poderia ser qualquer múltiplo da taxa de quadro final.
[0130] As Figuras 17 a 20 ilustram métodos de correção de cor e esquemas de hardware para uso com um sistema de luz particionada. É comum no imageamento digital manipular os valores dentro dos da- dos de imagem para corrigir a saída a fim de atender às expectativas do usuário ou destacar determinados aspectos do objeto imageado. Isso é mais comumente realizado em imagens de satélite que são sintonizadas e ajustadas para enfatizar um tipo de dados em relação a outro. Mais frequentemente, em dados adquiridos por satélite há o espectro com- pleto de energia eletromagnética disponível, uma vez que a fonte de luz não é controlada, ou seja, o sol é a fonte de luz. Em contraste, há con- dições de imageamento em que a luz é controlada e ainda fornecida por um usuário. Nessas situações, a calibração de dados de imagem ainda é desejável, pois sem calibração pode ser dada a indevida ênfase a de- terminados dados em relação a outros dados. Em um sistema em que a luz é controlada pelo usuário, é vantajoso fornecer emissões de luz que são conhecidas do usuário e que podem ser somente uma porção do espectro eletromagnético ou uma pluralidade de porções do espectro eletromagnético completo. A calibração continua sendo importante para atender às expectativas dos usuários e verificar falhas dentro do sis- tema. Um método de calibração pode ser uma tabela de valores espe- rados para uma determinada condição de imageamento que podem ser comparados com os dados do sensor. Uma modalidade pode incluir uma cena de cor neutra tendo valores conhecidos que devem ser envi- ados pelo dispositivo de imageamento e o dispositivo pode ser ajustado para atender a esses valores conhecidos quando o dispositivo amostra a cena de cor neutra.
[0131] Em uso, e ao ser iniciado, o sistema pode amostrar uma cena de cor neutra em 1710 (como ilustrado na Figura 17) ao executar um ciclo completo de uma pluralidade de partições de espectro eletromag- nético em 1702. Uma tabela de valores 1708 pode ser formada para produzir um histograma para o quadro em 1704. Os valores do quadro podem ser comparados com os valores conhecidos ou esperados da cena de cor neutra em 1706. O dispositivo de imageamento pode ser então ajustado para atender a emissão desejada em 1712. Em uma mo- dalidade ilustrada na Figura 17, o sistema pode compreender um pro- cessador de sinal de imagem (ISP - "image signal processor") que pode ser ajustado para corrigir a cor do dispositivo de imageamento.
[0132] Deve ser observado que como cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Por exemplo, em uma modalidade, uma vez que o espectro de luz azul tem uma menor eficiência quântica do que o espectro de luz vermelha em relação aos imageadores baseados em silício, a responsi- vidade do sensor pode ser então ajustada para ficar menos responsiva durante o ciclo vermelho e mais responsiva durante o ciclo azul. Por outro lado, o emissor pode emitir luz azul em uma maior intensidade, devido à menor eficiência quântica da luz azul, do que luz vermelha para produzir uma imagem corretamente exposta.
[0133] Em uma modalidade ilustrada na Figura 18, em que a emis- sões de fonte de luz são fornecidas e controláveis pelo sistema, o ajuste dessas emissões de luz pode ser feito para corrigir a cor de uma ima- gem em 1800. Os ajustes podem ser feitos em qualquer aspecto da luz emitida, por exemplo, magnitude, duração (ou seja, tempo que perma- nece ligada) ou a faixa dentro da partição do espectro. Adicionalmente, tanto o emissor quanto o sensor podem ser ajustados simultaneamente em algumas modalidades como mostrado na Figura 19.
[0134] Para reduzir a quantidade de ruído e artefatos dentro do fluxo ou vídeo de imagem enviada, ajustes fracionados podem ser realizados no sensor ou emissor dentro do sistema como pode ser visto na Figura
20. É ilustrado na Figura 20 um sistema 2000 em que tanto o emissor 2006 quanto o sensor 2008 podem ser ajustados, porém um dispositivo de imageamento em que o emissor ou o sensor é ajustado durante o uso ou durante uma parte do uso é também contemplado e está no es- copo da presente invenção. Pode ser vantajoso ajustar somente o emis- sor durante uma parte do uso e ajustar somente o sensor durante uma outra porção do uso, enquanto adicionalmente ainda se ajusta ambos simultaneamente durante uma parte do uso. Em quaisquer das modali- dades acima, uma qualidade de imagem aprimorada pode ser obtida limitando-se os ajustes gerais que o sistema pode realizar entre ciclos de quadro. Em outras palavras, uma modalidade pode ser limitada, de modo que o emissor possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. De modo se- melhante, o sensor pode ser limitado, de modo que possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. Além disso, tanto o emissor quanto o sensor podem ser limitados, de modo que possa ser somente ajustados juntos em uma fração de suas respectivas faixas operacionais em qualquer momento entre os quadros em uma modalidade.
[0135] Em uma modalidade exemplificadora, um ajuste fracionado dos componentes dentro do sistema pode ser realizado, por exemplo, em cerca de 0,1 dB da faixa operacional dos componentes para corrigir a exposição do quadro anterior. O valor de 0,1 dB é meramente um exemplo e deve ser observado que, em outras modalidades, o ajuste permitido dos componentes pode ser qualquer porção de suas respec- tivas faixas operacionais. Os componentes do sistema podem ser alte- rados pelo ajuste de intensidade ou duração que é, de modo geral, re- gido pelo número de bits (resolução) enviados pelo componente. A re- solução do componente pode estar tipicamente entre uma faixa de cerca de 10 a 24 bits, porém não deve ser limitada a essa faixa já que deve incluir resoluções para componentes que ainda devem ser desenvolvi- das, além daquelas que estão atualmente disponíveis. Por exemplo, após um primeiro quadro, é determinado que a cena é muito azul quando observada, então o emissor pode ser ajustado para reduzir a magnitude ou a duração do pulso da luz azul durante o ciclo azul do sistema por meio de um ajuste fracionado como discutido acima, por exemplo, cerca de 0,1 dB.
[0136] Nessa modalidade exemplificadora, mais que 10 por cento pode ter sido necessário, porém o sistema se limitou ao ajuste de 0,1 dB da faixa operacional por ciclo do sistema. Consequentemente, du- rante o próximo ciclo de sistema, a luz azul pode ser então ajustada novamente, se necessário. O ajuste fracionado entre ciclos pode ter um efeito de abafamento das imagens emitidas e reduzirá o ruído e artefa- tos ao operar os emissores e sensores em suas operações extremas. Pode ser determinado que qualquer quantidade fracionada da faixa ope- racional de ajuste dos componentes pode ser usada como um fator limi- tador, ou pode ser determinado que certas modalidades do sistema po- dem compreender componentes que podem ser ajustados ao longo de toda a sua faixa operacional.
[0137] Adicionalmente, a área óptica negra de qualquer sensor de imagem pode ser usada para auxiliar na correção da imagem e na re- dução de ruído. Em uma modalidade, os valores lidos a partir da área óptica negra podem ser comparados com aqueles da região de pixel ativo de um sensor para estabelecer um ponto de referência a ser usado no processamento de dados de imagem. A Figura 21 mostra o tipo de processos de correção de sensor que podem ser empregados em um sistema pulsado de cor. Os sensores de imagem CMOS têm tipicamente múltiplas não idealidades que têm um efeito prejudicial sobre a quali- dade da imagem, particularmente em baixa luz. Os principais dentre eles são o ruído de padrão fixo e o ruído de linha. O ruído de padrão fixo é uma dispersão nos deslocamentos desses elementos de detecção. Tipicamente, a maioria dos FPN é uma dispersão de pixel para pixel que se origina, entre outras fontes, de variações aleatórias em corrente es- cura de fotodiodo para fotodiodo. Isso parece bastante anormal para o observador. Ainda mais notável é a coluna FPN, que resulta de deslo- camentos na cadeia de leitura associada a colunas de pixels em parti- cular. Isso resulta em faixas verticais perceptíveis dentro da imagem.
[0138] Ter o controle total da iluminação tem o benefício de que to- dos os quadros de dados negros podem ser periodicamente adquiridos e usados para corrigir os deslocamentos de pixel e coluna. No exemplo ilustrado, uma memória temporária de quadro único pode ser usada para obter uma média móvel de todo o quadro sem o uso de luz, por exemplo, suavização exponencial simples. Esse quadro médio negro seria subtraído de cada quadro iluminado durante a operação regular.
[0139] Linha-Ruído é uma variação temporal estocástica nos deslo- camentos de pixels dentro de cada fileira. Por ser temporal, a correção deve ser computada novamente para cada linha e cada quadro. Para essa finalidade, existem geralmente muitos pixels opticamente cegos (OB - "optically blind") dentro de cada fileira na matriz, que deve ser primeiro amostrado para avaliar o deslocamento de linha antes da amostragem dos pixels sensíveis à luz. O deslocamento de linha é, en- tão, simplesmente subtraído durante o processo de correção de ruído de linha.
[0140] No exemplo da Figura 21, há outras correções relacionadas à obtenção dos dados na ordem adequada, monitorando e controlando o deslocamento de tensão no domínio analógico (clamp negro) e iden- tificando/corrigindo pixels defeituoso individuais.
[0141] As Figuras 22 e 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada. Em uma modalidade, entradas de exposição podem ser introduzidas em diferentes níveis ao longo do tempo e se combinar para produzir maior faixa dinâmica. Como pode ser visto na
Figura 22, um sistema de imageamento pode passar pelo ciclo em uma primeira intensidade para um primeiro ciclo em 2202 e, então, subse- quentemente passar pelo ciclo em uma segunda intensidade para um segundo ciclo em 2204 e, então, combinando esses primeiro e segundo ciclos em um único quadro em 2206, de modo que uma maior faixa di- nâmica possa ser alcançada. A maior faixa dinâmica pode ser especial- mente desejável devido ao espaço ambiente limitado no qual um dispo- sitivo de imageamento é usado. Em ambientes de espaço limitado que são deficientes de luz ou escuros, exceto pela luz fornecida pela fonte de luz, e onde a fonte de luz fica próxima do emissor de luz, a exposição tem uma relação exponencial com a distância. Por exemplo, objetos pró- ximos da fonte de luz e a abertura óptica do dispositivo de imageamento tendem a ser superexpostos, ao passo que objetos mais distantes ten- dem a ser extremamente subexpostos, pois há pouquíssima luz ambi- ente presente (se houver).
[0142] Como pode ser visto na Figura 23, os ciclos de um sistema tendo emissões de energia eletromagnética em uma pluralidade de par- tições podem passar pelo ciclo em série de acordo com as partições do espectro eletromagnético em 2300. Por exemplo, em uma modalidade em que o emissor emite lasers em uma partição vermelha distinta, em uma partição azul distinta e em uma partição verde distinta, os dois con- juntos de dados em ciclo que serão combinados podem estar na forma de: i. vermelho na intensidade um em 2302, ii. vermelho na intensidade dois em 2304, iii. azul na intensidade um em 2302, iv. azul na intensidade dois em 2304, v. verde na intensidade um em 2302, vi. verde na intensidade dois em 2304.
[0143] Alternativamente, o sistema pode passar pelo ciclo na forma de: i. vermelho na intensidade um em 2302, ii. azul na intensidade um em 2302, iii. verde na intensidade um em 2302, iv. vermelho na intensidade dois em 2304, v. azul na intensidade dois em 2304, vi. verde na intensidade dois em 2304.
[0144] Nessa modalidade, uma primeira imagem pode ser derivada dos valores da intensidade um, e uma segunda imagem pode ser deri- vada dos valores da intensidade dois e, então, combinadas ou proces- sadas como conjuntos completos de dados de imagem em 2310 em vez de suas partes componentes.
[0145] É contemplado como dentro do escopo da presente invenção que qualquer número de partições de emissão pode ser usado em qual- quer ordem. Como visto na Figura 23, "n" é usado como uma variável para denotar qualquer número de partições eletromagnéticas e "m" é usado para denotar qualquer nível de intensidade para das partições "n". Esse sistema pode passar pelo ciclo na forma de: i. n na intensidade m em 2306, ii. n+1 na intensidade m+1, iii. n+2 na intensidade m+2, iv. n+i na intensidade m+j em 2308.
[0146] Consequentemente, qualquer padrão de ciclos em série pode ser usado para produzir a correção de imagem desejada, em que "i" e "j" são valores adicionais dentro da faixa de operação do sistema de imageamento.
[0147] Câmeras digitais coloridas incorporam um estágio de proces- samento de imagem com a finalidade de aumentar a fidelidade da re- produção de cor. Isso é realizado por meio de uma matriz de 3 x 3 co-
nhecida como Matriz de Correção de Cor (CCM - "Color Correction Ma- trix"):
[0148] Os termos na CCM são ajustados usando-se um conjunto de cores de referência (por exemplo, de um gráfico Macbeth) para fornecer a melhor correspondência total com o espaço de cor padrão sRGB. Os termos diagonais, a, e e i, são efetivamente ganhos de equilíbrio de branco. Tipicamente, no entanto, o equilíbrio de branco é aplicado se- paradamente, e as somas de fileiras horizontais são restringidas pela unidade, para que nenhum ganho líquido seja aplicado pelo próprio CCM. Os termos fora da diagonal lidam eficientemente com interferên- cia de cor nos canais de entrada. Portanto, os sensores Bayer possuem maiores termos fora da diagonal do que câmeras com 3 circuitos inte- grados, uma vez que as matrizes de filtro de cor possuem bastante so- breposição de resposta entre canais.
[0149] Há uma penalidade de razão sinal/ruído para correção de cor que depende da magnitude dos termos fora da diagonal. Um sensor hi- potético com canais que correspondem perfeitamente aos componentes sRGB teriam a matriz de identidade CCM:
[0150] A razão sinal/ruído avaliada no canal verde para um sinal de foto branco perfeito de 10.000 e- por pixel (desprezando o ruído de lei- tura) para esse caso seria:
[0151] Qualquer desvio disso degrada a SNR. Toma-se, por exem- plo, a seguinte CCM que possui valores que não seriam incomuns para um sensor CMOS Bayer:
[0152] Nesse caso, a SNR verde:
[0153] A Figura 24 mostra o resultado de uma simulação de SNR total usando iluminação D65 para um típico sensor CCM Bayer para o caso de uso da matriz de identidade versus a CCM ajustada. A SNR avaliada para o componente de luminância é cerca de 6 dB pior como consequência da correção de cor.
[0154] O sistema descrito na presente invenção usa iluminação mo- nocromática em uma pluralidade de comprimentos de onda discretos, portanto não há interferência de cor per se. As cruzes na Figura 25 in- dicam as posições de três comprimentos de onda que estão disponíveis por meio de fontes de diodo a laser (465, 532 e 639 nm), comparado com a gama sRGB que é indicada pelo triângulo.
[0155] Os termos fora da diagonal para a CCM são, nesse caso, drasticamente reduzidos em comparação com sensores Bayer que for- necem uma significativa vantagem SNR.
[0156] A Figura 26 ilustra um sistema de imageamento tendo maior faixa dinâmica como fornecida pela configuração de pixel da matriz de pixel do sensor de imagem. Como pode ser visto na figura, os pixels adjacentes 2602 e 2604 podem ser configurados em diferentes sensibi- lidades, de modo que cada ciclo inclua dados produzidos por pixels que são mais e menos sensíveis um em relação ao outro. Como uma plura- lidade de sensibilidades pode ser gravada em um único ciclo da matriz, a faixa dinâmica pode ser maior se gravada em paralelo, ao contrário da natureza em série dependente do tempo de outras modalidades.
[0157] Em uma modalidade, uma matriz pode compreender fileiras de pixels que podem ser colocados em fileiras com base em suas sen- sibilidades. Em uma modalidade, os pixels de diferentes sensibilidades podem alternar dentro de uma fileira ou coluna em relação aos seus pixels vizinhos mais próximos para formar um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz com base nessas sensibilidades. O descrito acima pode ser realizado através de qualquer disposição de compartilhamento de circuito de pixel ou em qualquer disposição de cir- cuito de pixel independente.
[0158] Uma ampla faixa dinâmica pode ser obtida tendo-se múlti- plos TX global, cada TX disparando somente em um diferente conjunto de pixels. Por exemplo, em modo global, um sinal TX global 1 está dis- parando um conjunto 1 de pixels, um sinal TX global 2 está disparando um conjunto 2 de pixels…. um sinal TX global n está disparando um conjunto n de pixels.
[0159] Com base na Figura 11, a Figura 27A mostra um exemplo de temporização para 2 diferentes sensibilidades de pixel (sensibilidade de pixel duplo) na matriz de pixel. Nesse caso, o sinal TX global 1 dispara metade dos pixels da matriz e o TX global 2 dispara a outra metade dos pixels. Uma vez que TX global 1 e TX global 2 possuem diferentes po- sições de borda "ligado" para "desligado", a luz integrada é diferente entre os pixels TX1 e os pixels TX2. A Figura 27B mostra uma modali- dade diferente da temporização para sensibilidade de pixel duplo. Nesse caso, o pulso de luz é modulado duas vezes (duração e/ou amplitude do pulso). Os pixels TX1 integram o pulso P1 e os pixels TX2 integram os pulsos P1+P2. A separação dos sinais de TX global pode ser reali- zada de diversas maneiras. Seguem exemplos: i. Diferenciação de linhas TX de cada fileira; e ii. Envio de múltiplas linhas TX por fileira, cada uma endere- çada a um conjunto diferente de pixels.
[0160] Em uma implementação, é descrito um meio para fornecer vídeo de ampla faixa dinâmica, o qual explora o sistema de pulsação de cor descrito na presente invenção. A base disso é ter múltiplos flavors ("sabores") de pixels, ou pixels que podem ser ajustados de maneira diferente, dentro da mesma matriz monocromática que são capazes de integrar a luz incidente para diferentes durações dentro do mesmo qua- dro. Um exemplo da disposição de pixel na matriz desse sensor seria um padrão uniforme de tabuleiro de xadrez como um todo, com dois tempos de integração independentemente variáveis. Para esse caso, é possível fornecer informação tanto vermelha quanto azul dentro do mesmo quadro. De fato, é possível fazer isso ao mesmo tempo ao am- pliar a faixa dinâmica para o quadro verde, onde é mais necessária, uma vez que os dois tempos de integração podem ser ajustados quadro a quadro. O benefício é que os artefatos de movimentação de cor são um problema menor se todos os dados forem derivados de dois quadros em relação a três quadros. Há evidentemente uma perda subsequente de resolução espacial dos dados do vermelho e azul, mas que é de menor consequência para a qualidade da imagem em comparação com dados do verde, uma vez que o componente de luminância é dominado pelos dados do verde.
[0161] Uma propriedade inerente da matriz monocromática de am- pla faixa dinâmica (WDR - "wide-dynamic range") é que os pixels que possuem o longo tempo de integração devem integrar um superconjunto da luz vista pelos pixels de curto tempo de integração. Para a operação regular da ampla faixa dinâmica nos quadros verdes, que é desejável. Para os quadros vermelho e azul, isso significa que a pulsação deve ser controlada em conjunto com os períodos de exposição para, por exem- plo, fornecer luz azul desde o início da longa exposição e trocar para o vermelho no ponto em que os pixels de curta exposição são ligados (ambos os tipos de pixel possuem suas cargas transferidas ao mesmo tempo).
[0162] No estágio de fusão de cor, os dois flavors ("sabores") de pixels são separados em duas memórias temporárias. Os pixels vazios são, então, preenchidos ao usar, por exemplo, interpolação linear. Nesse ponto, uma memória temporária contém uma imagem completa de dados do azul e a outra do vermelho+azul. A memória temporária azul pode ser subtraída da segunda memória temporária para fornecer dados vermelhos puros.
[0163] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada, ou mantida constante, com um sensor de cor correspondente. Como pode ser visto na Figura 28A, um emissor de luz branca pode ser configurado para emitir um feixe de luz durante o período de supressão de um sensor correspondente para for- necer uma fonte de luz controlada em um ambiente de luz controlada. A fonte de luz pode emitir um feixe em uma magnitude constante e variar a duração do pulso como visto na Figura 28A, ou pode manter o pulso constante com variação da magnitude para obter dados corretamente expostos como ilustrado na Figura 28B. É ilustrada na Figura 28C uma representação gráfica de uma fonte de luz constante que pode ser mo- dulada com corrente variável que é controlada por e sincronizada com um sensor.
[0164] Em uma modalidade, luz branca ou luz de múltiplo espectro pode ser emitida como um pulso, se desejado, para fornecer dados para uso dentro do sistema (mais bem ilustrado nas Figuras 28A a 28C). As emissões de luz branca, em combinação com partições do espectro ele- tromagnético, podem ser úteis para enfatizar e desenfatizar determina- dos aspectos dentro de uma cena. Essa modalidade deve usar um pa- drão de pulsação de: i. Pulso verde; ii. Pulso vermelho; iii. Pulso azul;
iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso de luz branca (múltiplos espectros); viii. (Repetir)
[0165] Qualquer sistema que usa um ciclo de sensor de imagem que é pelo menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da invenção. Será reconhecido que qual- quer combinação de partições do espectro eletromagnético é contem- plada na presente invenção, seja do espectro visível ou do não visível do espectro eletromagnético completo.
[0166] As Figuras 29A e 29B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor monolítico 2900 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional de acordo com os ensinamentos e princípios da invenção. Essa implementação pode ser desejável para a captura de imagem tridimensional, em que as duas matrizes de pixel 2902 e 2904 podem ser deslocadas durante o uso. Em uma outra im- plementação, uma primeira matriz de pixel 2902 e uma segunda matriz de pixel 2904 pode ser dedicada a receber uma faixa predeterminada de comprimentos de onda de radiação eletromagnética, em que a pri- meira matriz de pixel é dedicada a uma faixa diferente de comprimento de onda de radiação eletromagnética em relação à segunda matriz de pixel.
[0167] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento 3000 construído sobre uma pluralidade de subs- tratos. Como ilustrado, uma pluralidade de colunas de pixel 3004 que forma a matriz de pixel está localizada no primeiro substrato 3002 e uma pluralidade de colunas de circuito 3008 está localizada em um segundo substrato 3006. São também ilustradas na figura a conexão elétrica e a comunicação entre uma coluna de pixels e sua coluna associada ou correspondente de circuito.
Em uma implementação, um sensor de ima- gem, que pode ser de outra forma fabricado com sua matriz de pixel e circuitos de suporte em um único substrato/circuito integrado monolítico, pode ter a matriz de pixel separada de todos ou da maioria dos circuitos de suporte.
A invenção pode usar pelo menos dois substratos/circuitos integrados, os quais serão empilhados usando-se tecnologia de empi- lhamento tridimensional.
O primeiro 3002 dos dois substratos/circuitos integrados pode ser processado usando-se um processo de imagem CMOS.
O primeiro substrato/circuito integrado 3002 pode ser compre- endido tanto de uma matriz de pixel exclusivamente ou de uma matriz de pixel circundada por circuitos limitados.
O segundo ou subsequente substrato/circuito integrado 3006 pode ser processado usando-se qual- quer processo e não precisa ser de um processo de imagem CMOS.
O segundo substrato/circuito integrado 3006 pode ser, porém não está li- mitado a, um processo digital altamente denso para integrar uma varie- dade e número de funções em um espaço ou área muito limitado no substrato/circuito integrado, ou um processo de modo misto ou analó- gico para integrar, por exemplo, funções analógicas precisas, ou um processo de RF para implementar capacidade sem fio, ou MEMS ("Mi- cro-Electro-Mechanical Systems" - Sistemas Micro-Eletro-Mecânicos) para integrar dispositivos MEMS.
O substrato/circuito integrado de ima- gem CMOS 3002 pode ser empilhado com o segundo ou subsequente substrato/circuito integrado 3006 com o uso de qualquer técnica tridi- mensional.
O segundo substrato/circuito integrado 3006 pode suportar grande parte ou a maioria dos circuitos que de outra forma teriam sido implementados no primeiro circuito integrado de imagem CMOS 3002 (se implementados em um substrato/circuito integrado monolítico) como circuitos periféricos e, portanto, aumentaram a área total do sistema en- quanto se mantém o tamanho da matriz de pixel constante e otimizado ao máximo possível. A conexão elétrica entre os dois substratos/circui- tos integrados pode ser realizada através de interconexões 3003 e 3005 que podem ser ligações por fio, bump e/ou TSV (Through Silicon Via).
[0168] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento 3100 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional. O sensor de imagem tridi- mensional pode ser construído sobre uma pluralidade de substratos e pode compreender a pluralidade de matrizes de pixel e outros circuitos associados, em que uma pluralidade de colunas de pixel 3104a que for- mam a primeira matriz de pixel e uma pluralidade de colunas de pixel 3104b que formam uma segunda matriz de pixel estão localizadas em respectivos substratos 3102a e 3102b, respectivamente, e uma plurali- dade de colunas de circuito 3108a e 3108b está localizada em um subs- trato separado 3106. São também ilustradas as conexões elétricas e as comunicações entre colunas de pixels para a coluna de circuito associ- ada ou correspondente.
[0169] Será reconhecido que os ensinamentos e princípios da in- venção podem ser usados em uma plataforma de dispositivo reusável, uma plataforma de dispositivo de uso limitado, uma plataforma de dis- positivo limitado a um número específico de usos, ou uma plataforma de dispositivo de uso único/descartável sem que se afaste do escopo da invenção. Será reconhecido que em uma plataforma de dispositivo reusável um usuário final é responsável pela limpeza e esterilização do dispositivo. Em uma plataforma de dispositivo de uso limitado, o dispo- sitivo pode ser usado por algumas quantidades especificadas de vezes antes de se tornar inoperante. Um típico dispositivo novo é entregue estéril, em que usos adicionais exigem que o usuário final o limpe e es- terilize antes do uso adicional. Em uma plataforma de dispositivo limi- tado a um número específico de usos, um terceiro pode reprocessar (por exemplo, limpar, embalar e esterilizar) um dispositivo de uso único para usos adicionais a um custo menor do que uma unidade nova. Em uma plataforma de dispositivo de uso único/descartável, um dispositivo é fornecido estéril à sala de cirurgia e usado somente uma vez antes de ser descartado.
[0170] Uma modalidade de um emissor pode empregar um obtura- dor mecânico e filtros para criar luz de cor pulsada. É ilustrado na Figura 32 um método alternativo para produzir luz de cor pulsada com o uso de uma fonte de luz branca e um filtro mecânico de cor e um sistema de obturador 3200. A roda poderia conter um padrão de janelas de filtro de cor translúcida e seções opacas para obturação. As seções opacas não permitiriam a entrada de luz e criaria um período de escuridão no qual poderia ocorrer a leitura do sensor. A fonte de luz branca poderia ser baseada em qualquer tecnologia: laser, LED, xenônio, halogênio, haleto metálico, ou outra. A luz branca pode ser projetada através de uma série de filtros de cor 3207, 3209 e 3211 do padrão desejado de pulsos de luz colorida. Uma modalidade padrão poderia ser filtro Vermelho 3207, filtro Verde 3209, filtro Azul 3211, filtro Verde 3209. Os filtros e o sistema de obturador 3200 poderiam ser dispostos em uma roda que gira na fre- quência exigida para ficar em sincronia com o sensor, de modo o co- nhecimento do comprimento do arco e da taxa de rotação dos filtros mecânicos de cor 3207, 3209 e 3211 e do sistema de obturadores 3205 forneceria informação de temporização para a operação de um sensor de imagem monocromática correspondente.
[0171] Ilustrada na Figura 33, uma modalidade pode compreender um padrão somente de filtros de cor translúcida 3307, 3309 e 3311 em uma roda de filtro 3300. Na presente configuração, pode ser usado um obturador diferente. O obturador poderia ser mecânico e poderia ajustar dinamicamente a duração do "pulso" variando-se o tamanho. Alternati- vamente, o obturador poderia ser eletrônico e incorporado no projeto do sensor. Um motor que gira a roda do filtro 3300 precisará se comunicar com ou ser controlado em conjunto com o sensor, de modo que o co- nhecimento do comprimento do arco e da taxa de rotação do sistema de filtros mecânicos de cor 3307, 3309 e 3311 forneça informações de temporização para a operação do sensor de imagem monocromática correspondente. O sistema de controle precisará saber o filtro de cor adequado para cada quadro capturado pelo sensor, de modo que a ima- gem colorida completa possa ser reconstruída adequadamente no ISP. Um padrão de cor de RGBG é mostrado, porém outras cores e/ou pa- drões poderiam ser usados se for vantajoso. O tamanho relativo das seções de cor é mostrado como sendo igual, mas poderia ser ajustado se for vantajoso. A estrutura mecânica do filtro é mostrada como um círculo que se movimenta rotacionalmente, mas que poderia ser retan- gular com um movimento linear, ou um formato diferente com um padrão de movimento diferente.
[0172] Como ilustrado na Figura 34, uma modalidade para pulsar luz colorida pode consistir em uma roda mecânica ou cilindro que con- tém os componentes eletrônicos e dissipadores de calor para LEDS Ver- melhos, Verdes, Azuis ou Brancos. Os LEDs ficariam espaçados na dis- tância que estaria relacionada à taxa de giro ou torção do cilindro ou roda para permitir a temporização de pulsação de luz consistente com outras modalidades na patente. A roda ou cilindro seria girada com o uso de um motor elétrico e uma braçadeira mecânica que fixa a roda ou cilindro ao motor elétrico. O motor seria controlado usando-se um mi- crocontrolador, FPGA, DSP, ou outro dispositivo programável que con- teria um algoritmo de controle para a temporização adequada como des- crito na patente. Haveria uma abertura mecânica em um lado que seria opticamente acoplada a uma fibra óptica para transportar a fibra para o final dos escopos com os métodos descritos na patente. Esse acopla- mento também poderia ter uma abertura mecânica que poderia abrir e fechar para controlar a quantidade de luz permitida através do cabo de fibra óptica. Esse seria um dispositivo de obturador mecânico que alter- nativamente poderia usar o obturador eletrônico que é projetado no sen- sor do tipo CMOS ou CCD. Seria difícil controlar e calibrar esse dispo- sitivo em produção, mas seria uma outra forma de se obter luz pulsada dentro de nosso sistema.
[0173] É ilustrada na Figura 35 uma modalidade de um emissor 3502 que compreende um filtro linear 3504 e um mecanismo de obtura- dor para fornecer radiação eletromagnética pulsada. O filtro linear 3504 e o mecanismo de obturador sem movimentam horizontalmente em uma frequência exigida para filtrar os comprimentos de onda de luz apropri- ados.
[0174] É ilustrada na Figura 36 uma modalidade de um emissor 3602 que compreende um filtro de prisma 3604 e um mecanismo de obturador para fornecer radiação eletromagnética pulsada. O filtro de prisma 3604 filtra luz e libera uma emissão que pode incluir um obtura- dor. O filtro de prisma 3604 se movimenta em uma frequência exigida para fornecer um padrão de emissão de cor correta.
[0175] Adicionalmente, os ensinamentos e princípios da invenção podem incluir todos e quaisquer comprimentos de onda de energia ele- tromagnética, incluindo os espectros visível e não visível, como infraver- melho (IV), ultravioleta (UV) e raios X.
[0176] A Figura 37 é um diagrama esquemático que ilustra um sis- tema 3700 para fornecer iluminação a um ambiente deficiente de luz, como para imageamento endoscópico. O sistema 3700 pode ser usado em combinação com quaisquer dos sistemas, métodos ou dispositivos descritos na presente invenção. O sistema 3700 inclui uma fonte de luz
3702, um controlador 3704, um guia de onda de ponte 3706, um conec- tor de guia de onda 3708, um guia de onda de lúmen 3710, um lúmen 3712 e um sensor de imagem 3714 com componentes ópticos anexos (por exemplo, uma lente). A fonte de luz 3702 gera luz que se desloca através do guia de onda de ponte 3706 e do guia de onda de lúmen 3710 para iluminar uma cena em uma extremidade distal do lúmen
3712. A fonte de luz 3700 pode ser usada para emitir qualquer compri- mento de onda de energia eletromagnética incluindo comprimentos de onda visíveis, infravermelho, ultravioleta ou outros comprimentos de onda. O lúmen 3712 pode ser inserido no corpo de um paciente para imageamento, como durante um procedimento ou exame. A luz é forne- cida como ilustrado pelas linhas tracejadas 3716. Uma cena iluminada pela luz pode ser capturada com o uso do sensor de imagem 3714 e exibida para um médico ou outro pessoal médico. O controlador 3704 pode fornecer sinais de controle à fonte de luz 3702 para controlar quando a iluminação é fornecida a uma cena. Em uma modalidade, a fonte de luz 3702 e o controlador 3704 estão localizados dentro de uma unidade de controle de câmera (CCU - "camera control unit") ou console externo ao qual um endoscópio é conectado. Se o sensor de imagem 3714 incluir um sensor CMOS, a luz pode ser periodicamente fornecida para a cena em uma série de pulsos de iluminação entre os períodos de leitura do sensor de imagem 3714 durante o que é conhecido como um período de supressão. Dessa forma, a luz pode ser pulsada de maneira controlada para evitar a sobreposição em períodos de leitura dos pixels de imagem em uma matriz de pixel do sensor de imagem 3714.
[0177] Em uma modalidade, o guia de onda de lúmen 3710 inclui uma ou uma pluralidade de fibras ópticas. As fibras ópticas podem ser produzidas a partir de um material de baixo custo, como plástico, para permitir o descarte do guia de onda de lúmen 3710 e/ou de outras por-
ções de um endoscópio. Em uma modalidade, uma fibra de vidro sim- ples tendo um diâmetro de 500 mícrons pode ser usada. O guia de onda de ponte 3706 pode ser fixado de modo permanente à fonte de luz 3702. Por exemplo, um guia de onda de ponte 3706 pode receber luz de um emissor dentro da fonte de luz 3702 e fornecer essa luz para o guia de onda de lúmen 3710 no local do conector 3708. Em uma modalidade, o guia de onda de ponte 106 pode incluir uma ou mais fibras de vidro. O guia de onda de ponte pode incluir qualquer outro tipo de guia de onda para guiar a luz para o guia de onda de lúmen 3710. O conector 3708 pode acoplar seletivamente o guia de onda de ponte 3706 ao guia de onda de lúmen 3710 e permitir que a luz dentro do guia de onda de ponte 3706 passe para o guia de onda de lúmen 3710. Em uma moda- lidade, o guia de onda de lúmen 3710 pode ser acoplado diretamente a uma fonte de luz sem qualquer guia de onda de ponte interveniente
3706.
[0178] As Figuras 38 a 40 são diagrama de blocos esquemáticos que ilustram uma fonte de luz 3800 que tem uma pluralidade de emis- sores. Em relação à Figura 38, os emissores incluem um primeiro emis- sor 3802, um segundo emissor 3804 e um terceiro emissor 3806. Emis- sores adicionais podem ser incluídos, como discutido adicionalmente abaixo. Os emissores 3802, 3804 e 3806 podem incluir um ou mais emissores de laser que emitem luz com diferentes comprimentos de onda. Por exemplo, o primeiro emissor 3802 pode emitir um compri- mento de onda que é consistente com um laser azul, o segundo emissor 3804 pode emitir um comprimento de onda que é consistente com um laser verde e o terceiro emissor 3806 pode emitir um comprimento de onda que é consistente com um laser vermelho. Por exemplo, o primeiro emissor 3802 pode incluir um ou mais lasers azuis, o segundo emissor 3804 pode incluir um ou mais lasers verdes e o terceiro emissor 3806 pode incluir um ou mais lasers vermelhos. Os emissores 3802, 3804 e
3806 emitem feixes de laser em direção a uma região de coleta 3808, que pode ser o local de um guia de onda, lente ou outro componente óptico para coletar e/ou fornecer luz a um guia de onda, como o guia de onda de ponte 3706 ou guia de onda de lúmen 3710 da Figura 37.
[0179] Em uma implementação em que um paciente recebeu um reagente ou corante para auxiliar na identificação de determinados teci- dos, estruturas, reações químicas, processos biológicos etc., os emis- sores 3802, 3804, e 3806 podem emitir comprimento(s) de onda para apresentar fluorescência os reagentes ou corantes. Esse(s) compri- mento(s) de onda pode(m) ser determinado(s) com base nos reagentes ou corantes administrados ao paciente. Nessa modalidade, os emisso- res podem precisar ser altamente precisos para emitir comprimento(s) de onda desejado(s) para apresentar fluorescência ou ativar determina- dos reagentes ou corantes.
[0180] Na modalidade da Figura 38, os emissores 3802, 3804, 3806 fornecem, cada um, luz laser para a região de coleta 3808 em ângulos diferentes. A variação no ângulo pode levar a variações nas quais a energia eletromagnética está situada em um guia de onda de saída. Por exemplo, se a luz passa imediatamente para dentro de um feixe de fi- bras (de vidro ou de plástico) na região de coleta 3808, os ângulos vari- áveis podem fazer com que diferentes quantidades de luz entrem em diferentes fibras. Por exemplo, o ângulo pode resultar em variações de intensidade ao longo da região de coleta 3808. Além disso, a luz dos diferentes emissores pode não ser homogeneamente misturada, de modo que algumas fibras possam receber diferentes quantidades de luz de cores diferentes. A variação na cor ou intensidade de luz em diferen- tes fibras pode levar à iluminação não ideal de uma cena. Por exemplo, variações nas intensidades de luz ou luz liberada podem resultar na cena e em imagens capturadas.
[0181] Em uma modalidade, um elemento óptico interveniente pode ser colocado entre um feixe de fibras e os emissores 3802, 3804, 3806 para misturar as diferentes cores (comprimentos de onda) de luz antes da entrada nas fibras ou outro guia de onda. Exemplos de elementos ópticos intervenientes incluem um difusor, uma haste de mistura, uma ou mais lentes ou outros componentes ópticos que misturam a luz de modo que uma dada fibra receba uma mesma quantidade de cada cor (comprimento de onda). Por exemplo, cada fibra do feixe de fibras pode ter uma mesma cor. Esta mistura pode levar à mesma cor em cada fibra, mas pode, em algumas modalidades, ainda resultar em um brilho total diferente aplicado a diferentes fibras. Em uma modalidade, o elemento óptico interveniente pode também espalhar ou mesmo bloquear a luz sobre a região de coleta, de modo que cada fibra tenha a mesma quan- tidade total de luz (por exemplo, a luz pode ser espalhada em um perfil cartola). Um difusor ou haste de mistura pode causar a perda de luz.
[0182] Embora a região de coleta 3808 seja representada como um componente físico na Figura 38, a região de coleta 3808 pode simples- mente ser uma região onde a luz dos emissores 3802, 3804 e 3806 é liberada. Em alguns casos, a região de coleta 3808 pode incluir um com- ponente óptico, como um difusor, uma haste de mistura, uma lente ou qualquer outro componente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída.
[0183] A Figura 39 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. A luz é for- necida a um ângulo substancialmente perpendicular à região de coleta
3808. A fonte de luz 3800 inclui uma pluralidade de espelhos dicroicos incluindo um primeiro espelho dicroico 3902, um segundo espelho di- croico 3904 e um terceiro espelho dicroico 3906. Os espelhos dicroicos 3902, 3904, 3906 incluem espelhos que refletem um primeiro compri- mento de onda de luz, mas que transmitem (ou são transparentes a) um segundo comprimento de onda de luz. Por exemplo, o terceiro espelho dicroico 3906 pode refletir luz laser azul fornecida pelo terceiro emissor, enquanto é transparente à luz vermelha e verde fornecidas pelo primeiro emissor 3802 e pelo segundo emissor 3804, respectivamente. O se- gundo espelho dicroico 3904 pode ser transparente à luz vermelha do primeiro emissor 3802, mas reflexivo à luz verde do segundo emissor
3804. Se outras cores ou comprimentos de onda forem incluídos, espe- lhos dicroicos podem ser selecionados para refletir luz correspondente para pelo menos um emissor e ser transparentes a outros emissores. Por exemplo, o terceiro espelho dicroico 3906 reflete a luz do terceiro emissor 3806, mas para emissores "atrás" dele, por exemplo, do pri- meiro emissor 3802 e do segundo emissor 3804. Em modalidades em que dezenas ou centenas de emissores estão presentes, cada espelho dicroico pode ser reflexivo para um emissor correspondente e emisso- res na sua frente enquanto é transparente a emissores atrás dele. Isso pode permitir que dezenas ou centenas de emissores emitam energia eletromagnética à região de coleta 3808 em um ângulo substancial- mente igual.
[0184] Devido ao fato de que os espelhos dicroicos permitem que outros comprimentos de onda sejam transmitidos ou passem através deles, cada um dos comprimentos de onda pode chegar à região de coleta 3808 a partir de um mesmo ângulo e/ou com o mesmo centro ou ponto focal. O fornecimento de luz a partir do mesmo ângulo e/ou do mesmo ponto focal/central pode melhorar significativamente a recepção e a mistura de cores na região de coleta 3808. Por exemplo, uma fibra específica pode receber as diferentes cores nas mesmas proporções que foram transmitidas/refletidas pelos emissores 3802, 3804, 3806 e os espelhos 3902, 3904, 3906. A mistura de luz pode ser significativa- mente aprimorada na região de coleta em comparação com a modali-
dade da Figura 38. Em uma modalidade, quaisquer componentes ópti- cos no presente documento discutidos podem ser usados na região de coleta 3808 para coletar luz antes de fornecê-la a uma fibra ou feixe de fibras.
[0185] A Figura 40 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que também fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. Entretanto, a luz incidente na região de coleta 3808 é deslocada em relação à perpendicular. O ângulo 4002 indica o deslocamento de ân- gulo em relação à perpendicular. Em uma modalidade, os emissores de laser 3802, 3804, 3806 podem ter perfis de intensidade em seção trans- versal que são Gaussianos. Como discutido anteriormente, a distribui- ção aprimorada de energia luminosa entre as fibras pode ser obtida me- diante a criação de um perfil de intensidade com formato mais plano ou de cartola. Em uma modalidade, à medida que o ângulo 4002 é aumen- tado, a intensidade através da região de coleta 3808 se aproxima de um perfil cartola. Por exemplo, um perfil cartola pode ser aproximado mesmo com um feixe de saída não plano mediante o aumento do ângulo 4002 até que o perfil seja suficientemente plano.
[0186] O perfil cartola pode também ser obtido com o uso de uma ou mais lentes, difusores, hastes de mistura ou qualquer outro compo- nente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída, fibra ou feixe de fibras ópticas.
[0187] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica 4102 emitindo por meio de um difusor 4104 em uma saída. Em uma modalidade, a fibra óptica 4102 pode ter um diâmetro de 500 mícrons e ter uma abertura numérica de, 65 e emitir um cone de luz 4106 de cerca de 70 ou 80 graus sem um difusor 4104. Com o difusor 4104, o cone de luz 4106 pode ter um ângulo de cerca de 110 ou 120 graus. O cone de luz 4106 pode ser uma parte principal de onde toda a luz parte e é uniformemente distribuída. O difusor 4104 pode permitir uma distribuição mais uniforme de energia eletromagnética de uma cena observada por um sensor de imagem.
[0188] Em uma modalidade, o guia de onda de lúmen 4102 pode incluir uma única fibra óptica plástica ou de vidro de cerca de 500 mí- crons. A fibra plástica pode ser de baixo custo, mas a largura pode per- mitir que a fibra transporte uma quantidade suficiente de luz para uma cena, com acoplamento, difusor ou outras perdas. Por exemplo, fibras menores podem não ser capazes de carregar tanta luz ou energia quanto uma fibra maior. O guia de onda de lúmen 3710 pode incluir uma única fibra ou uma pluralidade de fibras ópticas. O guia de onda de lú- men 3702 pode receber luz diretamente da fonte de luz ou através de um guia de onda de ponte (por exemplo, consulte o guia de onda de ponte 3706 da Figura 37). Um difusor pode ser usado para ampliar a saída de luz 3706 para um campo de visão desejado do sensor de ima- gem 3714 ou outros componentes ópticos.
[0189] Embora três emissores sejam mostrados nas Figuras 38 a 40, emissores em número de um até centenas ou mais podem ser usa- dos em algumas modalidades. Os emissores podem ter diferentes com- primentos de onda ou espectros de luz que eles emitem, e que podem ser usados para cobrir contiguamente uma porção desejada do espectro eletromagnético (por exemplo, o espectro visível, bem como os espec- tros infravermelho e ultravioleta).
[0190] Em uma modalidade, uma fonte de luz com uma pluralidade de emissores pode ser usada para imageamento multiespectral ou hi- perespectral em um ambiente deficiente de luz. Por exemplo, diferentes produtos químicos, materiais ou tecidos podem ter diferentes respostas às diferentes cores ou comprimentos de onda de energia eletromagné- tica. Alguns tecidos possuem sua própria assinatura espectral (como eles respondem ou variam ao refletir comprimentos de onda de radiação eletromagnética). Em uma modalidade, um tipo específico de tecido pode ser detectado com base em como ele responde a um comprimento de onda específico ou uma combinação específica de comprimentos de onda. Por exemplo, os tecidos de vasos sanguíneos podem absorver e refletir diferentes comprimentos de onda ou espectros de energia ele- tromagnética de uma maneira exclusiva para distingui-los de músculo, gordura, osso, nervo, ureter, ou outros tecidos ou materiais no corpo. Além disso, tipos específicos de músculo ou outros tipos de tecido po- dem ser distinguidos com base em sua resposta espectral. Estados de doença do tecido também podem ser determinados com base nas infor- mações espectrais. Consulte a Patente US n° 8.289.503. Consulte, tam- bém, a Patente US n° 8.158.957.
[0191] Em uma modalidade, uma imagem multiespectral ou hipe- respectral pode ser obtida com o uso de um ou mais filtros para filtrar toda a luz ou energia eletromagnética, exceto no comprimento de onda ou espectro desejado. A Figura 42 é um diagrama de blocos que ilustra um filtro 4202 para filtrar comprimentos de onda indesejados antes que a luz 4208 (ou outra radiação eletromagnética) encontre um sensor de imageamento 4204 ou outro meio de imageamento (por exemplo, um filme). Em uma modalidade, a luz branca 4208 passa através do filtro 4202 e a luz filtrada 4210 passa através de uma lente 4206 para ser focada no sensor de imageamento 4204 para captura e leitura da ima- gem. O filtro pode estar localizado em qualquer ponto no sistema ou pode ser um atributo da lente 4206 ou do sensor de imagem 4204.
[0192] Em um ambiente deficiente de luz, a luz 4208 pode incluir luz branca emitida por um emissor no ambiente deficiente de luz. O filtro 4202 pode ser selecionado para o exame desejado. Por exemplo, se for desejado detectar ou destacar um tecido específico, o filtro 4202 pode ser selecionado para permitir a passagem de comprimentos de onda correspondentes à resposta espectral do tecido específico. O sensor de imagem 4204, que pode incluir um sensor de imagem monocromática, pode gerar uma imagem. Os pixels da imagem capturada que excedem um limiar ou ficam abaixo de um limiar podem ser, então, caracterizados como correspondentes ao tecido específico. Esses dados podem ser, então, usados para gerar uma imagem que indica a localização do te- cido específico.
[0193] Em uma outra modalidade, um corante de fluorescência pode ser usado para imagear tipos de tecido específicos, vias, ou simi- lares em um corpo. Por exemplo, um corante de fluorescência pode ser administrado a um paciente e, então, uma imagem do corante pode ser capturada. Em uma modalidade, a fluorescência do corante pode ser iniciada usando-se um comprimento de onda de energia eletromagné- tica específico. Por exemplo, o corante pode somente apresentar fluo- rescência quando a energia eletromagnética estiver presente.
[0194] Entretanto, ambos os filtros e corantes de fluorescência sig- nificativamente restringem o exame. Por exemplo, se um filtro for usado, a resposta espectral desejada que pode ser detectada, e assim o mate- rial ou tecido que pode ser detectado, é limitada pelos filtros disponíveis. Além disso, os filtros podem precisar ser trocados ou substituídos. Com relação a corantes, o corante deve ser administrado antes do imagea- mento e pode haver conflitos entre a administração de diferentes coran- tes para diferentes finalidades durante o mesmo exame. Assim, os exa- mes usando filtros e corantes podem levar muito tempo e podem exigir muitos diferentes exames para se obter a informação desejada.
[0195] Em uma modalidade, o imageamento multiespectral ou hipe- respectral em um ambiente deficiente de luz pode ser realizado com o uso de um sensor de imagem monocromático e emissores que emitem uma pluralidade de diferentes comprimentos de onda ou espectros de energia eletromagnética. Em uma modalidade, uma fonte de luz ou ou- tra fonte eletromagnética (como uma fonte de luz 3800 em quaisquer das Figuras 38 a 40) pode incluir uma pluralidade de emissores para cobrir os espectros desejados.
[0196] A Figura 43 ilustra uma porção do espectro eletromagnético 4300 dividida em vinte diferentes subespectros. O número de subespec- tros é apenas ilustrativo. Em pelo menos uma modalidade, o espectro 4300 pode ser dividido em centenas de subespectros, cada um com uma pequena banda de ondas. O espectro pode se estender desde o espectro infravermelho 4302, passando pelo espectro visível 4304, che- gando até o espectro ultravioleta 4306. Cada um dos subespectros pos- sui uma banda de ondas 4308 que abrange uma porção do espectro
4300. Cada banda de ondas pode ser definida por um comprimento de onda superior e um comprimento de onda inferior.
[0197] Em uma modalidade, pelo menos um emissor (como um emissor de laser) pode ser incluído em uma fonte de luz (como as fontes de luz 3702, 3800 nas Figuras 37 a 40) para cada subespectro a fim de fornecer cobertura completa e contígua de todo o espectro 4300. Por exemplo, uma fonte de luz para fornecer cobertura dos subespectros ilustrados pode incluir pelo menos 20 diferentes emissores, pelo menos um para cada subespectro. Em uma modalidade, cada emissor pode cobrir um espectro que cobre 40 nanômetros. Por exemplo, um emissor pode emitir luz dentro de uma banda de ondas de 500 nm a 540 nm, enquanto outro emissor pode emitir luz dentro de uma banda de ondas de 540 nm a 580 nm. Em uma outra modalidade, os emissores podem cobrir outros tamanhos de bandas de ondas, dependendo dos tipos de emissores disponíveis ou das necessidades de imageamento. Por exemplo, uma pluralidade de emissores pode incluir um primeiro emis- sor que cobre uma banda de ondas de 500 a 540 nm, um segundo emis- sor que cobre uma banda de ondas de 540 nm a 640 nm, e um terceiro emissor que cobre uma banda de ondas de 640 nm a 650 nm. Cada emissor pode cobrir uma fatia diferente do espectro eletromagnético va- riando de infravermelho distante, infravermelho intermediário, infraver- melho próximo, luz visível, ultravioleta próximo e/ou ultravioleta ex- tremo. Em alguns casos, uma pluralidade de emissores do mesmo tipo ou comprimento de onda pode ser incluída para fornecer potência de emissão suficiente para o imageamento. O número de emissores ne- cessários para uma banda de ondas específica pode depender da sen- sibilidade de um sensor monocromático à banda de ondas e/ou da ca- pacidade de emissão de energia dos emissores naquela banda de on- das.
[0198] As larguras e cobertura de banda de ondas fornecidas pelos emissores podem ser selecionadas para fornecer qualquer combinação desejada de espectros. Por exemplo, a cobertura contígua de um es- pectro usando larguras muito pequenas de banda de ondas (por exem- plo, 10 nm ou menos) pode permitir um imageamento hiperespectral al- tamente seletivo. Uma vez que os comprimentos de onda são proveni- entes de emissores que podem ser seletivamente ativados, pode-se ob- ter uma extrema flexibilidade ao determinar respostas espectrais de um material durante um exame. Assim, muito mais informações sobre a res- posta espectral podem ser obtidas em menos tempo e dentro de um único exame, o que ao contrário teria exigido diversos exames, gerado atrasos devido à administração de corantes ou manchas, ou similares. Em uma modalidade, um sistema pode capturar dados de imagem hi- perespectral e processar esses dados para identificar qual tipo de tecido existe em cada pixel.
[0199] A Figura 44 é um diagrama esquemático que ilustra um dia- grama de temporização 4400 para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modali- dade. A linha contínua representa períodos de leitura (picos 4402) e de supressão (vales) para capturar uma série de quadros 4404-4414. A sé- rie de quadros 4404-4414 pode incluir uma series repetitiva de quadros que podem ser usados para gerar dados hiperespectrais para um fluxo de alimentação de vídeo. A série de quadros inclui um primeiro quadro 404, um segundo quadro 4406, um terceiro quadro 4408, um quarto quadro 4410, um quinto quadro 4412 e um enésimo quadro 4426.
[0200] Em uma modalidade, cada quadro é gerado com base em pelo menos um pulso de energia eletromagnética. O pulso de energia eletromagnética é refletido e detectado por um sensor de imagem e, então, lido em uma leitura subsequente (4402). Assim, cada período de supressão e leitura resulta em um quadro de imagem para um espectro específico de energia eletromagnética. Por exemplo, o primeiro quadro 404 pode ser gerado com base em um espectro de um primeiro dentre um ou mais pulsos 4416, um segundo quadro 4406 pode ser gerado com base em um espectro de um segundo dentre um ou mais pulsos 4418, um terceiro quadro 4408 pode ser gerado com base em um es- pectro de um terceiro dentre um ou mais pulsos 4420, um quarto quadro 4410 pode ser gerado com base em um espectro de um quarto dentre um ou mais pulsos 4422, um quinto quadro 4412 pode ser gerado com base em um espectro de um quinto dentre um ou mais pulsos 4424, e um enésimo quadro 4426 pode ser gerado com base em um espectro de um enésimo dentre um ou mais pulsos 4426.
[0201] Os pulsos 4416 a 4426 podem incluir energia de um único emissor ou de uma combinação de dois ou mais emissores. Por exem- plo, o espectro incluído em um único período de leitura ou dentro da pluralidade de quadros 4404 a 4414 pode ser selecionado para um exame ou detecção desejado de um tecido ou condição específico. De acordo com uma modalidade, um ou mais pulsos podem incluir luz do espectro visível para gerar uma imagem colorida ou em preto e branco, enquanto um ou mais pulsos adicionais são usados para obter resposta espectral para classificar um tipo de tecido. Por exemplo, o pulso 4416 pode incluir luz vermelha, o pulso 4418 pode incluir luz azul e o pulso 4420 pode incluir luz verde, enquanto os pulsos remanescentes 4422 a 4426 podem incluir comprimentos de onda e espectros para detectar um tipo específico de tecido. Como um exemplo adicional, os pulsos para um único período de leitura podem incluir um espectro gerado a partir de múltiplos diferentes emissores (por exemplo, diferentes fatias do es- pectro eletromagnético) que podem ser usados para detectar um tipo específico de tecido. Por exemplo, se a combinação de comprimentos de onda resultar em um pixel tendo um valor que excede ou fica abaixo de um limiar, aquele pixel pode ser classificado como correspondente a um tipo específico de tecido. Cada quadro pode ser usado para estreitar adicionalmente o tipo de tecido que está presente naquele pixel (por exemplo, cada pixel na imagem) para fornecer uma classificação muito específica do tecido e/ou um estado do tecido (doente/saudável) com base na resposta espectral.
[0202] A pluralidade de quadros 4404 a 4414 é mostrada tendo comprimentos variáveis em períodos de leitura e pulsos tendo diferentes comprimentos ou intensidades. O período de supressão, o comprimento ou a intensidade do pulso, ou similares podem ser selecionados com base na sensibilidade de um sensor monocromático ao comprimento de onda específico, a capacidade de emissão de energia do(s) emissor(es) e/ou a capacidade de transporte do guia de onda.
[0203] Uma imagem hiperespectral ou dados de imagem hiperes- pectral obtidos da maneira ilustrada na Figura 44, pode resultar em uma pluralidade de quadros, cada um baseado em um diferente espectro ou em combinação de espectros. Em alguns casos, dezenas ou centenas de diferentes quadros podem ser obtidos. Em outros casos, por exem- plo, para as transmissões de vídeo, o número de quadros pode ser limi-
tado para fornecer uma taxa de quadro visualizável. Uma vez que com- binações de diferentes espectros podem ser fornecidas em um único período de leitura, informações espectrais úteis e dinâmicas ainda po- dem ser obtidas mesmo em uma transmissão de vídeo.
[0204] Em uma modalidade, um vídeo ou outra imagem pode incluir uma imagem em preto e branco ou colorida sobreposta com informa- ções derivadas da resposta espectral para cada pixel. Por exemplo, os pixels que correspondem a um tecido ou estado específico podem ser mostrados em uma cor verde brilhante ou outra cor para auxiliar um médico ou outro especialista clínico durante um exame.
[0205] Em uma modalidade, sensores de imagem duplos podem ser usados para a obtenção de imagens tridimensionais ou fluxos de ali- mentação de vídeo. Um exame tridimensional pode permitir uma melhor compreensão de uma estrutura tridimensional da região examinada, bem como um mapeamento dos diferentes tipos de tecido ou material dentro da região.
[0206] Em uma modalidade, o imageamento multiespectral ou hipe- respectral pode ser usado para visualização através de materiais ou substâncias. Por exemplo, os comprimentos de onda infravermelho po- dem atravessar alguns tecidos, como músculo ou gordura, enquanto re- fletem vasos sanguíneos. Em uma modalidade, as ondas infraverme- lhas podem penetrar 5, 8 ou 10 mm ou mais dentro de um tecido. A obtenção de uma série de quadros que incluem pelo menos um quadro infravermelho pode permitir que um exame forneça informações sobre a localização de vasos sanguíneos abaixo da superfície. Isso pode ser extremamente útil para procedimentos cirúrgicos em que pode ser de- sejável realizar incisões que evitem vasos sanguíneos. Em uma moda- lidade, uma imagem colorida ou em escala de cinza pode ser sobre- posta com uma cor verde que indica a localização de vasos sanguíneos abaixo da superfície. De modo similar, uma resposta espectral de san- gue conhecida pode ser usada para olhar através do sangue e visualizar os tecidos ou estruturas de interesse em um exame.
[0207] O conjunto dos subquadros em um quadro único para exibi- ção em um monitor ou outro dispositivo de exibição pode ocorrer após a captura da série de quadros 4404 a 4414. Uma imagem colorida ou em escala de cinza pode ser gerada a partir de um ou mais dos quadros e informações de sobreposição de pixels podem ser determinadas com base em todos os quadros ou nos quadros remanescentes. A imagem colorida ou em escala de cinza pode ser combinada com as informações de sobreposição para gerar um único quadro. O quadro único pode ser exibido como uma imagem única ou como uma imagem em uma trans- missão de vídeo.
[0208] Em uma modalidade, os dados hiperespectrais obtidos como ilustrado na Figura 44 podem ser fornecidos para análise por um algo- ritmo de terceiros para classificar um tecido ou material capturado na imagem. Em uma modalidade, o algoritmo de terceiros pode ser usado para selecionar os espectros ou bandas de ondas a serem usados du- rante o imageamento, de modo que possa ser realizada uma análise de resposta espectral desejada. Em uma modalidade, a análise de res- posta espectral pode ser realizada em tempo real durante um procedi- mento de imageamento médico ou outro procedimento médico. Os da- dos espectrais podem ser sobrepostos em uma imagem RGB ou em preto e branco, de modo que um usuário possa prontamente diferenciar determinados tipos de tecidos, órgãos, processos químicos, doenças etc. Em uma modalidade, os dados espectrais podem ser fornecidos a um sistema operado por computador, como um sistema de robótica, para automação do imageamento médico ou de procedimentos médi- cos.
[0209] A Figura 45 é um diagrama esquemático de um sistema de imageamento 4500 tendo um único filtro cortado. O sistema 4500 inclui um endoscópio 4506 ou outro dispositivo de imageamento adequado tendo uma fonte de luz 4508 para uso em um ambiente deficiente de luz. O endoscópio 4506 inclui um sensor de imagem 4504 e um filtro 4502 para filtrar comprimentos de onda de luz indesejados ou outra ra- diação eletromagnética antes de atingir o sensor de imagem 4504. A fonte de luz 4508 transmite luz que pode iluminar a superfície 4512 em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. A luz 4510 é refletida a partir da superfície 4512 e passa através do filtro 4502 antes de atingir o sensor de imagem 4504.
[0210] O filtro 4502 pode ser usado em uma implementação em que um reagente ou corante fluorescente foi administrado. Nessa modali- dade, o filtro 4502 é configurado para filtrar toda a luz que não um ou mais comprimentos de onda ou bandas espectrais de luz desejados ou outra radiação eletromagnética. Em uma modalidade, o filtro 4502 é configurado para filtrar um comprimento de onda de excitação de radia- ção eletromagnética que faz um reagente ou corante fluorescer, de modo que somente o comprimento de onda de relaxamento esperado do reagente ou corante fluorescido seja permitido passar através do fil- tro 4502 e atingir o sensor de imagem 4504. Em uma modalidade, o filtro 4502 filtra pelo menos um comprimento de onda de excitação do rea- gente fluorescente entre 770 nm e 790 nm. Em uma modalidade, o filtro 4502 filtra pelo menos um comprimento de onda de excitação do rea- gente fluorescente entre 795 nm e 815 nm. Em uma modalidade, o filtro 4502 filtra pelo menos um comprimento de onda de excitação do rea- gente fluorescente entre 770 nm e 790 nm e entre 795 nm e 815 nm. Nessas modalidades, o filtro 4502 filtra o comprimento de onda de exci- tação do reagente e permite que somente o comprimento de onda de relaxamento do reagente fluorescido seja lido pelo sensor de imagem
4504. O sensor de imagem 4504 pode ser um sensor de imagem ag- nóstico em termos de comprimento de onda e o filtro 4502 pode ser configurado para permitir que o sensor de imagem 4504 receba apenas o comprimento de onda de relaxamento do reagente fluorescido e não receba o comprimento de onda de excitação emitido para o reagente. Os dados determinados pelo sensor de imagem 4504 podem, então, indicar a presença de uma estrutura corporal de importância crítica, te- cido, processo biológico ou processo químico como determinado por uma localização do reagente ou corante.
[0211] O filtro 4502 pode ser adicionalmente usado em uma imple- mentação onde um reagente ou corante fluorescente não foi adminis- trado. O filtro 4502 pode ser selecionado para permitir que comprimen- tos de onda correspondentes a uma resposta espectral desejada pas- sem e sejam lidos pelo sensor de imagem 4504. O sensor de imagem 4504 pode ser um sensor de imagem monocromática, de modo que os pixels da imagem capturada que excedem um limiar ou ficam abaixo de um limiar possam ser caracterizados como correspondentes a uma de- terminada resposta espectral ou emissão de fluorescência. A resposta espectral ou emissão de fluorescência, como determinada pelos pixels capturados pelo sensor de imagem 4504, pode indicar a presença de um determinado tecido ou estrutura corporal, uma determinada condi- ção, um determinado processo químico etc.
[0212] Em uma modalidade, a fonte de luz 4508 transmite luz branca que entra em contato com a superfície 4512 e é refletida de volta onde é filtrada pelo filtro 4502 antes de atingir o sensor de imagem 4504. Em uma modalidade, a fonte de luz 4508 transmite luz branca que passa pelo filtro 4502, de modo que a luz filtrada de somente um ou mais com- primentos de onda desejados surja do filtro 4502 para ser refletida a partir da superfície 4512 e lida pelo sensor de imagem 4504. Por exem- plo, em uma modalidade, o filtro 4502 permite que somente luz tendo um comprimento de onda de 795 nm passe através do filtro 4502 e entre em contato com o sensor de imagem 4504. Adicionalmente em uma modalidade, o filtro 4502 permite que somente determinados compri- mentos de onda de luz sejam refletidos de volta para o sensor de ima- gem 4504 do endoscópio 4506 ou outro dispositivo de imageamento. O filtro 4502 pode estar localizado em qualquer ponto no sistema 4500 ou pode ser um atributo de uma lente ou do sensor de imagem 4504. O filtro 4502 pode estar localizado na frente de e/ou atrás do sensor de imagem 4504. Em uma modalidade, a luz emitida pela fonte de luz 4508 é filtrada antes de atingir a superfície 4512 e a luz refletida é filtrada por um filtro adicional antes de ser lida pelo sensor de imagem 4504.
[0213] A fonte de luz 4508 pode ser um emissor que pode ser con- figurado para emitir luz branca ou radiação eletromagnética de um ou mais comprimentos de onda específicos. A fonte de luz 4508 pode in- cluir uma pluralidade de lasers configurados para emitir ou pulsar luz de comprimentos de onda especificados. Em uma modalidade, a fonte de luz 4508 emite luz branca e o filtro 4502 é selecionado para filtrar toda a luz indesejada que não um ou mais comprimentos de onda desejados de luz ou outra radiação eletromagnética. O filtro 4502 pode ser seleci- onado para um exame ou finalidade específico, por exemplo, para des- tacar um tipo de tecido ou estrutura corporal, ou para destacar uma de- terminada condição ou processo químico.
[0214] A Figura 46 é um diagrama esquemático de um sistema de imageamento 4600 tendo múltiplos filtros cortados. O sistema 4600 in- clui um endoscópio 4606 ou outro dispositivo de imageamento ade- quado tendo uma fonte de luz 4608 para uso em um ambiente deficiente de luz. O endoscópio 4606 inclui um sensor de imagem 4604 e dois filtros 4602a, 4602b. Deve ser reconhecido que, em modalidades alter- nativas, o sistema 4600 pode incluir qualquer número de filtros, e o nú- mero e tipo de filtros podem ser selecionados para uma determinada finalidade, por exemplo, para coletar informações de imageamento de um tecido corporal em particular, condição corporal, processo químico etc. Os filtros 4602a, 4602b são configurados para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética. Os filtros 4602a, 4602b podem ser configurados para filtrar comprimentos de onda indesejados de luz branca ou outra radiação eletromagnética que podem ser emitidos pela fonte de luz 4608. A luz filtrada pode atingir a superfície 4612 (por exemplo, tecido corporal) e ser refletida de volta ao sensor de imagem 4604.
[0215] Além da invenção relacionada à Figura 45, os filtros 4602a, 4602b podem ser usados em uma implementação onde um reagente ou corante fluorescente foi administrado. Os filtros 4602a, 4602b podem ser configurados para bloquear um comprimento de onda de excitação emitido para o reagente ou corante e permitir que o sensor de imagem 4604 somente leia o comprimento de onda de relaxamento do reagente ou corante. Adicionalmente, os filtros 4602a, 4602b podem ser usados em uma implementação em que um reagente ou corante fluorescente não foi administrado. Nessa implementação, os filtros 4602a, 4602b po- dem ser selecionados para permitir que comprimentos de onda corres- pondentes a uma resposta espectral desejada passem e sejam lidos pelo sensor de imagem 4604.
[0216] Os múltiplos filtros 4602a, 4602b podem ser individualmente configurados para filtrar uma faixa diferente de comprimentos de onda do espectro eletromagnético. Por exemplo, um filtro pode ser configu- rado para filtrar comprimentos de onda maiores que uma faixa desejada de comprimento de onda e o filtro adicional pode ser configurado para filtrar comprimentos de onda menores que a faixa desejada de compri- mento de onda. A combinação dos dois ou mais filtros pode resultar na leitura de somente um determinado comprimento de onda ou banda de comprimentos de onda pelo sensor de imagem 4604.
[0217] Em uma modalidade, os filtros 4602a, 4602b são personali- zados, de modo que a radiação eletromagnética entre 513 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 565 nm e 585 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são per- sonalizados, de modo que a radiação eletromagnética entre 900 nm e 1000 nm entre em contato com o sensor de imagem 4604. Em uma mo- dalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 425 nm e 475 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 520 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 625 nm e 645 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética en- tre 760 nm e 795 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 795 nm e 815 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromag- nética entre 370 nm e 420 nm entre em contato com o sensor de ima- gem 4604. Em uma modalidade, os filtros 4602a, 4602b são personali- zados, de modo que a radiação eletromagnética entre 600 nm e 670 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são configurados para permitir que somente uma determinada emissão de relaxamento de fluorescência passe pelos fil- tros 4602a, 4602b e entre em contato com o sensor de imagem 4604.
[0218] Em uma modalidade, o sistema 4600 inclui múltiplos senso- res de imagem 4604 e pode particularmente incluir dois sensores de imagem para uso na geração de uma imagem tridimensional. O(s) sen- sor(es) de imagem 4604 pode(m) ser agnóstico(s) em termos de cor/comprimento de onda e configurado(s) para ler qualquer compri- mento de onda de radiação eletromagnética que for refletido a partir da superfície 4612. Em uma modalidade, os sensores de imagem 4604 são, cada um, dependentes da cor ou dependentes do comprimento de onda e configurados para ler radiação eletromagnética de um compri- mento de onda em particular que é refletido a partir da superfície 4612 e de volta aos sensores de imagem 4604. Alternativamente, o sensor de imagem 4604 pode incluir um único sensor de imagem com uma plu- ralidade de diferentes sensores de pixel configurados para ler diferentes comprimentos de onda ou cores de luz, como uma matriz de filtro de cor de filtro Bayer. Alternativamente, o sensor de imagem 4604 pode incluir um ou mais sensores de imagem agnósticos em termos de cor que po- dem ser configurados para ler diferentes comprimentos de onda de ra- diação eletromagnética de acordo com um cronograma de pulsação como aqueles ilustrados nas Figuras 5 a 7E e 15 a 16, por exemplo.
[0219] A Figura 47 é um diagrama esquemático que ilustra um sis- tema 4700 para mapear uma superfície e/ou rastrear um objeto em um ambiente deficiente de luz. Em uma modalidade, um endoscópio 4702 em um ambiente deficiente de luz pulsa uma matriz de grade 4706 (que pode ser denominada um padrão de mapa de laser) sobre uma superfí- cie 4704. A matriz de grade 4706 pode incluir picote vertical 4708 e pi- cote horizontal 4710 em uma modalidade como ilustrada na Figura 47. Deve ser reconhecido que a matriz de grade 4706 pode incluir qualquer matriz adequada para mapear uma superfície 4704, incluindo, por exemplo, uma grade do tipo raster (padrão de escaneamento horizontal) de pontos discretos, um mapa de grade de ocupação, uma matriz de pontos etc. Adicionalmente, o endoscópio 4702 pode pulsar múltiplas matrizes de grade 4706 e pode, por exemplo, pulsar uma ou mais ma- trizes de grade individuais em cada um de uma pluralidade de objetos ou estruturas dentro do ambiente deficiente de luz.
[0220] Em uma modalidade, o sistema 4700 pulsa uma matriz de grade 4706 que pode ser usada para determinar uma superfície tridi- mensional e/ou rastrear um local de um objeto, por exemplo, uma ferra- menta ou outro dispositivo em um ambiente deficiente de luz. Em uma modalidade, o sistema 4700 pode fornecer dados a um sistema ou al- goritmo de computador de terceiros para determinar as dimensões e configurações da superfície por meio de mapeamento de detecção e variação de luz (LIDAR - "light detection and ranging"). O sistema 4700 pode pulsar qualquer comprimento de onda de luz ou radiação eletro- magnética adequado na matriz de grade 4706, incluindo, por exemplo, luz ultravioleta, luz visível e/ou luz infravermelha ou próxima do infraver- melho. A superfície 4704 e/ou os objetos dentro do ambiente podem ser mapeados e rastreados em altíssima resolução e com altíssima exati- dão e precisão.
[0221] Em uma modalidade, o sistema 4700 inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes tendo um elemento óptico correspondente ao um ou mais sensores de imagem. O sistema 4700 pode incluir um mecanismo de luz tendo uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite o um ou mais pul- sos de radiação eletromagnética em uma ponta distal de um endoscópio em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. Em uma modalidade, pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um padrão de mapa de laser que é emi- tido sobre uma superfície dentro do ambiente deficiente de luz, como uma superfície de tecido corporal e/ou uma superfície de ferramentas ou outros dispositivos dentro da cavidade corporal. O endoscópio 4702 pode incluir uma câmera bidimensional, tridimensional ou n-dimensional para mapear e/ou rastrear a superfície, as dimensões e as configura- ções dentro do ambiente deficiente de luz.
[0222] Em uma modalidade, o sistema 4700 inclui um processador para determinar uma distância de um endoscópio ou ferramenta em re- lação a um objeto, por exemplo, a superfície 4704. O processador pode adicionalmente determinar um ângulo entre o endoscópio ou ferramenta e o objeto. O processador pode adicionalmente determinar informações de área superficial sobre o objeto, incluindo, por exemplo, o tamanho de ferramentas cirúrgicas, o tamanho de estruturas, o tamanho de estrutu- ras anatômicas, informações de localização e outros dados e métricas de posição. O sistema 4700 pode incluir um ou mais sensores de ima- gem que fornecem dados de imagem que são fornecidos a um sistema de controle para determinar uma distância de um endoscópio ou ferra- menta em relação a um objeto, por exemplo, a superfície 4704. Os sen- sores de imagem podem enviar informações a um sistema de controle para determinar um ângulo entre o endoscópio ou ferramenta e o objeto. Adicionalmente, os sensores de imagem podem enviar informações a um sistema de controle para determinar informações de área superficial sobre o objeto, o tamanho das ferramentas cirúrgicas, o tamanho de estruturas, o tamanho de estruturas anatômicas, informações de locali- zação e outros dados e métricas de posição.
[0223] Em uma modalidade, a matriz de grade 4706 é pulsada por uma fonte de iluminação do endoscópio 4702 a uma velocidade sufici- ente para que a matriz de grade 4706 não seja visível a um usuário. Em várias implementações, pode ser um fator de distração que um usuário veja a matriz de grade 4706 durante um procedimento de imageamento endoscópico e/ou procedimento cirúrgico endoscópico. A matriz de grade 4706 pode ser pulsada por períodos suficientemente breves, de modo que a matriz de grade 4706 não possa ser detectada pelo olho humano. Em uma modalidade alternativa, o endoscópio 4702 pulsa a matriz de grade 4706 a uma frequência recorrente suficiente para que a matriz de grade 4706 possa ser visualizada por um usuário. Nessa mo- dalidade, a matriz de grade 4706 pode ser sobreposta em uma imagem da superfície 4704 em uma tela. A matriz de grade 4706 pode ser so- breposta em uma imagem em preto e branco ou RGB da superfície 4704, de modo que a matriz de grade 4706 possa ser visível por um usuário durante o uso do sistema 4700. Um usuário do sistema 4700 pode indicar se a matriz de grade 4706 deve ser sobreposta em uma imagem da superfície 4704 e/ou se a matriz de grade 4706 deve ser visível ao usuário. O sistema 4700 pode incluir uma tela que fornece medições em tempo real de uma distância desde o endoscópio 4702 até a superfície 4704 ou outro objeto dentro do ambiente deficiente de luz. A tela pode adicionalmente fornecer informações de área superficial em tempo real sobre a superfície 4704 e/ou quaisquer objetos, estruturas ou ferramentas dentro do ambiente deficiente de luz. A exatidão das medições pode ter exatidão menor que um milímetro.
[0224] O endoscópio 4702 pode pulsar radiação eletromagnética de acordo com um cronograma de pulsação como aquele ilustrado nas Fi- guras 5 a 7E e 15 a 16, por exemplo, que pode incluir adicionalmente a pulsação da matriz de grade 4706 com a pulsação de luz Vermelha, Verde e Azul para gerar uma imagem RGB e adicionalmente gerar uma matriz de grade 4706 que pode ser sobreposta na imagem RGB e/ou usada para mapear e rastrear a superfície 4704 e objetos dentro do am- biente deficiente de luz.
[0225] Em uma modalidade, o endoscópio 4702 inclui um ou mais sensores de imagem agnósticos em termos de cor. Em uma modali- dade, o endoscópio 4702 inclui dois sensores de imagem agnósticos em termos de cor para gerar uma imagem tridimensional ou mapa do ambi- ente deficiente de luz. Os sensores de imagem podem gerar uma ima- gem RGB do ambiente deficiente de luz de acordo com um cronograma de pulsação como descrito na presente invenção. Adicionalmente, os sensores de imagem podem determinar dados para mapear o ambiente deficiente de luz e rastrear um ou mais objetos dentro do ambiente de- ficiente de luz com base nos dados determinados quando a matriz de grade 4706 é pulsada. Adicionalmente, os sensores de imagem podem determinar dados espectrais ou hiperespectrais com dados de imagea- mento por fluorescência de acordo com um cronograma de pulsação que pode ser modificado por um usuário para adequação às necessida- des em particular de um procedimento de imageamento. Em uma mo- dalidade, um cronograma de pulsação inclui pulsos Vermelhos, Verdes e Azuis com pulsação de uma matriz de grade 4706 e/ou pulsação para gerar dados de imagem hiperespectral e/ou dados de imagem de fluo- rescência. Em várias implementações, o cronograma de pulsação pode incluir qualquer combinação adequada de pulsos de radiação eletro- magnética de acordo com as necessidades de um usuário. A frequência recorrente dos diferentes comprimentos de onda de radiação eletromag- nética pode ser determinada com base, por exemplo, na energia de um determinado pulso, as necessidades do usuário, se determinados dados (por exemplo, dados hiperespectrais e/ou dados de imageamento por fluorescência) precisam ser continuamente atualizados ou podem ser atualizados menos frequentemente etc.
[0226] O cronograma de pulsação pode ser modificado de qualquer maneira adequada, e determinados pulsos de radiação eletromagnética podem ser repetidos em qualquer frequência adequada de acordo com as necessidades de um usuário ou programa implementado por compu- tador para um determinado procedimento de imageamento. Por exem-
plo, em uma modalidade em que os dados de rastreamento de superfí- cie gerados com base na matriz de grade 4706 são fornecidos a um programa implementado por computador para uso em, por exemplo, um procedimento cirúrgico robótico, a matriz de grade 4706 pode ser pul- sada mais frequentemente do que se os dados de rastreamento de su- perfície fossem fornecidos a um usuário que está visualizando a cena durante o procedimento de imageamento. Nessa modalidade em que os dados de rastreamento de superfície são usados para um procedimento cirúrgico robótico, os dados de rastreamento de superfície podem pre- cisar ser atualizados mais frequentemente ou podem precisar ser ex- cessivamente exatos para que o programa implementado por computa- dor possa executar o procedimento cirúrgico robótico com precisão e exatidão.
[0227] Em uma modalidade, o sistema 4700 é configurado para ge- rar um mapa de grade de ocupação que compreende uma matriz de células divididas em grades. O sistema 4700 é configurado para arma- zenar valores de altura para cada uma das respectivas células de grade para determinar um mapeamento de superfície de um ambiente tridi- mensional em um ambiente deficiente de luz.
[0228] A Figura 48 é um diagrama de fluxo esquemático para um método 4800 para imageamento hiperespectral em um ambiente defici- ente de luz. O método 4800 pode ser realizado por um sistema de ima- geamento, como um sistema de imageamento endoscópico ilustrado na Figura 37.
[0229] O método 4800 inclui a emissão em 4802 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática. Os pulsos podem ser emitidos em 4802 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir pelo menos um emis- sor para uma pluralidade de bandas de frequência que cobrem um es- pectro desejado. Um sensor de imagem monocromática lê em 4804 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem in- cluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser ba- seado na energia emitida por um ou mais emissores da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4806 uma resposta espectral de um tecido para um ou mais pixels com base na pluralidade de quadros. Por exemplo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro po- dem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de qua- dros. O sistema pode gerar em 4808 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a resposta espectral para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação específico são mostrados em verde brilhante.
[0230] A Figura 49 é um diagrama de fluxo esquemático para um método 4900 para imageamento por fluorescência em um ambiente de- ficiente de luz. O método 4900 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilus- trado na Figura 37.
[0231] O método 4900 inclui a emissão em 4902 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática.
Os pulsos podem ser emitidos em 4902 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas.
Por exemplo, a fonte de luz pode incluir pelo menos um emis- sor para uma pluralidade de bandas de frequência que cobrem um es- pectro desejado.
Um sensor de imagem monocromática lê em 4904 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros.
Cada quadro pode incluir um conteúdo espectral diferente.
Esses quadros podem in- cluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital.
Cada quadro pode ser ba- seado na energia emitida por um ou mais emissores da fonte de luz.
Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado.
Um controlador, CCU, ou outro sistema determina em 4906 uma emissão de relaxamento de fluorescência de um reagente para um ou mais pixels com base na pluralidade de quadros.
Por exem- plo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros.
O sistema pode gerar em 4908 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a emissão de relaxa- mento de fluorescência para o um ou mais pixels.
Por exemplo, a ima- gem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação especí- fico são mostrados em verde brilhante.
Exemplos
[0232] Os exemplos a seguir referem-se a modalidades adicionais:
[0233] O Exemplo 1 é um sistema endoscópico para uso em um ambiente deficiente de luz. O sistema inclui um dispositivo de imagea- mento que inclui um tubo, um ou mais sensores de imagem e um con- junto de lentes que compreende pelo menos um elemento óptico cor- respondente ao um ou mais sensores de imagem. O sistema inclui uma tela para que um usuário visualize uma cena. O sistema inclui um me- canismo de luz que inclui uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética. O mecanismo de luz pode incluir adicionalmente um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio, em que pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radiação eletromagnética entre 513 nm e 545 nm, pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radia- ção eletromagnética entre 565 nm e 585 nm e pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radicação ele- tromagnética entre 900 nm e 1000 nm.
[0234] O Exemplo 2 é um sistema como no Exemplo 1, em que uma duração de um ou mais pulsos de radiação eletromagnética é variável.
[0235] O Exemplo 3 é um sistema como em quaisquer dos Exem- plos 1 a 2, em que uma duração de pulso inclui uma pluralidade de pul- sos de radiação eletromagnética que têm uma duração que é mais curta que toda a duração de pulso.
[0236] O Exemplo 4 é um sistema como em quaisquer dos Exem- plos 1 a 3, em que a pluralidade de pulsos de radiação eletromagnética, que têm uma duração que é menor que a totalidade da duração de pulso, tem uma duração que fornece uma única exposição de quadro.
[0237] O Exemplo 5 é um sistema como em quaisquer dos Exem- plos 1 a 4, em que durante uma duração de pulso, uma pluralidade de subpulsos de radiação eletromagnética, que têm uma subduração, é emitida, e em que a subduração é mais curta que a duração de pulso.
[0238] O Exemplo 6 é um sistema como em quaisquer dos Exem- plos 1 a 5, em que as subdurações de pulso na duração de pulso são diferentes para cada subpulso de radiação eletromagnética.
[0239] O Exemplo 7 é um sistema como em quaisquer dos Exem- plos 1 a 6, em que as subdurações de pulso na duração de pulso são iguais para cada subpulso de radiação eletromagnética.
[0240] O Exemplo 8 é um sistema como em quaisquer dos Exem- plos 1 a 7, em que as subdurações de pulso na duração de pulso in- cluem dois ou mais subpulsos de radiação eletromagnética de igual du- ração.
[0241] O Exemplo 9 é um sistema como em quaisquer dos Exem- plos 1 a 8, em que um ou mais da pluralidade de subpulsos pode incluir radiação eletromagnética emitida em dois ou mais comprimentos de onda simultaneamente como um único pulso ou um único subpulso.
[0242] O Exemplo 10 é um sistema como em quaisquer dos Exem- plos 1 a 9, em que as subdurações da pluralidade de subpulsos são variáveis tanto em comprimentos de onda de radiação eletromagnética emitidos como no número de emissões que ocorrem por duração de pulso.
[0243] O Exemplo 11 é um sistema como em quaisquer dos Exem- plos 1 a 10, em que as subdurações da pluralidade de subpulsos são equivalentes a uma duração de pulso único que fornece uma exposição de quadro único.
[0244] O Exemplo 12 é um sistema como em quaisquer dos Exem- plos 1 a 11, em que uma sequência de pulsos de vários comprimentos de onda de radiação eletromagnética é ajustável por um usuário do me- canismo de iluminação endoscópica.
[0245] O Exemplo 13 é um sistema como em quaisquer dos Exem- plos 1 a 12, em que o sistema compreende um botão de alternância, em que um usuário altera ou ajusta a sequência de pulsos pela manipulação do botão de alternância.
[0246] O Exemplo 14 é um sistema como em quaisquer dos Exem- plos 1 a 13, em que o sistema compreende um sistema de controle para iluminar adequadamente a cena, em que o sistema de controle ajusta ou altera automaticamente a sequência de pulsos de radiação eletro- magnética emitidos pelo mecanismo de iluminação com base em um limite, em que o limite determina, a priori, a iluminação adequada da cena.
[0247] O Exemplo 15 é um sistema como em quaisquer dos Exem- plos 1 a 14, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0248] O Exemplo 16 é um sistema como em quaisquer dos Exem- plos 1 a 15, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0249] O Exemplo 17 é um sistema como em quaisquer dos Exem- plos 1 a 16, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0250] O Exemplo 18 é um sistema como em quaisquer dos Exem- plos 1 a 17, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0251] O Exemplo 19 é um sistema como em quaisquer dos Exem- plos 1 a 18, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética com o uso de um ou mais emissores de laser.
[0252] O Exemplo 20 é um sistema como em quaisquer dos Exem- plos 1 a 19, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0253] O Exemplo 21 é um sistema como em quaisquer dos Exem- plos 1 a 20, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0254] O Exemplo 22 é um sistema como em quaisquer dos Exem- plos 1 a 21, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0255] O Exemplo 23 é um sistema como em quaisquer dos Exem- plos 1 a 22, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0256] O Exemplo 24 é um sistema como em quaisquer dos Exem- plos 1 a 23, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 425 nm a 475 nm.
[0257] O Exemplo 25 é um sistema como em quaisquer dos Exem- plos 1 a 24, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0258] O Exemplo 26 é um sistema como em quaisquer dos Exem- plos 1 a 25, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0259] O Exemplo 27 é um sistema como em quaisquer dos Exem- plos 1 a 26, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0260] O Exemplo 28 é um sistema como em quaisquer dos Exem- plos 1 a 27, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0261] O Exemplo 29 é um sistema como em quaisquer dos Exem- plos 1 a 28, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 520 nm a 545 nm.
[0262] O Exemplo 30 é um sistema como em quaisquer dos Exem- plos 1 a 29, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0263] O Exemplo 31 é um sistema como em quaisquer dos Exem- plos 1 a 30, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0264] O Exemplo 32 é um sistema como em quaisquer dos Exem- plos 1 a 31, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0265] O Exemplo 33 é um sistema como em quaisquer dos Exem- plos 1 a 32, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0266] O Exemplo 34 é um sistema como em quaisquer dos Exem- plos 1 a 33, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 625 nm a 645 nm.
[0267] O Exemplo 35 é um sistema como em quaisquer dos Exem- plos 1 a 34, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0268] O Exemplo 36 é um sistema como em quaisquer dos Exem- plos 1 a 35, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0269] O Exemplo 37 é um sistema como em quaisquer dos Exem- plos 1 a 36, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0270] O Exemplo 38 é um sistema como em quaisquer dos Exem- plos 1 a 37, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0271] O Exemplo 39 é um sistema como em quaisquer dos Exem- plos 1 a 38, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 760 nm a 795 nm.
[0272] O Exemplo 40 é um sistema como em quaisquer dos Exem- plos 1 a 39, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0273] O Exemplo 41 é um sistema como em quaisquer dos Exem- plos 1 a 40, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0274] O Exemplo 42 é um sistema como em quaisquer dos Exem- plos 1 a 41, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0275] O Exemplo 43 é um sistema como em quaisquer dos Exem- plos 1 a 42, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0276] O Exemplo 44 é um sistema como em quaisquer dos Exem- plos 1 a 43, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 795 nm a 815 nm.
[0277] O Exemplo 45 é um sistema como em quaisquer dos Exem- plos 1 a 44, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0278] O Exemplo 46 é um sistema como em quaisquer dos Exem- plos 1 a 45, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0279] O Exemplo 47 é um sistema como em quaisquer dos Exem- plos 1 a 46, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0280] O Exemplo 48 é um sistema como em quaisquer dos Exem- plos 1 a 47, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0281] O Exemplo 49 é um sistema como em quaisquer dos Exem- plos 1 a 48, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 370 nm a 420 nm.
[0282] O Exemplo 50 é um sistema como em quaisquer dos Exem- plos 1 a 49, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0283] O Exemplo 51 é um sistema como em quaisquer dos Exem- plos 1 a 50, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0284] O Exemplo 52 é um sistema como em quaisquer dos Exem- plos 1 a 51, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0285] O Exemplo 53 é um sistema como em quaisquer dos Exem- plos 1 a 52, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0286] O Exemplo 54 é um sistema como em quaisquer dos Exem- plos 1 a 53, em que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 600 nm a 670 nm.
[0287] O Exemplo 55 é um sistema como em quaisquer dos Exem- plos 1 a 54, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem única na tela.
[0288] O Exemplo 56 é um sistema como em quaisquer dos Exem- plos 1 a 55, em que a imagem única é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0289] O Exemplo 57 é um sistema como em quaisquer dos Exem- plos 1 a 56, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela.
[0290] O Exemplo 58 é um sistema como em quaisquer dos Exem- plos 1 a 57, em que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; em que a cor visível é de 8 bits ou 16 bits ou n bits.
[0291] O Exemplo 59 é um sistema como em quaisquer dos Exem- plos 1 a 58, em que o mecanismo de luz compreende um filtro de pola- rização.
[0292] O Exemplo 60 é um sistema como em quaisquer dos Exem- plos 1 a 59, em que o filtro de polarização está localizado em uma tra- jetória da radiação eletromagnética.
[0293] O Exemplo 61 é um sistema como em quaisquer dos Exem- plos 1 a 60, em que o filtro de polarização está localizado em uma ex- tremidade proximal do lúmen.
[0294] O Exemplo 62 é um sistema como em quaisquer dos Exem- plos 1 a 61, em que o filtro de polarização está localizado em uma ex- tremidade distal do lúmen.
[0295] O Exemplo 63 é um sistema como em quaisquer dos Exem- plos 1 a 62, em que o conjunto de lentes compreende um filtro de radi- ação eletromagnética.
[0296] O Exemplo 64 é um sistema como em quaisquer dos Exem- plos 1 a 63, em que o conjunto de lentes compreende um filtro de pola- rização.
[0297] O Exemplo 65 é um sistema como em quaisquer dos Exem- plos 1 a 64, em que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são alimentados a um sistema correspon- dente que fornecerá a localização de estruturas de tecido de importân- cia crítica.
[0298] O Exemplo 66 é um sistema como em quaisquer dos Exem- plos 1 a 65, em que a localização de estruturas de importância crítica é recebida pelo sistema endoscópico e sobreposta em uma tela, em que as estruturas de importância crítica são codificadas em qualquer cor se- lecionada tanto por um algoritmo quanto por um usuário.
[0299] Será reconhecido que vários recursos descritos na presente invenção fornecem vantagens significativas e avanços na técnica. As reivindicações a seguir são exemplificadores de alguns desses recur- sos.
[0300] Na Descrição Detalhada da Invenção acima, diversos recur- sos da invenção são agrupados em uma única modalidade com o pro- pósito de simplificar a invenção. Esse método da invenção não deve ser interpretado como reflexo de uma intenção de que invenção reivindicada exige mais recursos do que aqueles expressamente mencionados em cada reivindicação. Em vez disso, os aspectos da invenção se baseiam em menos que todos os recursos de uma única modalidade anterior- mente descrita.
[0301] Deve-se compreender que todas as disposições acima des- critas são apenas ilustrativas da aplicação dos princípios da invenção. Diversas modificações e disposições alternativas podem ser concebidas pelos versados na técnica sem que se afaste do espírito e escopo da invenção e as reivindicações anexas têm como objetivo abranger essas modificações e disposições.
[0302] Assim, embora a invenção tenha sido mostrada nos dese- nhos e descrita acima com particularidade e detalhes, ficará evidente aos versados na técnica que várias modificações, incluindo, mas não se limitando a, variações de tamanho, materiais, formato, forma, função e modo de operação, montagem e uso, podem ser feitas sem que se afaste dos princípios e conceitos definidos na presente invenção.
[0303] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou ma- trizes de portas programáveis em campo (FPGAs) podem ser progra- mados para realizar um ou mais dos sistemas e procedimentos descri- tos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a compo- nentes de sistema em particular. Como os versados na técnica enten- derão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre com- ponentes que diferem em nome, porém não em função.
[0304] A descrição supracitada foi apresentada para propósitos ilus- trativos e de descrição. Essa descrição não pretende ser exaustiva nem limitar a invenção à forma precisa descrita. Diversas modificações e va- riações são possíveis à luz do ensinamento acima. Adicionalmente, deve ser observado que todas e quaisquer implementações alternativas anteriormente mencionadas podem ser usadas em qualquer combina- ção desejada para formar implementações híbridas adicionais da inven- ção.
[0305] Adicionalmente, embora implementações específicas da in- venção tenham sido descritas e ilustradas, a invenção não deve ser li- mitada às formas ou disposições específicas de partes assim descritas e ilustradas. O escopo da invenção deve ser definido pelas reivindica- ções anexas, quaisquer reivindicações futuras no presente documento apresentadas e em diferentes pedidos de patente e seus equivalentes.

Claims (66)

REIVINDICAÇÕES
1. Sistema endoscópico para uso em um ambiente com de- ficiência de luz, caracterizado por compreender: um dispositivo de imageamento que compreende: um tubo; um ou mais sensores de imagem; e um conjunto de lentes que compreende pelo menos um ele- mento óptico correspondente ao um ou mais sensores de imagem; um mostruário para que um usuário visualize uma cena; um controlador de processamento de sinal de imagem; e um mecanismo de iluminação, em que o mecanismo de ilu- minação compreende: uma fonte de iluminação que gera um ou mais pulsos de radi- ação eletromagnética; e um lúmen que transmite um ou mais pulsos de radiação eletro- magnética para uma ponta distal de um endoscópio, em que pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui ra- diação eletromagnética entre 513 nm e 545 nm, pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radiação eletro- magnética entre 565 nm e 585 nm e pelo menos uma porção do um ou mais pulsos de radiação eletromagnética inclui radicação eletromagnética entre 900 nm e 1.000 nm.
2. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por uma duração de um ou mais pulsos de radiação eletro- magnética ser variável.
3. Sistema endoscópico, de acordo com a reivindicação 2, caracterizado por uma duração de pulso incluir uma pluralidade de pul- sos de radiação eletromagnética que têm uma duração que é mais curta que toda a duração de pulso.
4. Sistema endoscópico, de acordo com a reivindicação 3,
caracterizado por a pluralidade de pulsos de radiação eletromagnética, que têm uma duração que é menor que a totalidade da duração de pulso, ter uma duração que fornece uma única exposição de quadro.
5. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por, durante uma duração de pulso, uma pluralidade de subpulsos de radiação eletromagnética, que têm uma subduração, ser emitida, e em que a subduração é mais curta que a duração de pulso.
6. Sistema endoscópico, de acordo com a reivindicação 5, caracterizado por as subdurações de pulso na duração de pulso serem diferentes para cada subpulso de radiação eletromagnética.
7. Sistema endoscópico, de acordo com a reivindicação 5, caracterizado por as subdurações de pulso na duração de pulso serem iguais para cada subpulso de radiação eletromagnética.
8. Sistema endoscópico, de acordo com a reivindicação 5, caracterizado por as subdurações de pulso na duração de pulso incluí- rem dois ou mais subpulsos de radiação eletromagnética com duração igual.
9. Sistema endoscópico, de acordo com a reivindicação 5, caracterizado por um ou mais da pluralidade de subpulsos poderem incluir radiação eletromagnética emitida em dois ou mais comprimen- tos de onda simultaneamente como um único pulso ou um único sub- pulso.
10. Sistema endoscópico, de acordo com a reivindicação 5, ca- racterizado por as subdurações da pluralidade de subpulsos serem variá- veis tanto em comprimentos de onda de radiação eletromagnética emiti- dos como no número de emissões que ocorrem por duração de pulso.
11. Sistema endoscópico, de acordo com a reivindicação 10, caracterizado por as subdurações da pluralidade de subpulsos serem equivalentes a uma duração de pulso único que fornece uma exposição de quadro único.
12. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por uma sequência de pulsos de vários comprimentos de onda de radiação eletromagnética ser ajustável por um usuário do mecanismo de iluminação endoscópica.
13. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sistema compreender um botão de alternância, em que um usuário altera ou ajusta a sequência de pulsos pela manipula- ção do botão de alternância.
14. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sistema compreender um sistema de controle para iluminar adequadamente a cena, em que o sistema de controle ajusta ou altera automaticamente a sequência de pulsos de radiação eletro- magnética emitidos pelo mecanismo de iluminação com base em um limite, em que o limite determina, a priori, a iluminação adequada da cena.
15. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
16. Sistema endoscópico, de acordo com a reivindicação 15, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
17. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
18. Sistema endoscópico, de acordo com a reivindicação 17, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
19. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética com o uso de um ou mais emissores de laser.
20. Sistema endoscópico, de acordo com a reivindicação 19, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
21. Sistema endoscópico, de acordo com a reivindicação 20, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
22. Sistema endoscópico, de acordo com a reivindicação 19, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
23. Sistema endoscópico, de acordo com a reivindicação 22, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
24. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 425 nm a 475 nm.
25. Sistema endoscópico, de acordo com a reivindicação 24, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
26. Sistema endoscópico, de acordo com a reivindicação 25, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
27. Sistema endoscópico, de acordo com a reivindicação 24, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
28. Sistema endoscópico, de acordo com a reivindicação 27, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
29. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 520 nm a 545 nm.
30. Sistema endoscópico, de acordo com a reivindicação 29, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
31. Sistema endoscópico, de acordo com a reivindicação 30, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
32. Sistema endoscópico, de acordo com a reivindicação 29, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
33. Sistema endoscópico, de acordo com a reivindicação 32, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
34. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 625 nm a 645 nm.
35. Sistema endoscópico, de acordo com a reivindicação 34, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
36. Sistema endoscópico, de acordo com a reivindicação 35, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
37. Sistema endoscópico, de acordo com a reivindicação 34, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
38. Sistema endoscópico, de acordo com a reivindicação 37, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
39. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 760 nm a 795 nm.
40. Sistema endoscópico, de acordo com a reivindicação 39, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
41. Sistema endoscópico, de acordo com a reivindicação 40, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
42. Sistema endoscópico, de acordo com a reivindicação 39, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
43. Sistema endoscópico, de acordo com a reivindicação 42, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
44. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 795 nm a 815 nm.
45. Sistema endoscópico, de acordo com a reivindicação 44, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
46. Sistema endoscópico, de acordo com a reivindicação 45, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
47. Sistema endoscópico, de acordo com a reivindicação 44, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
48. Sistema endoscópico, de acordo com a reivindicação 47, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
49. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 370 nm a 420 nm.
50. Sistema endoscópico, de acordo com a reivindicação 49, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
51. Sistema endoscópico, de acordo com a reivindicação 50, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
52. Sistema endoscópico, de acordo com a reivindicação 49, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
53. Sistema endoscópico, de acordo com a reivindicação 52, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
54. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 600 nm a 670 nm.
55. Sistema endoscópico, de acordo com a reivindicação 54, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma única imagem no mostruário.
56. Sistema endoscópico, de acordo com a reivindicação 55, caracterizado por a única imagem ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
57. Sistema endoscópico, de acordo com a reivindicação 54, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um ou mais quadros de exposição são exibidos para um usuário como uma imagem de sobreposição no mostruário.
58. Sistema endoscópico, de acordo com a reivindicação 57, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso no mostruário; em que a cor visível é de 8 bits ou 16 bits ou n bits.
59. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o mecanismo de iluminação compreender um filtro de po- larização.
60. Sistema endoscópico, de acordo com a reivindicação 59, caracterizado por o filtro de polarização estar situado em uma tra- jetória da radiação eletromagnética.
61. Sistema endoscópico, de acordo com a reivindicação 60, caracterizado por o filtro de polarização estar situado em uma ex- tremidade proximal do lúmen.
62. Sistema endoscópico, de acordo com a reivindicação 60, caracterizado por o filtro de polarização estar situado em uma ex- tremidade distal do lúmen.
63. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o conjunto de lentes compreender um filtro de radiação eletromagnética.
64. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o conjunto de lentes compreender um filtro de polarização.
65. Sistema endoscópico, de acordo com a reivindicação 1,
caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo um ou mais sensores de imagem; em que um sistema correspondente é alimentado com um ou mais quadros de exposição, o qual fornecerá a localização de estruturas de tecido de importância crítica.
66. Sistema endoscópico, de acordo com a reivindicação 65, caracterizado por a localização de estruturas de importância crítica ser recebida pelo sistema endoscópico e sobreposta em um mostruá- rio, em que as estruturas de importância crítica são codificadas para qualquer cor selecionada por um algoritmo ou por um usuário.
BR112020012594-6A 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz BR112020012594A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762610888P 2017-12-27 2017-12-27
US62/610,888 2017-12-27
US201862723989P 2018-08-28 2018-08-28
US62/723,989 2018-08-28
PCT/US2018/067725 WO2019133736A1 (en) 2017-12-27 2018-12-27 Hyperspectral imaging in a light deficient environment

Publications (1)

Publication Number Publication Date
BR112020012594A2 true BR112020012594A2 (pt) 2020-11-24

Family

ID=66949640

Family Applications (6)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Family Applications Before (4)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz

Family Applications After (1)

Application Number Title Priority Date Filing Date
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Country Status (8)

Country Link
US (8) US11803979B2 (pt)
EP (6) EP3731725A4 (pt)
JP (6) JP2021508546A (pt)
KR (6) KR20200104371A (pt)
CN (6) CN111526776A (pt)
BR (6) BR112020012682A2 (pt)
IL (6) IL275563B1 (pt)
WO (6) WO2019133741A1 (pt)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
KR102118310B1 (ko) * 2012-07-26 2020-06-04 디퍼이 신테스 프로덕츠, 인코포레이티드 단색 센서를 사용한 넓은 동적범위
MX2018006791A (es) 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10565701B2 (en) 2015-11-16 2020-02-18 Applied Materials, Inc. Color imaging for CMP monitoring
US11557048B2 (en) 2015-11-16 2023-01-17 Applied Materials, Inc. Thickness measurement of substrate using color metrology
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11573124B2 (en) * 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
US11100628B2 (en) * 2019-02-07 2021-08-24 Applied Materials, Inc. Thickness measurement of substrate using color metrology
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11134832B2 (en) * 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11172811B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11986160B2 (en) * 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11221414B2 (en) * 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200400566A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11903563B2 (en) * 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11071443B2 (en) 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
DE102019134473A1 (de) 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung
WO2021229900A1 (ja) * 2020-05-13 2021-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
CN112596230B (zh) * 2020-12-16 2022-09-20 航天科工微电子系统研究院有限公司 用于光电跟踪主动层析照明的光路系统
WO2022140291A1 (en) * 2020-12-21 2022-06-30 Singular Genomics Systems, Inc. Systems and methods for multicolor imaging
US11671775B2 (en) * 2020-12-30 2023-06-06 Knowles Electronics, Llc Microphone assembly with transducer sensitivity drift compensation and electrical circuit therefor
US11963727B2 (en) * 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image
CN113393539B (zh) * 2021-06-08 2023-05-26 北方工业大学 化学反应溶液颜色突变识别方法
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
WO2024013303A1 (de) * 2022-07-14 2024-01-18 Karl Storz Se & Co. Kg Beleuchtungsvorrichtung, bildgebungsvorrichtung mit einer beleuchtungsvorrichtung, bildgebungssystem, verfahren zur erzeugung von beleuchtungslicht und verfahren zum betrieb einer bildgebungsvorrichtung
CN116725467B (zh) * 2023-03-31 2024-03-01 苏州宇懋医学科技有限公司 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3844047A (en) 1973-01-29 1974-10-29 R Carson Electronic micrometers employing digital processing techniques
JPS5940830A (ja) 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
US5318024A (en) * 1985-03-22 1994-06-07 Massachusetts Institute Of Technology Laser endoscope for spectroscopic imaging
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JPH04158205A (ja) * 1990-10-23 1992-06-01 Toshiba Corp 形状計測内視鏡装置
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5363387A (en) 1992-11-18 1994-11-08 Rare Earth Medical, Inc. Variable pulsewidth lasers
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5902246A (en) * 1996-03-26 1999-05-11 Lifespex, Incorporated Method and apparatus for calibrating an optical probe
DE19612536A1 (de) * 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
NL1005068C2 (nl) * 1997-01-23 1998-07-27 Ct Rrn Academisch Ziekenhuis U Cathetersysteem en een daarvan deel uitmakende catheter.
US6937885B1 (en) * 1997-10-30 2005-08-30 Hypermed, Inc. Multispectral/hyperspectral medical instrument
WO1999037204A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6110106A (en) 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
DE60024059T2 (de) 1999-01-26 2006-07-20 Newton Laboratories, Inc., Woburn Vorrichtung zur autofluoreszensbildgebung für ein endoskop
US20050270528A1 (en) * 1999-04-09 2005-12-08 Frank Geshwind Hyper-spectral imaging methods and devices
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP3850192B2 (ja) * 1999-12-09 2006-11-29 株式会社ニデック 眼底撮影装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
AU2001251164B2 (en) 2000-03-28 2006-11-02 Board Of Regents, The University Of Texas System Methods and apparatus for diagnostic multispectral digital imaging
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6748259B1 (en) 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10107586A1 (de) * 2001-02-10 2002-08-14 Biotronik Mess & Therapieg Endoskopischer Katheter
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
JP2002315721A (ja) * 2001-04-20 2002-10-29 Mitaka Koki Co Ltd 癌組織摘出手術用の立体視システム
CN1316427C (zh) 2001-07-12 2007-05-16 杜莱布斯公司 产生与装置链的装置的缺陷相关的格式化信息的方法和系统
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US6995841B2 (en) 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
US6985622B2 (en) 2001-09-21 2006-01-10 Hewlett-Packard Development Company, L.P. System and method for color correcting electronically captured images by determining input media types using color correlation matrix
US20040092958A1 (en) * 2001-11-15 2004-05-13 Limonadi Farhad M. Stereotactic wands, endoscopes and methods using such wands and endoscopes
WO2003068064A1 (en) 2002-02-12 2003-08-21 Science & Engineering Associates, Inc. Cancer detection and adaptive dose optimization treatment system
WO2003070098A2 (en) 2002-02-19 2003-08-28 Biophan Technologies, Inc. Magnetic resonance imaging capable catheter assembly
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
GB0217570D0 (en) 2002-07-30 2002-09-11 Univ Birmingham Method and apparatus for quantifying material or object properties
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
EP1680024A2 (en) 2003-10-21 2006-07-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
US20050205758A1 (en) 2004-03-19 2005-09-22 Almeida Leo A Method and apparatus for multi-spectral photodetection
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2008514970A (ja) 2004-09-24 2008-05-08 オプティスキャン ピーティーワイ リミテッド 走査装置
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US7826878B2 (en) * 2004-12-07 2010-11-02 Research Foundation Of City University Of New York Optical tomography using independent component analysis for detection and localization of targets in turbid media
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
EP2703871A3 (en) 2005-05-25 2014-09-03 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2006325973A (ja) * 2005-05-26 2006-12-07 Olympus Medical Systems Corp 画像生成装置
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
US20070086495A1 (en) * 2005-08-12 2007-04-19 Sprague Randall B Method and apparatus for stable laser drive
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4677636B2 (ja) * 2005-12-13 2011-04-27 日本電信電話株式会社 オプティカル・コヒーレンス・トモグラフィー装置及びこれに用いる可変波長光発生装置
JP4744288B2 (ja) 2005-12-21 2011-08-10 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20090303317A1 (en) * 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP4769952B2 (ja) 2006-02-22 2011-09-07 国立大学法人九州工業大学 レーザー光による指先血流測定を利用した個人認証方法及び個人認証装置
US7990524B2 (en) 2006-06-30 2011-08-02 The University Of Chicago Stochastic scanning apparatus using multiphoton multifocal source
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US20080090220A1 (en) 2006-08-28 2008-04-17 Vincent Freeman Modular virtual learning system and method
DE102006046925A1 (de) * 2006-09-28 2008-04-03 Jenlab Gmbh Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
AU2008207265B2 (en) * 2007-01-19 2013-08-01 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US20080177140A1 (en) 2007-01-23 2008-07-24 Xillix Technologies Corp. Cameras for fluorescence and reflectance imaging
JP2008259595A (ja) * 2007-04-10 2008-10-30 Hamamatsu Photonics Kk 蛍光観察装置
EP2207595A4 (en) * 2007-10-19 2012-10-24 Lockheed Corp SYSTEM AND METHOD FOR THE TREATMENT OF ANIMAL TISSUE USING LASER LIGHT
WO2009064746A2 (en) * 2007-11-12 2009-05-22 Cornell University Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods
EP3869205B1 (en) 2008-01-21 2023-11-22 Nexus Dx, Inc. Thin-film layered centrifuge device and analysis method using the same
JP5165400B2 (ja) 2008-01-23 2013-03-21 オリンパス株式会社 光源装置
US9052384B2 (en) * 2008-05-22 2015-06-09 The Trustees Of Dartmouth College System and method for calibration for image-guided surgery
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
US8506478B2 (en) 2008-06-04 2013-08-13 Fujifilm Corporation Illumination device for use in endoscope
GB0812712D0 (en) * 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20120273470A1 (en) 2011-02-24 2012-11-01 Zediker Mark S Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits
AU2009303690B2 (en) * 2008-09-26 2014-06-19 Tocagen Inc. Gene therapy vectors and cytosine deaminases
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP2010125284A (ja) * 2008-12-01 2010-06-10 Fujifilm Corp 撮像システム
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Ｈｏｙａ株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US8986302B2 (en) 2009-10-09 2015-03-24 Ethicon Endo-Surgery, Inc. Surgical generator for ultrasonic and electrosurgical devices
JP5795599B2 (ja) 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
WO2011091283A1 (en) * 2010-01-22 2011-07-28 Board Of Regents, The University Of Texas System Systems, devices and methods for imaging and surgery
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US9044142B2 (en) * 2010-03-12 2015-06-02 Carl Zeiss Meditec Ag Surgical optical systems for detecting brain tumors
JP2011206227A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP5919258B2 (ja) 2010-04-22 2016-05-18 プリサイス ライト サージカル インコーポレイテッド フラッシュ蒸発手術システム
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置
JP2012016545A (ja) 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP5544231B2 (ja) * 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
DE102010050227A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
JP5292379B2 (ja) * 2010-11-09 2013-09-18 富士フイルム株式会社 内視鏡装置
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
JP5526000B2 (ja) * 2010-11-15 2014-06-18 富士フイルム株式会社 内視鏡及び内視鏡用光源装置
WO2012116339A1 (en) * 2011-02-24 2012-08-30 Olive Medical Corporation Imaging sensor providing improved visualization for surgical scopes
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
CN102279048B (zh) * 2011-04-12 2013-01-23 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
US9979949B2 (en) * 2011-07-13 2018-05-22 Viking Systems, Inc Method and apparatus for obtaining stereoscopic 3D visualization using commercially available 2D endoscopes
GB201113138D0 (en) * 2011-07-29 2011-09-14 Univ East Anglia Method, system and device for detecting insects and other pests
JP5709691B2 (ja) * 2011-08-23 2015-04-30 富士フイルム株式会社 内視鏡装置
US8827990B2 (en) 2011-09-29 2014-09-09 Biolase, Inc. Methods for treating eye conditions
WO2013101669A2 (en) 2011-12-27 2013-07-04 Parasher Vinod METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES
US9103528B2 (en) 2012-01-20 2015-08-11 Lumencor, Inc Solid state continuous white light source
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US8986199B2 (en) * 2012-02-17 2015-03-24 Ethicon Endo-Surgery, Inc. Apparatus and methods for cleaning the lens of an endoscope
EP2719317A4 (en) 2012-03-30 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE
JP5965726B2 (ja) 2012-05-24 2016-08-10 オリンパス株式会社 立体視内視鏡装置
US10953241B2 (en) 2012-05-25 2021-03-23 Ojai Retinal Technology, Llc Process for providing protective therapy for biological tissues or fluids
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
MX2018006791A (es) * 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
WO2014134314A1 (en) 2013-03-01 2014-09-04 The Johns Hopkins University Light sources, medical devices, and methods of illuminating an object of interest
US9456752B2 (en) * 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
WO2014152757A2 (en) 2013-03-15 2014-09-25 Stryker Corporation Endoscopic light source and imaging system
JP5695808B1 (ja) 2013-04-19 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
US10165972B2 (en) 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
US20150030542A1 (en) 2013-07-26 2015-01-29 Sunil Singhal Methods for medical imaging
WO2015016172A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、内視鏡システムの作動方法
CN105377111B (zh) * 2013-08-01 2017-08-04 奥林巴斯株式会社 内窥镜系统
JP5891208B2 (ja) 2013-08-13 2016-03-22 Hoya株式会社 内視鏡用照明光学系
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6129731B2 (ja) * 2013-12-24 2017-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102014002514B4 (de) * 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015167929A1 (en) * 2014-04-28 2015-11-05 Cardiofocus, Inc. System and method for visualizing tissue with an icg dye composition during ablation procedures
CN103989459B (zh) * 2014-05-20 2021-05-18 曾堃 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜
US9696200B2 (en) * 2014-05-23 2017-07-04 Abl Ip Holding Llc Combinatorial light device for general lighting and lighting for machine vision
US10684224B2 (en) 2014-06-05 2020-06-16 Universität Heidelberg Method and means for multispectral imaging
JP6253527B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6251888B2 (ja) 2014-06-25 2017-12-27 パナソニックＩｐマネジメント株式会社 投影システム
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US9547165B2 (en) 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
AU2015327665B2 (en) * 2014-09-29 2018-09-27 Stryker European Operations Limited Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10473916B2 (en) 2014-09-30 2019-11-12 Washington University Multiple-view compressed-sensing ultrafast photography (MV-CUP)
CN204207717U (zh) * 2014-10-13 2015-03-18 佛山市南海区欧谱曼迪科技有限责任公司 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
JP6456129B2 (ja) * 2014-12-15 2019-01-23 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに光量制御方法
JP6657224B2 (ja) * 2014-12-16 2020-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 波長帯選択による画像化を用いた尿管検出
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
DE102015003019A1 (de) 2015-03-06 2016-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
JP2016202726A (ja) * 2015-04-27 2016-12-08 ソニー株式会社 光線力学診断装置及び光線力学診断方法
US10397489B2 (en) * 2015-05-15 2019-08-27 Sony Corporation Light source control device, method of controlling light source, and image capture system
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
CN114674825A (zh) 2015-09-17 2022-06-28 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
WO2017066493A1 (en) * 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
TWI537762B (zh) * 2016-01-12 2016-06-11 Application of hyperfamily imaging to identification of cancerous lesions
US9939231B2 (en) * 2016-01-20 2018-04-10 Raytheon Company Dual-band semi-active laser system
WO2017127929A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies Inc. Configurable platform
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
US10690904B2 (en) * 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
WO2017201093A1 (en) 2016-05-17 2017-11-23 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
JPWO2017221336A1 (ja) 2016-06-21 2019-04-11 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6660823B2 (ja) * 2016-06-24 2020-03-11 富士フイルム株式会社 内視鏡装置
US10709333B2 (en) 2016-07-25 2020-07-14 PhotoSound Technologies, Inc. Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use
CN115778543A (zh) 2016-09-09 2023-03-14 直观外科手术操作公司 同时带有白光和高光谱光的成像系统
JP6364050B2 (ja) * 2016-09-13 2018-07-25 パナソニック株式会社 内視鏡システム
US10386489B2 (en) 2017-02-01 2019-08-20 Jeffrey Albelo Beam scanner for autonomous vehicles
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
WO2019123796A1 (ja) 2017-12-22 2019-06-27 オリンパス株式会社 内視鏡システム
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
CN111526776A (zh) 2020-08-11
BR112020012682A2 (pt) 2020-11-24
EP3731724A4 (en) 2021-10-13
KR20200104379A (ko) 2020-09-03
EP3731728A4 (en) 2021-08-25
US11803979B2 (en) 2023-10-31
KR20200104371A (ko) 2020-09-03
JP2021508546A (ja) 2021-03-11
US20190191978A1 (en) 2019-06-27
US20190191974A1 (en) 2019-06-27
EP3731727A1 (en) 2020-11-04
US20240054666A1 (en) 2024-02-15
WO2019133741A1 (en) 2019-07-04
JP2021508560A (ja) 2021-03-11
IL275579A (en) 2020-08-31
IL275564A (en) 2020-08-31
US11900623B2 (en) 2024-02-13
EP3731725A1 (en) 2020-11-04
US20190191975A1 (en) 2019-06-27
KR20200104377A (ko) 2020-09-03
WO2019133739A1 (en) 2019-07-04
CN111526774A (zh) 2020-08-11
US11574412B2 (en) 2023-02-07
BR112020012708A2 (pt) 2020-11-24
EP3731725A4 (en) 2021-10-13
JP2021508547A (ja) 2021-03-11
IL275565A (en) 2020-08-31
KR20200104373A (ko) 2020-09-03
WO2019133753A1 (en) 2019-07-04
WO2019133736A1 (en) 2019-07-04
US20190191976A1 (en) 2019-06-27
KR20200104372A (ko) 2020-09-03
EP3731724A1 (en) 2020-11-04
IL275571A (en) 2020-08-31
BR112020012744A2 (pt) 2020-12-01
EP3731723A1 (en) 2020-11-04
US20190197712A1 (en) 2019-06-27
EP3731726A4 (en) 2021-10-27
BR112020012741A2 (pt) 2020-12-01
JP2021508542A (ja) 2021-03-11
JP2021509337A (ja) 2021-03-25
EP3731726A1 (en) 2020-11-04
CN111601536A (zh) 2020-08-28
WO2019133750A1 (en) 2019-07-04
CN111526777A (zh) 2020-08-11
IL275574A (en) 2020-08-31
IL275563B1 (en) 2024-03-01
CN111565620A (zh) 2020-08-21
WO2019133737A1 (en) 2019-07-04
US20230186497A1 (en) 2023-06-15
CN111526775A (zh) 2020-08-11
JP2021508543A (ja) 2021-03-11
EP3731727A4 (en) 2021-10-20
US20190191977A1 (en) 2019-06-27
KR20200104375A (ko) 2020-09-03
EP3731728A1 (en) 2020-11-04
US11823403B2 (en) 2023-11-21
BR112020012999A2 (pt) 2020-12-01
EP3731723A4 (en) 2021-10-20
IL275563A (en) 2020-08-31
CN111601536B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
BR112020012594A2 (pt) imageamento hiperespectral em um ambiente com deficiência de luz
US11674848B2 (en) Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11012599B2 (en) Hyperspectral imaging in a light deficient environment

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]