BR112020012682A2 - imageamento hiperespectral em um ambiente com deficiência de luz - Google Patents

imageamento hiperespectral em um ambiente com deficiência de luz Download PDF

Info

Publication number
BR112020012682A2
BR112020012682A2 BR112020012682-9A BR112020012682A BR112020012682A2 BR 112020012682 A2 BR112020012682 A2 BR 112020012682A2 BR 112020012682 A BR112020012682 A BR 112020012682A BR 112020012682 A2 BR112020012682 A2 BR 112020012682A2
Authority
BR
Brazil
Prior art keywords
electromagnetic radiation
endoscopic system
pulses
image
light
Prior art date
Application number
BR112020012682-9A
Other languages
English (en)
Inventor
Joshua D. Talbert
Donald M. Wichern
Original Assignee
Ethicon Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ethicon Llc filed Critical Ethicon Llc
Publication of BR112020012682A2 publication Critical patent/BR112020012682A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00066—Proximal part of endoscope body, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G01J2003/4334—Modulation spectrometry; Derivative spectrometry by modulation of source, e.g. current modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

A presente invenção refere-se a um sistema de imageamento endoscópico para uso em um ambiente com deficiência de luz que inclui um dispositivo de imageamento que tem um tubo, um ou mais sensores de imagem e um conjunto de lentes que inclui ao menos um elemento óptico que corresponde ao um ou mais sensores de imagem. O sistema endoscópico inclui um mostruário para que um usuário visualize uma cena e um controlador de processamento de sinal de imagem. O sistema endoscópico inclui um mecanismo de iluminação que tem uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio.

Description

Relatório Descritivo da Patente de Invenção para "IMAGEAMENTO HIPERESPECTRAL EM UM AMBIENTE COM DEFICIÊNCIA DE LUZ".
ANTECEDENTES DA INVENÇÃO
[0001] Os avanços tecnológicos permitiram avanços nas capacidades de imageamento para uso médico. Um endoscópio pode ser usado para visualizar o interior de um corpo e examinar o interior de um órgão ou cavidade do corpo. Os endoscópios podem ser usados para investigar os sintomas de um paciente, confirmar um diagnóstico ou aplicar tratamento médico. Um endoscópio médico pode ser usado para visualizar vários sistemas e partes corporais, incluindo, por exemplo, o trato gastrointestinal, o trato respiratório, o trato urinário, a cavidade abdominal por meio de uma pequena incisão etc. Os endoscópios podem ser adicionalmente usados para procedimentos cirúrgicos, como procedimentos de cirurgia plástica, procedimentos realizados em articulações ou ossos, procedimentos realizados no sistema neurológico, procedimentos realizados dentro da cavidade abdominal etc.
[0002] Os endoscópios também têm sido usados em campos não médicos para visualizar e inspecionar espaços que podem ser inacessíveis ou de difícil visualização. Por exemplo, os endoscópios podem ser usados por planejadores ou arquitetos para visualizar modelos em escala de edifícios ou cidades propostos. Os endoscópios podem ser usados para visualizar um espaço interno de um sistema complexo, como um computador. Os endoscópios podem ser até usados por autoridades policiais ou por militares para realizar a vigilância em espaços apertados ou para examinar dispositivos explosivos.
[0003] Entre seus vários usos, os endoscópios podem ser benéficos para visualizar um espaço em cores. Uma imagem colorida digital pode incluir ao menos três camadas, ou "canais de cor" para cada pixel da imagem. Cada um dos canais de cor mede a intensidade e a crominância da luz para uma banda espectral. Comumente, uma imagem colorida digital inclui um canal de cor para as bandas espectrais vermelha, verde e azul de luz (essa pode ser denominada uma imagem RGB). Cada um dos canais de cor vermelho, verde e azul inclui informação de brilho para a banda espectral vermelha, verde ou azul de luz. As informações de brilho das camadas vermelha, verde e azul separadas podem ser combinadas para criar uma imagem colorida digital. Pelo fato de uma imagem colorida ser composta por camadas separadas, um sensor de imagem de câmera digital comumente inclui uma matriz de filtro de cor que permite que comprimentos de onda de luz visível vermelha, verde e azul atinjam sensores de pixel selecionados. Cada elemento de sensor de pixel individual é sensibilizado para comprimentos de onda vermelha, verde ou azul e somente retornará dados de imagem para aquele comprimento de onda. Os dados de imagem da matriz total de sensores de pixel são combinados para gerar a imagem RGB.
[0004] No caso de imageamento endoscópico para diagnósticos médicos ou procedimentos médicos, pode ser benéfico ou mesmo necessário visualizar uma cavidade corporal com imagens coloridas. Por exemplo, se um endoscópio for usado para visualizar a cavidade abdominal de um corpo, uma imagem colorida pode fornecer informações valiosas para ajudar a identificar diferentes órgãos ou tecidos dentro do abdômen ou para identificar certas condições ou doenças dentro do espaço. Conforme discutido acima, uma câmera digital capaz de capturar imagens coloridas pode ter ao menos três tipos distintos de sensores de pixel para capturar individualmente as camadas vermelha, verde e azul camadas das imagens coloridas. Os ao menos três tipos distintos de sensores de pixel podem consumir um espaço físico relativamente significativo (quando comparado com uma matriz de pixel agnóstica em termos de cor), de modo que a matriz de pixel completa não pode se encaixar na pequena extremidade distal do endoscópio que é inserido no corpo. Uma vez que as câmeras digitais coloridas podem incluir os ao menos três tipos distintos de sensores de pixel, uma matriz de pixel total (ou seja, o sensor de imagem) fica comumente localizada em uma unidade de empunhadura de um endoscópio que é seguro por um operador de endoscópio e não é colocado dentro da cavidade corporal. Para um endoscópio desse tipo, a luz é transmitida ao longo do comprimento do endoscópio desde a unidade de empunhadura até a extremidade distal do endoscópio que é colocado dentro da cavidade corporal. Essa configuração de endoscópio tem limitações significativas. Os endoscópios com essa configuração são delicados e podem ser facilmente desalinhados ou danificados quando colididos ou impactados durante o uso regular. Isso pode degradar significativamente a qualidade das imagens geradas pelo endoscópio e exigir que o endoscópio seja frequentemente reparado ou substituído.
[0005] O imageamento endoscópico pode ser usado para orientar um profissional da área médica durante um procedimento médico, como um procedimento de imageamento diagnóstico ou um procedimento cirúrgico. Adicionalmente em algumas implementações, pode ser desejável realizar uma cirurgia robótica implementada por computador com o uso de imageamento endoscópico e dispositivos médicos endoscópicos. Em ambos os casos, pode ser desejável determinar medições precisas que indicam distâncias e/ou ângulos entre, por exemplo, estruturas corporais, dispositivos ou ferramentas na cavidade corporal, e estruturas de importância crítica no corpo. Essas medições podem melhorar o resultado dos procedimentos endoscópicos e podem ser necessárias no caso de procedimentos endoscópicos robóticos.
[0006] Há diversos sistemas e métodos de medição na técnica para aplicações em arqueologia, geografia, física atmosférica, veículos autônomos e outros. Um sistema desse tipo inclui detecção e variação de luz (LIDAR - "light detection and ranging"), que é um sistema de varredura a laser tridimensional. O LIDAR tem sido aplicado em sistemas de navegação, como aeronaves ou satélites, para determinar a posição e a orientação de um sensor em combinação com outros sistemas e sensores. O LIDAR pode usar sensores ativos para iluminar um objeto e detectar energia que é refletida para fora do objeto e de volta para um sensor. A tecnologia de varredura a laser tem sido aplicada em configurações presentes no ar e em terra. A varredura a laser no ar tem sido usada por aeronaves durante os voos para gerar uma nuvem de ponto tridimensional da paisagem que circunda a aeronave. A varredura a laser terrestre tem sido usada para a busca de objetos fixos ou móveis na superfície da terra para uso em topografia, monitoramento e determinação de localização.
[0007] Entretanto, as aplicações de tecnologia de varredura a laser conhecidas na técnica tipicamente exigem equipamentos altamente especializados que podem não ser úteis para aplicações adicionais. Adicionalmente, a tecnologia de varredura a laser fornece uma visão limitada de um ambiente e tipicamente deve ser usada em combinação com múltiplos sistemas separados. Por exemplo, veículos autônomos implantam sistemas LIDAR com múltiplas câmeras de imageamento, sensores de radar, sensores de ultrassom e outros. Os diversos sensores e sistemas de imageamento exigidos por um veículo autônomo ou outro sistema, podem ser de altíssimo custo e podem consumir espaço físico significativo. No contexto de procedimentos de imageamento médico, como imageamento médico endoscópico, todos os sensores devem se encaixar dentro de uma pequena área física dentro de uma cavidade corporal. Em alguns casos, por exemplo, no imageamento de articulações ou órgãos, a área geográfica pode ser excepcionalmente pequena e pode somente acomodar uma ponta bem pequena de um endoscópio. Dessa forma, os endoscópios médicos são necessariamente pequenos e não podem acomodar múltiplos sistemas distintos de imageamento e variação.
[0008] Em certas implementações, pode ser desejável implantar um sistema de imageamento endoscópico para gerar uma imagem de uma cavidade corporal e adicionalmente determinar medições dentro da cavidade corporal. Essas imagens e medições podem ser fornecidas a um usuário para visualização da cavidade corporal e/ou usadas por um programa implementado por computador para operar um sistema robótico.
[0009] Em alguns casos, e particularmente no caso de imageamento médico ou procedimentos médicos, pode ser benéfico ver mais que uma imagem colorida. As imagens coloridas refletem o que o olho humano detecta ao olhar para um ambiente. Entretanto, o olho humano é limitado a visualizar somente luz visível e não pode detectar outros comprimentos de onda do espectro eletromagnético. Em outros comprimentos de onda do espectro eletromagnético além dos comprimentos de onda de "luz visível", informações adicionais sobre um ambiente podem ser obtidas. Um método de detecção de informações adicionais sobre um ambiente, além do que o olho humano é capaz de detectar, consiste no uso de reagentes fluorescentes. No caso de imageamento para fins médicos, os reagentes fluorescentes podem fornecer uma visualização exclusiva de uma cavidade corporal que destaca certos tecidos, estruturas ou condições que o olho humano ou um programa de computador não podem detectar em uma imagem RGB. Um método adicional de detecção de informações adicionais sobre um ambiente, além do que o olho humano é capaz de detectar, inclui o uso de imageamento hiperespectral.
[0010] A fluorescência é a emissão de luz por uma substância que absorveu luz ou outra radiação eletromagnética. Determinados materiais fluorescentes podem "brilhar" ou emitir uma cor distinta que é visível ao olho humano quando o material fluorescente é submetido a luz ultravioleta ou outros comprimentos de onda de radiação eletromagnética. Certos materiais fluorescentes pararão de brilhar quase imediatamente quando a fonte de radiação parar.
[0011] A fluorescência ocorre quando um elétron orbital de uma molécula, átomo ou nanoestrutura é excitada por luz ou outra radiação eletromagnética e, então, relaxa até seu estado fundamental pela emissão de um fóton a partir do estado excitado. As frequências específicas de radiação eletromagnética que excitam o elétron orbital, ou que são emitidas pelo fóton durante o relaxamento, dependem do átomo, molécula ou nanoestrutura em particular. Na maioria dos casos, a luz emitida pela substância possui um comprimento de onda maior e, portanto, menor energia do que a radiação que foi absorvida pela substância. Entretanto, quando a radiação eletromagnética absorvida é intensa, é possível que um elétron absorva dois fótons. Essa absorção de dois fótons pode levar à emissão de radiação tendo um comprimento de onda mais curto e, portanto, maior energia do que a radiação absorvida. Adicionalmente, a radiação emitida pode também ter o mesmo comprimento de onda que a radiação absorvida.
[0012] O imageamento por fluorescência tem diversas aplicações práticas, inclusive em mineralogia, gemologia, medicina, espectroscopia para sensores químicos, detecção de processos ou sinais biológicos etc. A fluorescência pode ser particularmente usada em bioquímica e medicina como um meio não destrutivo para rastrear ou analisar moléculas biológicas. As moléculas biológicas, incluindo certos tecidos ou estruturas, podem ser rastreadas pela análise da emissão fluorescente das moléculas biológicas depois de serem excitadas por um certo comprimento de onda de radiação eletromagnética. Entretanto, relativamente poucos componentes celulares são naturalmente fluorescentes. Em certas implementações, pode ser desejável visualizar um certo tecido, estrutura, processo químico ou processo biológico que não é intrinsicamente fluorescente. Nessa implementação, pode ser administrado ao corpo um corante ou reagente que pode incluir uma molécula, proteína ou ponto quântico tendo propriedades fluorescentes. O reagente ou corante pode, então, apresentar fluorescência depois de ser excitado por um certo comprimento de onda de radiação eletromagnética. Diferente reagentes ou corantes podem incluir diferentes moléculas, proteínas e/ou pontos quânticos que irão apresentar fluorescência em determinados comprimentos de onda de radiação eletromagnética. Assim, pode ser necessário excitar o reagente ou corante com uma banda de radiação eletromagnética especializada para apresentar fluorescência e identificar o tecido, estrutura ou processo desejado no corpo.
[0013] O imageamento por fluorescência pode fornecer informações valiosas no campo médico que podem ser usadas para fins diagnósticos e/ou que podem ser visualizadas em tempo real durante um procedimento médico. Os reagentes ou corantes especializados podem ser administrados a um corpo para apresentar fluorescência em certos tecidos, estruturas, processos químicos ou processos biológicos. A fluorescência do reagente ou corante pode destacar estruturas corporais, como vasos sanguíneos, nervos, órgãos em particular etc. Adicionalmente, a fluorescência do reagente ou corante pode destacar condições ou doenças como células cancerosas ou células que sofrem algum processo biológico ou químico que pode estar associado a uma condição ou doença. O imageamento por fluorescência pode ser usado em tempo real por um profissional da área médica ou programa de computador para fazer distinção entre, por exemplo, células cancerosas e células não cancerosas durante uma extração cirúrgica de tumor. O imageamento por fluorescência pode ser adicionalmente usado como um meio não destrutivo para rastrear e visualizar, ao longo do tempo, uma condição no corpo que de outra maneira não seria visível pelo olho humano ou distinguível em uma imagem RGB.
[0014] Entretanto, o imageamento por fluorescência exige emissões especializadas de radiação eletromagnética e pode adicionalmente exigir sensores de imageamento especializados capazes de ler o comprimento de onda de radiação eletromagnética que é emitida pela estrutura ou reagente que apresentou fluorescência. Diferentes reagentes ou corantes podem ser sensíveis a diferentes comprimentos de onda de radiação eletromagnética e podem adicionalmente emitir diferentes comprimentos de onda de radiação eletromagnética quando tiverem apresentado fluorescência. Os sistemas de imageamento podem ser, então, altamente especializados e adaptados para um determinado reagente ou corante, de modo que o sistema seja configurado para emitir determinados comprimentos de onda de radiação eletromagnética e inclua sensores de imageamento configurados para lerem determinados comprimentos de onda de radiação eletromagnética. Esses sistemas de imageamento podem ser úteis em aplicações muito limitadas e podem não ser capazes de apresentar fluorescência em mais que um reagente ou estrutura durante uma única sessão de imageamento. Pode ser muito dispendiosa a necessidade de múltiplos sistemas distintos de imageamento que são, cada um, configurados para apresentarem fluorescência em um reagente ou corante em particular. Adicionalmente, pode ser desejável administrar múltiplos reagentes ou corantes que são, cada um, configurados para apresentarem fluorescência em uma estrutura ou condição diferente e visualizar o imageamento por fluorescência para cada um dos reagentes ou corantes em uma imagem sobreposta única.
[0015] O imageamento hiperespectral pode ser usado para identificar diferentes materiais ou objetos e para identificar diferentes processos. O olho humano vê a cor de luz visível principalmente em três bandas de comprimentos de onda que são percebidas como combinações de vermelho, verde e azul. Um olho humano normal responderá aos comprimentos de onda de radiação eletromagnética de cerca de 350 nm a cerca de 750 nm, e essa banda de comprimentos de onda pode ser denominada "espectro visível." O imageamento hiperespectral é diferente pelo fato de que divide o espectro de comprimentos de onda de luz em várias bandas adicionais com base na reflexão do tecido, objeto ou materiais. Isso permite que o imageamento hiperespectral forneça informações além do que é visível ao olho humano. O imageamento hiperespectral pode fornecer informações benéficas em várias aplicações onde é difícil ou impossível que o olho humano ou computadores identifique materiais, objetos ou processos específicos. O imageamento hiperespectral pode ser particularmente eficaz em certos casos, pois alguns objetos deixam "impressões digitais" exclusivas no espectro eletromagnético que podem ser denominadas assinaturas espectrais. Essas assinaturas espectrais permitem a identificação de determinados materiais, objetos ou processos que não podem ser vistos pelo olho humano ou computadores.
[0016] O imageamento hiperespectral foi originalmente desenvolvido para aplicações em mineração e geologia. Ao contrário de uma imagem de câmera normal que fornece informações limitadas ao olho humano, o imageamento hiperespectral pode identificar minerais específicos com base nas assinaturas espectrais dos diferentes minerais. O imageamento hiperespectral pode ser útil mesmo quando capturado em imagens aéreas e pode fornecer informações, por exemplo, sobre vazamentos de óleo ou gás de tubulações ou poços naturais e seus efeitos sobre a vegetação nas proximidades. Essas informações são coletadas com base nas assinaturas espectrais de determinados materiais, objetos ou processos que podem ser identificados por imageamento hiperespectral.
[0017] Entretanto, o imageamento hiperespectral é extremamente complexo e pode exigir rápida capacidade de processamento por computador, detectores sensíveis e grandes capacidades de armazenamento de dados. Adicionalmente, se uma imagem hiperespectral for sobreposta sobre uma imagem em preto e branco ou colorida para fornecer contexto a um profissional da área médica, uma câmera (ou múltiplas câmeras) capaz de gerar a imagem sobreposta pode ter muitos tipos distintos de sensores de pixel que são sensíveis à distintas faixas de radiação eletromagnética. Isso pode incluir os três tipos separados de sensores de pixel para gerar uma imagem RGB colorida por meio de métodos convencionais, em combinação com sensores de pixel adicionais para gerar os dados de imagem hiperespectral em diferentes comprimentos de onda do espectro eletromagnético. Isso pode consumir um espaço físico relativamente grande e necessita de uma grande matriz de pixel para garantir que a resolução da imagem seja satisfatória. No caso de imageamento endoscópico, a câmera ou câmeras pode ser colocada em uma unidade manual ou unidade robótica do endoscópio, uma vez que os múltiplos sensores de pixel sensíveis a comprimento de onda exigem muito espaço físico e necessitam que uma matriz de pixel muito grande seja colocada na extremidade distal do endoscópio dentro da cavidade corporal. Isso gera as mesmas desvantagens mencionadas acima e pode fazer com que o endoscópio seja muito delicado, de modo que a qualidade da imagem seja significativamente degradada quando o endoscópio é colidido ou impactado durante o uso.
[0018] No caso de imageamento endoscópico, pode ser desejável determinar uma matriz de dados de imageamento. Por exemplo, em uma implementação, pode ser desejável determinar uma imagem RGB,
dados de imageamento por fluorescência, dados de imageamento hiperespectral e medições precisas de um ambiente deficiente de luz, por exemplo, uma cavidade corporal.
Pode ser desejável sobrepor dados de imageamento especializados sobre uma imagem em preto e branco ou RGB.
Por exemplo, em uma implementação, pode ser desejável determinar estruturas corporais de importância crítica por meio de dados de imageamento hiperespectral e/ou por fluorescência e para destacar aquelas estruturas corporais de importância crítica como uma sobreposição em uma imagem RGB.
Adicionalmente, pode ser desejável fornecer medições precisas de distâncias e/ou ângulos dentro da cavidade corporal, incluindo medições referentes às estruturas corporais de importância crítica conforme determinado pelos dados de imageamento hiperespectral e/ou por fluorescência.
Historicamente, isso exigiria o uso de múltiplos sistemas sensores, incluindo um sistema de detecção como o LIDAR para determinar as medições dentro da cavidade corporal com múltiplas câmeras.
Em sistemas conhecidos na técnica, as múltiplas câmeras podem ter vários tipos distintos de sensores de pixel que são, cada um deles, sensíveis a distintas faixas de radiação eletromagnética.
Isso pode incluir os três tipos separados de sensores de pixel para gerar uma imagem RGB colorida por meio de métodos convencionais, em combinação com sensores de pixel adicionais para gerar a fluorescência e/ou dados de imagem de fluorescência em diferentes comprimentos de onda do espectro eletromagnético.
Isso pode consumir um espaço físico proibitivamente grande e necessita de uma grande matriz de pixel para garantir que a resolução da imagem seja satisfatória.
No caso de imageamento endoscópico, a câmera ou câmeras pode ser colocada em uma unidade manual ou unidade robótica do endoscópio, uma vez que os múltiplos sensores de pixel sensíveis a comprimento de onda exigem muito espaço físico e necessitam que uma matriz de pixel muito grande seja colocada na extremidade distal do endoscópio dentro da cavidade corporal. Isso gera as mesmas desvantagens mencionadas acima e pode fazer com que o endoscópio seja muito delicado, de modo que a qualidade da imagem seja significativamente degradada quando o endoscópio é colidido ou impactado durante o uso.
[0019] Assim, é desejável fornecer sistemas, métodos e dispositivos para imageamento endoscópico em um ambiente deficiente de luz. Esses sistemas, métodos e dispositivos podem fornecer múltiplos conjuntos de dados para identificar estruturas de importância crítica em um corpo e fornecer informações precisas e valiosas sobre a cavidade corporal.
[0020] A presente divulgação se refere, de modo geral, à detecção eletromagnética e sensores que podem ser aplicáveis ao imageamento endoscópico. A divulgação também se refere a condições de entrada eletromagnética de baixa energia, bem como a condições de emissão eletromagnética de baixa energia. A divulgação se refere mais particularmente, porém não totalmente necessariamente, a um sistema para produzir uma imagem em ambientes deficientes de luz e estruturas, métodos e recursos associados, o que pode incluir o controle de uma fonte de luz pela duração, intensidade ou ambas, a pulsação de uma fonte de luz controlada por componente durante o período de supressão de um sensor ref. de imagem, maximização do período de supressão para permitir luz ideal, e manutenção do equilíbrio de cor.
[0021] As características e vantagens da divulgação serão apresentadas na descrição a seguir e, em parte, se tornarão evidentes a partir da descrição, ou poderão ser aprendidas pela prática da divulgação sem a indevida experimentação. As características e vantagens da presente divulgação podem ser realizadas e obtidas por meio dos instrumentos e combinações particularmente ressaltadas nas reivindicações anexas.
BREVE DESCRIÇÃO DOS DESENHOS
[0022] Implementações não limitadoras e não exaustivas da divulgação são descritas com referência às Figuras a seguir, sendo que números de referência similares se referem a partes similares ao longo das várias vistas, salvo especificação em contrário. As vantagens da divulgação serão mais bem compreendidas com referência à seguinte descrição e desenhos anexos aqui:
[0023] A Figura 1 é uma vista esquemática de uma modalidade de um sistema de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente deficiente de luz, de acordo com uma modalidade;
[0024] A Figura 2 é uma vista esquemática de um hardware de sistema complementar;
[0025] As Figuras 2A a 2D são ilustrações dos ciclos operacionais de um sensor usado para construir um quadro de imagem, de acordo com modalidades da divulgação;
[0026] A Figura 3 é uma representação gráfica da operação de uma modalidade de um emissor eletromagnético, de acordo com uma modalidade;
[0027] A Figura 4 é uma representação gráfica da variação da duração e magnitude do pulso eletromagnético emitido para fornecer controle da exposição, de acordo com uma modalidade;
[0028] A Figura 5 é uma representação gráfica de uma modalidade da divulgação que combina os ciclos operacionais de um sensor, o emissor eletromagnético e os pulsos eletromagnéticos emitidos das Figuras 2A a 4, que demonstram o sistema de imageamento durante a operação, de acordo com uma modalidade;
[0029] A Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado, de acordo com uma modalidade;
[0030] As Figuras 7A a 7E ilustram vistas esquemáticas dos processos durante um intervalo de tempo para gravar um quadro de vídeo tanto para luz de espectro completo quanto para luz de espectro particionado de acordo com os princípios e ensinamentos da divulgação;
[0031] As Figuras 8 a 12 ilustram o ajuste tanto do emissor eletromagnético quanto do sensor, sendo que o dito ajuste pode ser realizado simultaneamente em algumas modalidades de acordo com os princípios e ensinamentos da divulgação;
[0032] As Figuras 13 a 21 ilustram métodos de correção do sensor e esquemas de hardware para uso com um sistema de luz particionada, de acordo com modalidades da divulgação;
[0033] As Figuras 22 a 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fechado ou com luz limitada, de acordo com modalidades da divulgação;
[0034] A Figura 24 ilustra o impacto sobre a razão sinal/ruído da correção de cor para um típico sensor do tipo Bayer em comparação com a ausência de correção de cor;
[0035] A Figura 25 ilustra a cromaticidade de 3 lasers monocromáticos em comparação com a gama sRGB;
[0036] As Figuras 26 a 27B ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fechado ou com luz limitada, de acordo com modalidades da divulgação;
[0037] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada com um sensor de cor correspondente, de acordo com modalidades da divulgação;
[0038] As Figuras 29A e 29B ilustram uma implementação tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, de acordo com modalidades da divulgação;
[0039] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor de imageamento construído sobre uma pluralidade de substratos, sendo que uma pluralidade de colunas de pixel que formam a matriz de pixel está localizada no primeiro substrato e uma pluralidade de colunas de circuito está localizada em um segundo substrato e mostra uma conexão elétrica e comunicação entre uma coluna de pixels e sua coluna de circuito associada ou correspondente;
[0040] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor de imageamento tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, sendo que a pluralidade de matrizes de pixel e o sensor de imagem são construídos sobre uma pluralidade de substratos;
[0041] As Figuras 32 a 36 ilustram modalidades de emissores que compreendem diversas configurações de filtro mecânico e obturador, de acordo com modalidades da divulgação;
[0042] A Figura 37 é um diagrama esquemático que ilustra um sistema para fornecer iluminação a um ambiente deficiente de luz de acordo com uma modalidade;
[0043] A Figura 38 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com uma modalidade;
[0044] A Figura 39 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com outra modalidade;
[0045] A Figura 40 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com ainda outra modalidade;
[0046] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica emitindo por meio de um difusor em uma saída para iluminar uma cena, de acordo com uma modalidade;
[0047] A Figura 42 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0048] A Figura 43 ilustra uma porção do espectro eletromagnético dividida em uma pluralidade de diferentes subespectros que podem ser emitidos por emissores de uma fonte de luz, de acordo com uma modalidade;
[0049] A Figura 44 é um diagrama esquemático que ilustra um diagrama de temporização para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modalidade;
[0050] A Figura 45 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0051] A Figura 46 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de uma pluralidade de filtros, de acordo com uma modalidade;
[0052] A Figura 47 é um diagrama esquemático que ilustra uma matriz de grade para rastreamento de objeto e/ou superfície, de acordo com uma modalidade;
[0053] A Figura 48 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modalidade; e
[0054] A Figura 49 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem de fluorescência, de acordo com uma modalidade.
DESCRIÇÃO DETALHADA
[0055] A divulgação se estende a métodos, sistemas e produtos baseados em computador para imageamento digital que podem ser principalmente adequados para aplicações médicas como imageamento médico endoscópico. Esses métodos, sistemas e produtos baseados em computador conforme divulgados na presente invenção podem fornecer imageamento ou capacidades diagnósticas para uso em aplicações médicas robóticas, como o uso de robótica para realizar procedimentos de imageamento, procedimentos cirúrgicos e similares. Na descrição da divulgação a seguir, é feita referência aos desenhos anexos, os quais fazem parte da mesma, e nos quais são mostradas, por meio de ilustração, implementações específicas nas quais a divulgação pode ser coloca em prática. É compreendido que outras implementações podem ser usadas e que alterações estruturais podem ser feitas sem que se afaste do escopo da divulgação.
[0056] Os endoscópios têm uma grande variedade de usos e podem fornecer benefícios significativos no campo médico. A endoscopia é usada em medicina para visualizar o interior de um corpo e, em alguns casos, pode fornecer imageamento que de outra maneira seria impossível ver ou exigiria procedimentos cirúrgicos invasivos. Os endoscópios podem ser usados para diagnósticos médicos, investigação, ou pesquisa, e também podem ser usados para realizar procedimentos médicos de uma maneira minimamente invasiva. Os endoscópios médicos podem fornecer benefícios significativos a pacientes e profissionais da área médica ao eliminar a necessidade de cirurgias corretivas ou exploratórias dolorosas e invasivas.
[0057] Como divulgado na presente invenção, um sistema endoscópico para uso em um ambiente deficiente de luz, como uma cavidade de um corpo, pode incluir um dispositivo de imageamento e um mecanismo de luz. O mecanismo de luz pode incluir uma fonte de iluminação para gerar pulsos de radiação eletromagnética e pode incluir adicionalmente um lúmen para transmitir pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. O lúmen pode transmitir os pulsos de radiação eletromagnética em comprimentos de onda ou bandas de comprimentos de onda em particular do espectro eletromagnético. O lúmen pode transmitir esses pulsos em uma sequência temporizada e dados de imageamento podem ser capturados por um sensor durante cada um dos pulsos. Os dados de imageamento associados aos diferentes comprimentos de onda dos pulsos podem ser usados para gerar uma imagem vermelha, verde e azul (RGB) e/ou imagens de fluorescência. Em uma modalidade, o imageamento por fluorescência pode ser sobreposto sobre uma imagem em preto e branco ou RGB.
[0058] Como divulgado na presente invenção, os sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem fornecer dados de imagem especializados de um ambiente deficiente de luz. Os dados de imagem especializados podem ser usados para gerar imageamento por fluorescência e/ou identificar certos materiais, tecidos, componentes ou processos dentro de um ambiente deficiente de luz. Em certas modalidades, o imageamento por fluorescência pode ser fornecido a um profissional da área médica ou programa implementado por computador para permitir a identificação de determinadas estruturas ou tecidos dentro de um corpo. Esses dados de imageamento por fluorescência podem ser sobrepostos em imagens em preto e branco ou RGB para fornecer informações e contexto adicionais.
[0059] Adicionalmente, esses sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem ser usados em coordenação com determinados reagentes ou corantes. Em uma implementação de imageamento médico, determinados reagentes ou corantes podem ser administrados a um paciente, e estes reagentes ou corantes podem apresentar fluorescência ou reagir com certos comprimentos de onda de radiação eletromagnética. O sistema de imagem endoscópica como divulgado na presente invenção pode transmitir radiação eletromagnética em comprimentos de onda especificados para apresentar fluorescência nos reagentes ou corantes. A fluorescência dos reagentes ou corantes pode ser capturada por um sensor de imagem para gerar imageamento para auxiliar na identificação de tecidos ou estruturas e/ou para auxiliar no diagnóstico ou pesquisa. Em uma implementação, a um paciente pode ser administrada uma pluralidade de reagentes ou corantes que são, cada um, configurados para apresentar fluorescência em diferentes comprimentos de onda e/ou fornecer uma indicação de diferentes estruturas, tecidos, reações químicas, processos biológicos etc. Nessa implementação, o sistema endoscópico como divulgado na presente invenção pode emitir cada um dos comprimentos de onda aplicáveis para apresentar fluorescência em cada um dos reagentes ou corantes aplicáveis. Isso pode eliminar a necessidade histórica de se realizar procedimentos de imageamento individuais para cada um dentre uma pluralidade de reagentes ou corantes.
[0060] Os endoscópios médicos podem fornecer um fluxo contínuo de imagem digital de um espaço interno de um corpo onde uma extremidade distal do endoscópio é inserida. Em várias implementações, pode ser benéfico ou mesmo necessário que o fluxo de imagem digital forneça imageamento colorido total, de modo que um profissional da área médica possa fazer uma distinção melhor entre tecidos e estruturas no corpo. Em implementações adicionais, pode ser benéfico fornecer dados de imageamento hiperespectral para permitir a diferenciação entre estruturas, tecidos, processos e condições com maior precisão. Adicionalmente, o imageamento hiperespectral pode permitir que um profissional da área médica ou um programa de computador receba informações sobre uma condição em um corpo humano que não é visível ao olho humano ou discernível em uma imagem RGB colorida.
[0061] São divulgados na presente invenção sistemas, métodos e dispositivos para gerar dados de imagem colorida e/ou dados de imagem de fluorescência por um endoscópio. Um sistema da divulgação inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes. O conjunto de lentes pode incluir ao menos um elemento óptico que corresponde a ao menos um entre o um ou mais sensores de imagem. O sistema inclui adicionalmente uma tela para visualizar uma cena e um controlador de processamento de sinal de imagem. O sistema pode incluir adicionalmente um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação configurada para gerar um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. Em uma modalidade, ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
[0062] Em uma modalidade da divulgação, um sistema endoscópico ilumina uma fonte e pulsa radiação eletromagnética em um determinado comprimento de onda para excitar um elétron em um reagente ou corante. Em uma modalidade, o reagente ou corante é configurado para apresentar fluorescência em resposta ao determinado comprimento de onda de radiação eletromagnética que é emitido pelo sistema endoscópico. Um sensor de imagem no sistema endoscópico pode ler uma emissão de relaxamento de fluorescência do reagente ou corante que pode ser de menor energia do que a radiação eletromagnética pulsada para excitar o reagente ou corante. O reagente ou corante pode ser especializado para marcar um certo tecido, estrutura, processo biológico e/ou processo químico.
[0063] Reagentes de imageamento, incluindo reagentes fluorescentes, podem melhorar as capacidades de imageamento nos setores farmacêutico, médico, de biotecnologia, diagnósticos e de procedimentos médicos industries. Diversas técnicas de imageamento como raios X, tomografia computadorizada (TC), ultrassonografia, imageamento por ressonância magnética (IRM) e medicina nuclear, analisam principalmente a anatomia e a morfologia e são incapazes de detectar alterações ao nível molecular. Os reagentes fluorescentes, corantes e sondas, incluindo nanopartículas de ponto quântico e proteínas fluorescentes, podem auxiliar as tecnologias de imageamento médico ao fornecerem informações adicionais sobre determinados tecidos, estruturas, processos químicos e/ou processos biológicos que estão presentes dentro da região de imageamento. O imageamento usando reagentes fluorescentes pode permitir o rastreamento celular e/ou o rastreamento de certos biomarcadores moleculares. Os reagentes fluorescentes podem ser aplicados para o imageamento de câncer, infecção, inflamação, biologia de células-tronco e outros. Vários reagentes fluorescentes e corantes estão sendo desenvolvidos e aplicados para visualizar e rastrear processos biológicos de uma maneira não destrutiva. Esses reagentes fluorescentes podem ser excitados por um determinado comprimento de onda ou banda de comprimentos de onda de radiação eletromagnética. De modo similar, estes reagentes fluorescentes podem emitir energia de relaxamento em um certo comprimento de onda ou banda de comprimentos de onda quando fluorescerem e a energia de relaxamento emitida pode ser lida por um sensor para determinar a localização e/ou os limites do reagente ou corante.
[0064] Em uma modalidade da divulgação, um sistema endoscópico pulsa radiação eletromagnética para excitar um elétron em um reagente ou corante fluorescente. O comprimento de onda ou banda de comprimentos de onda da radiação eletromagnética pode ser particularmente selecionado para apresentar fluorescência em um determinado reagente ou corante. Em uma modalidade, o sistema endoscópico pode pulsar múltiplos diferentes comprimentos de onda de radiação eletromagnética para apresentar fluorescência em múltiplos diferentes reagentes ou corantes durante uma única sessão de imageamento. Um sensor do sistema endoscópico pode determinar um local e/ou limite de um reagente ou corante com base nas emissões de relaxamento do reagente ou corante. O sistema endoscópico pode adicionalmente pulsar radiação eletromagnética nas bandas vermelha, verde e azul de luz visível. O sistema endoscópico pode determinar dados para uma imagem RGB e para uma imagem de fluorescência de acordo com um cronograma de pulsação para os pulsos de radiação eletromagnética.
[0065] Em uma modalidade da divulgação, um sistema endoscópico ilumina uma fonte e pulsa radiação eletromagnética para imageamento espectral ou hiperespectral. O imageamento espectral utiliza múltiplas bandas ao longo do espectro eletromagnético. Isso é diferente das câmeras convencionais que apenas capturam luz ao longo dos três comprimentos de onda com base no espectro visível que são discerníveis pelo olho humano, incluindo os comprimentos de onda vermelho, verde e azul para gerar uma imagem RGB. O imageamento espectral pode utilizar quaisquer bandas de comprimento de onda no espectro eletromagnético, incluindo os comprimentos de onda infravermelho, o espectro visível, o espectro ultravioleta, comprimentos de onda de raios X ou qualquer combinação adequada de várias bandas de comprimento de onda. O imageamento espectral pode sobrepor o imageamento gerado com base em bandas não visíveis (por exemplo, infravermelho) sobre o imageamento com base em bandas visíveis (por exemplo, uma imagem RGB padrão) para fornecer informações adicionais que são facilmente discerníveis por uma pessoa ou algoritmo de computador.
[0066] O imageamento hiperespectral é uma subcategoria de imageamento espectral. O imageamento hiperespectral inclui a espectroscopia e a fotografia digital. Em uma modalidade de imageamento hiperespectral, um espectro completo ou alguma informação espectral é coletado em cada pixel em um plano de imagem. Uma câmera hiperespectral pode utilizar hardware especial para capturar qualquer número adequado de bandas de comprimento de onda para cada pixel que pode ser interpretado como um espectro completo. O objetivo do imageamento hiperespectral pode variar para diferentes aplicações. Em uma aplicação, o objetivo do imageamento hiperespectral é obter todo o espectro eletromagnético de cada pixel em uma cena de imagem. Isso pode permitir encontrar determinados objetos que de outra maneira não podem ser identificáveis sob as bandas de comprimento de onda de luz visível. Isso pode permitir que determinados materiais ou tecidos sejam identificados com precisão quando esses materiais ou tecidos não puderem ser identificáveis sob as bandas de comprimento de onda de luz visível. Adicionalmente, isso pode permitir que determinados processos sejam detectados pela captura de uma imagem ao longo de todos os comprimentos de onda do espectro eletromagnético.
[0067] O imageamento hiperespectral pode fornecer vantagens particulares em relação ao imageamento convencional em aplicações médicas. As informações obtidas pelo imageamento hiperespectral podem permitir que profissionais da área médica e/ou programas implementado por computador identifiquem precisamente determinados tecidos ou condições que podem levar a diagnósticos que podem não ser possíveis ou que podem ser menos precisos se for usado imageamento convencional, por exemplo, imageamento RGB. Adicionalmente, o imageamento hiperespectral pode ser usado durante procedimentos médicos para permitir cirurgia guiada por imagem, o que pode permitir que um profissional da área médica, por exemplo, visualize tecidos localizados atrás de determinados tecidos ou fluidos, identificar células cancerosas atípicas em contraste com células típicas saudáveis, identificar determinados tecidos ou condições, identificar estruturas de importância crítica etc. O imageamento hiperespectral pode fornecer informações diagnósticas especializadas sobre a fisiologia, morfologia e composição do tecido, as quais não podem ser geradas com imageamento convencional.
[0068] O imageamento endoscópico hiperespectral pode apresentar vantagens em relação ao imageamento convencional em várias aplicações e implementações da divulgação. Em implementações médicas, o imageamento endoscópico hiperespectral pode permitir que um profissional da área médica ou programa implementado por computador diferencie, por exemplo, tecido nervoso, tecido muscular, diversos vasos, a direção do fluxo sanguíneo etc. O imageamento hiperespectral pode permitir que tecido canceroso atípico seja precisamente diferenciado de tecido saudável típico e pode, portanto, permitir que um profissional da área médica ou programa implementado por computador identifique o limite de um tumor canceroso durante uma operação ou imageamento investigativo. Adicionalmente, o imageamento hiperespectral em um ambiente deficiente de luz como divulgado na presente invenção pode ser combinado com o uso de um reagente ou corante para permitir a diferenciação adicional entre determinados tecidos ou substâncias. Nessa modalidade, um reagente ou corante pode sofrer fluorescência por uma banda de comprimento de onda específica no espectro eletromagnético e, portanto, fornecer informações específicas para o propósito daquele reagente ou corante. Os sistemas, métodos e dispositivos como divulgados na presente invenção podem permitir que qualquer número de bandas de comprimento de onda seja pulsado, de modo que um ou mais reagentes ou corantes possam sofrer fluorescência em diferentes momentos. Em determinadas implementações, isso pode permitir a identificação ou investigação de diversas condições clínicas durante um único procedimento de imageamento.
[0069] Um endoscópio médico pode pulsar radiação eletromagnética em bandas de comprimento de onda fora do espectro de luz visível para permitir a geração de imagens hiperespectrais. O imageamento endoscópico hiperespectral é um meio sem contato e não invasivo de imageamento médico que não exige que um paciente seja exposto a radiação nociva comum em outros métodos de imageamento.
[0070] Os endoscópios convencionais, usados em, por exemplo, procedimentos endoscópicos robóticos como artroscopia e laparoscopia, são projetados de modo que os sensores de imagem sejam tipicamente colocados dentro de uma unidade de empunhadura que é segura por um operador de endoscópio e não é inserida em uma cavidade. Nessa configuração, uma unidade de endoscópio transmite luz incidente ao longo do comprimento de um tubo de endoscópio em direção ao sensor por meio de um conjunto complexo de componentes ópticos precisamente acoplados, com mínima perda e distorção. O custo da unidade de endoscópio é principalmente devido aos elementos ópticos, uma vez que os componentes ópticos são caros e o processo de fabricação dos componentes ópticos é trabalhoso. Adicionalmente, esse tipo de endoscópio é mecanicamente delicado e impactos relativamente pequenos podem facilmente danificar os componentes ou desordenar os alinhamentos relativos desses componentes. Desalinhamentos ainda menores dos componentes do endoscópio (por exemplo, os componentes ópticos precisamente acoplados) podem levar a uma degradação significativa da qualidade da imagem ou inutilizar o endoscópio. Quando os componentes são desalinhados, a luz incidente que se desloca ao longo do comprimento do endoscópio pode diminuir, de modo que haja pouca ou nenhuma luz na extremidade distal do endoscópio e o endoscópio fica inutilizado. Uma vez que os endoscópios convencionais exigem esses componentes ópticos precisos e complexos e uma vez que esses componentes podem ficar facilmente desalinhados, esses endoscópios convencionais exigem ciclos de reparo frequentes e caros para manter a qualidade da imagem.
[0071] Uma solução para esse problema é colocar o sensor de imagem dentro do próprio endoscópio na extremidade distal. Essa solução pode eliminar a necessidade de uma coleta complexa e precisa de componentes ópticos acoplados que podem ser facilmente desalinhados e/ou danificados. Essa solução potencialmente se aproxima da simplicidade, robustez e economia óptica que é universalmente realizada, por exemplo, dentro de câmeras em telefones celulares. Entretanto, deve ser reconhecido que uma grande parte dos benefícios oferecidos por um endoscópio surge do tamanho compacto da extremidade distal do endoscópio. Se a extremidade distal do endoscópio for aumentada para acomodar os múltiplos sensores de pixel distintos sensíveis ao comprimento de onda convencionalmente usados para o imageamento colorido ou imageamento hiperespectral, a matriz de pixel pode ser muito grande e o endoscópio pode não mais caber nos pequenos espaços ou pode causar obstrução ou ser invasivo quando usado em uma implementação médica. Uma vez que a extremidade distal do endoscópio deve continuar muito pequena, é desafiador colocar um ou mais sensores de imagem na extremidade distal. Uma solução aceitável para essa abordagem não é de maneira alguma trivial e apresenta sua própria gama de desafios de engenharia, não sendo de menor importância o fato de que os sensores de cor e/ou o imageamento hiperespectral devem caber dentro de uma área que é altamente confinada. Isto é particularmente desafiador quando uma matriz de pixel em câmeras convencionais inclui sensores de pixel separados para cada uma das bandas de luz visível vermelha, verde e azul, com sensores de pixel adicionais para outras bandas de comprimento de onda usadas para o imageamento hiperespectral. A área da ponta distal do endoscópio pode ser particularmente confinada lado a lado nas dimensões X e Y, enquanto há mais espaço ao longo do comprimento do tubo de endoscópio na dimensão Z.
[0072] Uma vez que muitos dos benefícios de um endoscópio são derivados do pequeno tamanho da extremidade distal do endoscópio, restrições agressivas devem ser impostas à área do sensor de imagem quando os sensores de imagem estão localizados na extremidade distal. Essas restrições agressivas impostas à área do sensor naturalmente resultam em menos pixels e/ou pixels menores dentro de uma matriz de pixel. A redução da contagem de pixels pode afetar diretamente a resolução espacial, enquanto a redução da área de pixel pode reduzir a capacidade de sinal disponível e, dessa forma, a sensibilidade do pixel, bem como otimizar o número de pixels de modo que a qualidade da imagem aumente, a mínima resolução de pixel e o número nativo de pixels usando a máxima qualidade e passo de pixel, de modo que a resolução não seja um problema, bem como a redução da razão sinal/ruído (SNR - "signal to noise ratio") de cada pixel. A redução da capacidade de sinal reduz a faixa dinâmica, ou seja, a capacidade do dispositivo ou câmera de imageamento de simultaneamente capturar todas as informações úteis de cenas com grandes faixas de luminosidade. Há vários métodos para se estender a faixa dinâmica de sistemas de imageamento além daquela do próprio pixel. Entretanto, todos eles podem ter algum tipo de penalidade (por exemplo, na resolução ou taxa de quadro) e podem introduzir artefatos indesejáveis que se tornam problemáticos em casos extremos. A consequência de se reduzir a sensibilidade é que maior energia de luz é exigida para trazer as regiões mais escuras da cena para níveis de sinal aceitáveis. A redução do número F (aumento da abertura) pode compensar uma perda de sensibilidade, porém às custas de distorção espacial e profundidade reduzida do foco.
[0073] No setor de sensores, sensores de imagem de semicondutor metal-óxido complementar ("CMOS" - "complementary metal-oxide- semiconductor") possuem sensores de imagem de dispositivo acoplado a carga ("CCD" - charge-coupled device) convencionais amplamente deslocados em aplicações de câmeras modernas. Os sensores de imagem CMOS têm maior facilidade de integração e operação, qualidade de imagem superior ou comparável, maior versatilidade e menor custo se comparados com sensores de imagem CCD. Tipicamente, os sensores de imagem CMOS podem incluir o circuito necessário para converter informação de imagem em dados digitais e possuem vários níveis de processamento digital incorporados posteriormente. Isso pode variar desde algoritmos básicos com a finalidade de corrigir não idealidades, o que pode, por exemplo, surgir de variações no comportamento do amplificador, até cadeias completas de processamento de sinal de imagem (ISP - "image signal processing"), fornecendo dados de vídeo no espaço de cor padrão vermelho-verde-azul ("RGB" - "red-green-blue"), por exemplo, (câmeras-em-circuito integrado).
[0074] A unidade de controle de um endoscópio ou sensor de imagem pode estar localizada remotamente a partir do sensor de imagem e pode ser uma distância física significativa em relação ao sensor de imagem. Quando a unidade de controle está distante do sensor, pode ser desejável transmitir os dados no domínio digital, uma vez que este é amplamente imune ao ruído de interferência e à degradação de sinal quando comparada com a transmissão de um fluxo de dados analógicos. Será reconhecido que diversos padrões de sinalização digital elétrica podem ser usados, por exemplo, LVDS (sinalização diferencial de baixa tensão), sub-LVDS, SLVS (sinalização de baixa tensão escalável) ou outros padrões de sinalização digital elétrica.
[0075] Pode haver um forte desejo de minimizar o número de condutores elétricos para reduzir o número de blocos que consumem espaço no sensor, bem como de reduzir a complexidade e o custo da produção do sensor. Embora a adição de conversão de analógico para digital ao sensor possa ser vantajosa, a área adicional ocupada pelos circuitos de conversão é compensada devido à significativa redução na potência de armazenamento temporário analógico necessária devido à conversão precoce para um sinal digital.
[0076] Em termos de consumo de área, dado o típico tamanho de recurso disponível em tecnologias de sensor de imagem CMOS (CIS), pode ser preferível em algumas implementações ter todos os sinais lógicos internos gerados no mesmo circuito integrado que a matriz de pixel por meio de um conjunto de registradores de controle e uma interface de comando simples.
[0077] Algumas implementações da divulgação podem incluir aspectos de um sensor combinado e projeto de sistema que permita um imageamento de alta definição com reduzidas contagens de pixels em um ambiente de iluminação altamente controlado. Isso pode ser realizado em virtude de pulsação quadro a quadro de um comprimento de onda de cor única e comutando-se ou alternando-se cada quadro entre um comprimento de onda de cor única e diferente com o uso de uma fonte de luz controlada combinada com altas taxas de captura de quadro e um sensor monocromático correspondente especialmente projetado. Adicionalmente, a radiação eletromagnética fora do espectro de luz visível pode ser pulsada para permitir a geração de uma imagem hiperespectral. Os pixels podem ser agnósticos em termos de cor, de modo que cada pixel possa gerar dados para cada pulso de radiação eletromagnética, incluindo pulsos para comprimentos de onda vermelho, verde e azul de luz visível com outros comprimentos de onda que podem ser usados para o imageamento hiperespectral.
[0078] Como usado na presente invenção, sensor monocromático se refere a um sensor de imageamento não filtrado. Uma vez que os pixels são agnósticos em termos de cor, a resolução espacial eficaz é apreciavelmente maior do que suas contrapartes coloridas (tipicamente filtrado em padrão Bayer) em câmeras convencionais de sensor único. Eles também podem ter maior eficiência quântica uma vez que muito menos fótons incidentes são desperdiçados entre os pixels individuais. Além disso, a modulação de cor espacial baseada em Bayer exige que a função de transferência de modulação (MTF - "modulation transfer function") dos elementos ópticos que acompanham seja reduzida em comparação com a modulação monocromática, para desfocar os artefatos coloridos associados ao padrão Bayer. Isso tem um impacto prejudicial sobre a real resolução espacial que pode ser realizada com os sensores de cor.
[0079] A divulgação se refere também a uma solução de sistema para aplicações endoscópicas nas quais o sensor de imagem reside na extremidade distal do endoscópio. Ao buscar um sistema baseado em sensor com mínima área, há outros aspectos de projeto que podem ser desenvolvidos além da redução na contagem de pixels. A área da porção digital do circuito integrado pode ser minimizada. Além disso, o número de conexões com o circuito integrado (blocos) pode também ser minimizado. A divulgação descreve novos métodos que atingem esses objetivos para a realização desse sistema. Isso envolve o projeto de um sensor de imagem CMOS totalmente customizado com vários novos recursos.
[0080] Com a finalidade de promover um entendimento dos princípios de acordo com a divulgação, será feita referência agora às modalidades ilustradas nos desenhos e uma linguagem específica será usada para descrevê-las. No entanto, ficará entendido que nenhuma limitação do escopo da divulgação é aqui concebida. Quaisquer alterações e modificações adicionais dos recursos da invenção ilustrados na presente invenção, bem como quaisquer aplicações adicionais dos princípios da divulgação conforme ilustrados na presente invenção, que normalmente ocorreriam aos versados na técnica e estando de posse da presente divulgação, devem ser consideradas no escopo da divulgação reivindicada.
[0081] Antes da estrutura, sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serem divulgados e descritos, deve-se compreender que a presente divulgação não está limitada a estruturas, configurações, etapas de processo e materiais em particular divulgados na presente invenção, uma vez que essas estruturas, configurações, etapas de processo e materiais podem variar de alguma maneira. Entende-se também que a terminologia aqui empregada é usada para o propósito de apenas descrever modalidades particulares e não pretende ser limitadora, uma vez que o escopo da divulgação será limitado apenas pelas reivindicações anexas e equivalentes das mesmas.
[0082] Ao descrever e reivindicar a matéria da divulgação, a seguinte terminologia será usada de acordo com as definições descritas abaixo.
[0083] Deve-se notar que conforme usado neste relatório descritivo e nas reivindicações anexas, as formas singulares "um", "uma", "o(s)" e "a(s)" incluem as respectivas formas no plural, a menos que o contexto determine claramente do outro modo.
[0084] Como usados na presente invenção, os termos "compreendendo", "incluindo", "contendo", "caracterizado(a) por", e equivalentes gramaticais destes são termos inclusivos ou abertos que não excluem elementos ou etapas de método adicionais não mencionados.
[0085] Como usada na presente invenção, a frase "que consiste em" e equivalentes gramaticais desta excluem qualquer elemento ou etapa não especificado na reivindicação.
[0086] Como usado na presente invenção, a expressão "que consiste essencialmente em" e os equivalentes gramaticais da mesma limitam o escopo de uma reivindicação para os materiais ou etapas específicas e os que não afetam materialmente as características básicas e novas ou as características da divulgação reivindicada.
[0087] Como usado na presente invenção, o termo "proximal" deve se referir amplamente ao conceito de uma porção com a máxima proximidade de uma origem.
[0088] Como usado na presente invenção, o termo "distal" deve se referir de modo geral ao oposto de proximal, e assim o conceito de uma porção mais distante de uma origem ou uma porção com a máxima distância, dependendo do contexto.
[0089] Como usados na presente invenção, os sensores de cor ou os sensores de múltiplos espectros são aqueles sensores conhecidos por terem uma matriz de filtro de cor (CFA - "color filter array") para filtrar a radiação eletromagnética de entrada em seus componentes separados. Na faixa visual do espectro eletromagnético, essa CFA pode ser construída em um padrão ou modificação de Bayer para separar os componentes de espectro verde, vermelho e azul da luz.
[0090] Agora com referência às Figuras 1 a 5, os sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serão agora descritos. A Figura 1 ilustra uma vista esquemática de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente deficiente de luz. Essa configuração permite uma maior funcionalidade em um ambiente de luz controlada ou em um ambiente deficiente de luz.
[0091] Deve ser observado que, como usado na presente invenção, o termo "luz" é tanto uma partícula quanto um comprimento de onda e tem como objetivo denotar radiação eletromagnética que é detectável por uma matriz de pixel e pode incluir comprimentos de onda a partir dos espectros visível e não visível de radiação eletromagnética. O termo "partição" é usado na presente invenção para significar uma faixa predeterminada de comprimentos de onda do espectro eletromagnético que é menor que todo o espectro, ou em outras palavras, comprimentos de onda que foram alguma porção do espectro eletromagnético. Como usado na presente invenção, um emissor é uma fonte de luz que pode ser controlável em relação à porção do espectro eletromagnético que é emitido ou que pode operar de acordo com a física de seus componentes, a intensidade das emissões ou a duração da emissão, ou todas as acima. Um emissor pode emitir luz em qualquer emissão incerta, difusa ou colimada e pode ser controlado digitalmente ou por métodos ou sistemas analógicos. Como usado na presente invenção, um emissor eletromagnético é uma fonte de uma explosão de energia eletromagnética e inclui fontes de luz, como lasers, LEDs, luz incandescente ou qualquer fonte de luz que possa ser digitalmente controlada.
[0092] Uma matriz de pixel de um sensor de imagem pode ser pareada eletronicamente com um emissor, de modo que sejam sincronizados durante a operação tanto para receber as emissões quanto para os ajustes feitos dentro do sistema. Como pode ser visto na Figura 1, um emissor 100 pode ser ajustado para emitir radiação eletromagnética na forma de um laser que pode ser pulsado para iluminar um objeto 110. O emissor 100 pode pulsar em um intervalo que corresponde à operação e à funcionalidade de uma matriz de pixel 122. O emissor 100 pode pulsar luz em uma pluralidade de partições eletromagnéticas 105, de modo que a matriz de pixel receba energia eletromagnética e produza um conjunto de dados que corresponde (em tempo) a cada partição eletromagnética específica 105. Por exemplo, a Figura 1 ilustra um sistema tendo um sensor monocromático 120 tendo uma matriz de pixel (preto e branco) 122 e circuitos de suporte em que a matriz de pixel 122 é sensível à radiação eletromagnética de qualquer comprimento de onda. O emissor de luz 100 ilustrado na Figura pode ser um emissor de laser capaz de emitir uma partição eletromagnética vermelha 105a, uma partição eletromagnética azul 105b e uma partição eletromagnética verde 105c em qualquer sequência desejada. Em uma modalidade em que uma imagem hiperespectral pode ser gerada, o emissor de luz 100 pode pulsar radiação eletromagnética em qualquer comprimento de onda no espectro eletromagnético, de tal modo que uma imagem hiperespectral possa ser gerada. Será reconhecido que outros emissores de luz 100 podem ser usados na Figura 1 sem que se afaste do escopo da divulgação, por exemplo, emissores de base digital ou analógica.
[0093] Durante a operação, uma cor ou partição de comprimento de onda específica pode ser atribuída aos dados criados pelo sensor monocromático 120 para qualquer pulso individual, sendo que a atribuição é baseada no tempo da cor pulsada ou da partição de comprimento de onda proveniente do emissor 100. Embora os pixels 122 não sejam dedicados por cor, eles podem receber a atribuição de uma cor para qualquer dado conjunto de dados com base em uma informação deduzida sobre o emissor.
[0094] Em uma modalidade exemplificadora da divulgação, o emissor 100 pulsa radiação eletromagnética em comprimentos de onda especializados. Esses pulsos podem ser capazes de gerar uma imagem de fluorescência especializada que é particularmente adequada para determinadas aplicações médicas ou diagnósticas. Na modalidade exemplificadora, ao menos uma porção da radiação eletromagnética emitida pelo emissor 100 inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção da radiação eletromagnética.
[0095] Em uma modalidade, três conjuntos de dados que representam pulsos eletromagnéticos VERMELHOS, VERDES e AZUIS podem ser combinados para formar um quadro de imagem única. Um ou mais conjuntos de dados adicionais que representam outras partições de comprimento de onda podem ser sobrepostos no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS. O um ou mais conjuntos de dados adicionais pode representar, por exemplo, imageamento por fluorescência responsivo ao comprimento de onda de excitação entre 770 nm e 790 nm e entre 795 nm e 815 nm. O um ou mais conjuntos de dados adicionais pode representar o imageamento por fluorescência e/ou hiperespectral que pode ser sobreposto no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS.
[0096] Será reconhecido que a divulgação não está limitada a qualquer combinação de cor em particular ou qualquer partição eletromagnética em particular e que qualquer combinação de cor ou qualquer partição eletromagnética pode ser usada no lugar de VERMELHO, VERDE e AZUL, como Ciano, Magenta e amarelo; Ultravioleta; infravermelho; qualquer combinação do que foi acima mencionado ou qualquer outra combinação de cor, incluindo todos os comprimentos de onda visível e não visível, sem que se afaste do escopo da divulgação. Na Figura, o objeto 110 a ser imageado contém uma porção vermelha 110a, uma porção verde 110b e uma porção azul 110c. Como ilustrado na Figura, a luz refletida dos pulsos eletromagnéticos contém somente os dados para a porção do objeto tendo a cor específica que corresponde à partição de cor pulsada. Esses conjuntos de dados de cor separada (ou intervalo de cor) podem ser então usados para reconstruir a imagem pela combinação dos conjuntos de dados em 130.
[0097] Em uma modalidade, uma pluralidade de conjuntos de dados que representam pulsos eletromagnéticos VERMELHOS,
VERDES e AZUIS com partições adicionais de comprimento de onda ao longo do espectro eletromagnético pode ser combinada para formar um quadro de imagem única tendo uma imagem RGB com dados de imagem hiperespectral sobrepostos na imagem RGB. Dependendo da aplicação ou instância, diferentes combinações de conjuntos de dados de comprimento de onda podem ser desejáveis. Por exemplo, em algumas implementações, um conjunto de dados que representa partições de comprimento de onda específicas pode ser usado para gerar uma imagem hiperespectral especializada para diagnosticar uma condição clínica em particular, investigar determinados tecidos corporais etc.
[0098] Como ilustrado na Figura 2, as implementações da presente divulgação podem compreender ou utilizar um computador de propósito especial ou geral, incluindo hardware de computador, como, por exemplo, um ou mais processadores e memória de sistema, conforme discutido com mais detalhes abaixo. As implementações no escopo da presente divulgação também podem incluir mídia legível física e outras mídias legíveis por computador para carregar ou armazenar instruções executáveis por computador e/ou estruturas de dados. Essa mídia legível por computador pode ser qualquer mídia disponível que possa ser acessada por um sistema de computador de propósito geral ou propósito especial. A mídia legível por computador que armazena instruções executáveis por computador são mídias (dispositivos) de armazenamento em computador. A mídia legível por computador que carrega instruções executáveis por computador são mídias de transmissão. Assim, a título de exemplo, e não de limitação, as implementações da divulgação podem compreender ao menos dois tipos distintamente diferentes de mídia legível por computador: mídias (dispositivos) de armazenamento em computador e mídias de transmissão.
[0099] As mídias (dispositivos) de armazenamento em computador incluem RAM, ROM, EEPROM, CD-ROM, drives de estado sólido ("SSDs" - "solid state drives") (por exemplo, baseados em RAM), memória Flash, memória de troca de fase ("PCM" - "phase-change memory"), outros tipos de memória, outro armazenamento em disco óptico, armazenamento em disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outra mídia que possa ser usada para armazenar meios de código de programa desejados na forma de instruções executáveis por computador ou estruturas de dados e que podem ser acessados por um computador de propósito geral ou de propósito especial.
[0100] Uma "rede" é definida como um ou mais links de dados que permitem o transporte de dados eletrônicos entre sistemas e/ou módulos de computador e/ou outros dispositivos eletrônicos. Em uma implementação, um sensor e uma unidade de controle de câmera podem ser ligados em rede para se comunicarem entre si e com outros componentes conectados na rede aos quais estão conectados. Quando a informação é transferida ou fornecida por uma rede ou outra conexão de comunicações (tanto por fio, sem fio ou por uma combinação com fio e sem fio) a um computador, o computador visualiza adequadamente a conexão como um meio de transmissão. Os meios de transmissão podem incluir uma rede e/ou links de dados que podem ser usados para conter meios desejados de código de programa na forma de instruções executáveis por computador ou estruturas de dados e que podem ser acessados por um computador de propósito geral ou de propósito especial. Combinações dos acima citados também precisam ser incluídas no escopo de mídias legíveis por computador.
[0101] Adicionalmente, ao atingir vários componentes de sistema de computador, os meios de código de programa na forma de instruções executáveis por computador ou estruturas de dados podem ser transferidos automaticamente de mídias de transmissão para mídias
(dispositivos) de armazenamento em computador (ou vice-versa). Por exemplo, instruções executáveis por computador ou estruturas de dados recebidos por uma rede ou link de dados podem ser armazenadas temporariamente em RAM dentro de um módulo de interface de rede (por exemplo, um "NIC") e, então, por fim, transferidas para a RAM do sistema de computador e/ou para mídias (dispositivos) menos voláteis de armazenamento em computador em um sistema de computador. A RAM pode também incluir drives de estado sólido (SSDs ou armazenamento em diferentes níveis em memória em tempo real baseada em PCIx, como FusionIO). Assim, deve ficar entendido que as mídias (dispositivos) de armazenamento em computador podem ser incluídas em componentes de sistema de computador que também (ou até principalmente) utilizam mídias de transmissão.
[0102] As instruções executáveis por computador compreendem, por exemplo, instruções e dados que, quando executados em um processador, fazem com que um computador de propósito geral, um computador de propósito especial ou dispositivo de processamento de propósito especial realize uma determinada função ou grupo de funções. As instruções executáveis por computador podem ser, por exemplo, instruções binarias de formato intermediário, por exemplo, a linguagem de montagem, ou mesmo o código-fonte. Embora essa matéria tenha sido descrita em uma linguagem específica para recursos estruturais e/ou ações metodológicas, deve-se compreender que a matéria definida nas reivindicações anexas não está necessariamente limitada aos recursos descritos ou às ações descritas acima. Em vez disso, os recursos e ações descritos são divulgados como formas de exemplo de implementação das reivindicações.
[0103] Os versados na técnica apreciarão que a divulgação pode ser colocada em prática em ambientes de computação em rede com vários tipos de configurações de sistema de computador, incluindo computadores pessoais, computadores tipo desktop, computadores tipo laptop, processadores de mensagens, unidades de controle, unidade de controle de câmeras, dispositivos de mão, peças de mão, sistemas de múltiplos processadores, dispositivos eletrônicos do consumidor baseados em microprocessador ou programáveis, PCs em rede, minicomputadores, computadores do tipo mainframe, telefones móveis, PDAs, tablets, pagers, roteadores, switches, dispositivos de armazenamento diversos, e similares. Deve ser observado que quaisquer dos dispositivos de computação mencionados acima pode ser fornecido por ou estar localizado dentro de um tijolo e pilão. A divulgação pode também ser colocada em prática em ambientes de sistema distribuído onde sistemas de computador locais e remotos que estão ligados (tanto por links de dados com fio, links de dados sem fio ou por uma combinação de links de dados com e sem fio) através de uma rede, e ambos realizam tarefas. Em um ambiente de sistema distribuído, os módulos de programa podem estar situados em dispositivos de armazenamento de memória tanto locais quanto remotos.
[0104] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0105] A Figura 2 é um diagrama de blocos que ilustra um exemplo de dispositivo de computação 150. O dispositivo de computação 150 pode ser usado para realizar diversos procedimentos, como aqueles discutidos na presente invenção. O dispositivo de computação 150 pode funcionar como um servidor, um cliente ou qualquer outra entidade de computação. O dispositivo de computação 150 pode desempenhar várias funções de monitoramento conforme discutido na presente invenção, e pode executar um ou mais programa de aplicativo, como o programa de aplicativo descrito na presente invenção. O dispositivo de computação 150 pode ser qualquer um de uma ampla variedade de dispositivos de computação, como um computador do tipo desktop, um computador do tipo notebook, um computador servidor, um computador portátil, uma unidade de controle de câmera, computador do tipo tablet e similares.
[0106] O dispositivo de computação 150 inclui um ou mais processador(es) 152, um ou mais dispositivo(s) de memória 154, uma ou mais interface(s) 156, um ou mais dispositivo(s) de armazenamento em massa 158, um ou mais dispositivo(s) de entrada/saída (I/O) 160, e um dispositivo de exibição 180, sendo todos acoplados a um barramento 162. O(s) processador(es) 152 inclui(em) um ou mais processadores ou controladores que executam instruções armazenadas em dispositivo(s) de memória 154 e/ou em dispositivo(s) de armazenamento em massa 158. O(s) processador(es) 152 pode(m) também incluir vários tipos de mídia legível por computador, como memória em cache.
[0107] O(s) dispositivo(s) de memória 154 inclui(em) diversas mídias legíveis por computador, como memória volátil (por exemplo, memória de acesso aleatório (RAM) 164) e/ou memória não volátil (por exemplo, memória somente de leitura (ROM) 166). O(s) dispositivo(s) de memória 154 pode(m) também incluir ROM regravável, como memória Flash.
[0108] O(s) dispositivo(s) de armazenamento em massa 158 inclui(em) diversas mídias legíveis por computador, como fitas magnéticas, discos magnéticos, discos ópticos, memória de estado sólido (por exemplo, memória) etc. Como mostrado na Figura 2, um dispositivo de armazenamento em massa em particular é um drive de disco rígido 174. Vários drives também podem ser incluídos no(s) dispositivo(s) de armazenamento em massa 158 para permitir a leitura a partir de e/ou a gravação nas diversas mídias legíveis por computador. O(s) dispositivo(s) de armazenamento em massa 158 inclui(em) mídias removíveis 176 e/ou mídias não removíveis.
[0109] O(s) dispositivo(s) de I/O 160 inclui(em) vários dispositivos que permitem que dados e/ou outras informações sejam inseridos em ou recuperados do dispositivo de computação 150. Exemplos de dispositivos de I/O 160 incluem dispositivos de imageamento digital, sensores e emissores eletromagnéticos, dispositivos de controle de cursor, teclados, teclados tipo keypad, microfones, monitores ou outros dispositivos de exibição, autofalantes, impressoras, cartões de interface de rede, modems, lentes, CCDs ou outros dispositivos de captura de imagem, e similares.
[0110] O dispositivo de exibição 180 inclui qualquer tipo de dispositivo capaz de exibir informações para um ou mais usuários do dispositivo de computação 150. Exemplos de dispositivo de exibição 180 incluem um monitor, terminal de tela, dispositivo de projeção de vídeo, e similares.
[0111] A(s) interface(s) 106 inclui(em) diversas interfaces que permitem que um dispositivo de computação 150 interaja com outros sistemas, dispositivos ou ambientes de computação. Exemplo(s) de interface 156 podem incluir qualquer número de diferentes interfaces de rede 170, como interfaces para rede local (LANs), redes de área ampla (WANs), redes sem fio e a Internet. Outra(s) interface(s) inclui(em)
interface de usuário 168 e interface de dispositivo periférico 172. A(s) interface(s) 156 pode(m) também incluir um ou mais elementos de interface de usuário 168. A(s) interface(s) 156 pode(m) também incluir uma ou mais interfaces periféricas, como interfaces para impressoras, dispositivos de apontamento (mouses, track pad etc.), teclados e similares.
[0112] O barramento 162 permite que processador(es) 152, dispositivo(s) de memória 154, interface(s) 156, dispositivo(s) de armazenamento em massa 158, e dispositivo(s) de I/O 160 se comuniquem entre si, bem como com outros dispositivos ou componentes acoplados ao barramento 162. O barramento 162 representa um ou mais de vários tipos de estruturas de barramento, como um barramento de sistema, barramento PCI, barramento IEEE 1394, barramento USB etc.
[0113] Para fins de ilustração, programas e outros componentes de programa executáveis são mostrados na presente invenção como blocos discretos, embora seja compreendido que esses programas e componentes podem permanecer em diversos momentos em diferentes componentes de armazenamento do dispositivo de computação 150, e são executados pelo(s) processador(es) 152. Alternativamente, os sistemas e procedimentos descritos na presente invenção podem ser implementados em hardware, ou em uma combinação de hardware, software e/ou firmware. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção.
[0114] A Figura 2A ilustra os ciclos operacionais de um sensor usado no modo de leitura por rolagem ou durante a leitura do sensor
200. A leitura do quadro pode começar em e pode ser representada pela linha vertical 210. O período de leitura é representado pela linha diagonal ou inclinada 202. O sensor pode ser lido fileira por fileira, sendo que o topo da borda inclinada para baixo é a fileira superior do sensor 212 e sendo que o fundo da borda inclinada para baixo é a fileira inferior do sensor 214. O tempo entre a leitura da última fileira e o próximo ciclo de leitura pode ser chamado de tempo de supressão
216. Deve ser observado que algumas das fileiras de pixel do sensor podem ser cobertas com um protetor de luz (por exemplo, um revestimento metálico ou qualquer outra camada substancialmente de cor negra de um outro tipo de material). Essas fileiras de pixel cobertas podem ser denominadas fileiras ópticas negras 218 e 220. As fileiras ópticas negras 218 e 220 podem ser usadas como entrada para algoritmos de correção. Como mostrado na Figura 2A, essas fileiras ópticas negras 218 e 220 podem estar localizadas no topo da matriz de pixel ou no fundo da matriz de pixel ou no topo e no fundo da matriz de pixel. A Figura 2B ilustra um processo de controle da quantidade de radiação eletromagnética, por exemplo, luz, que é exposta a um pixel, sendo assim integrada ou acumulada pelo pixel. Será reconhecido que os fótons são partículas elementares de radiação eletromagnética. Os fótons são integrados, absorvidos ou acumulados por cada pixel e convertidos em uma carga ou corrente elétrica. Um obturador eletrônico ou obturador de rolagem (mostrado pela linha tracejada 222) pode ser usado para iniciar o tempo de integração pela reinicialização do pixel. A luz então integrará até a próxima fase de leitura. A posição do obturador eletrônico 222 pode ser movimentada entre dois ciclos de leitura 202 para controlar a saturação de pixel para uma determinada quantidade de luz. Deve ser observado que essa técnica permite um tempo de integração constante entre duas linhas diferentes, mas introduz um atraso ao se movimentar das fileiras superiores para as inferiores. A Figura 2C ilustra o caso em que o obturador eletrônico 222 foi removido. Nessa configuração, a integração da luz de entrada pode começar durante a leitura 202 e pode terminar no próximo ciclo de leitura 202, que também define o início da próxima integração. A Figura 2D mostra uma configuração sem um obturador eletrônico 222, mas com uma luz controlada e pulsada 230 durante o tempo de supressão
216. Isso garante que todas as fileiras vejam a mesma luz emitida do mesmo pulso de luz 230. Em outras palavras, cada fileira iniciará sua integração em um ambiente escuro, que pode ser na fileira óptica negra traseira 220 do quadro de leitura (m) para uma largura máxima de pulso de luz e, então, receberá uma luz estroboscópica e terminará sua integração em um ambiente escuro, que pode ser na fileira óptica negra frontal 218 do próximo quadro de leitura subsequente (m+1) para uma largura máxima de pulso de luz. No exemplo da Figura 2D, a imagem gerada a partir do pulso de luz ficará unicamente disponível durante a leitura do quadro (m+1) sem qualquer interferência nos quadros (m) e (m+2). Deve ser observado que a condição para se ter um pulso de luz a ser lido somente em um quadro e não interferir nos quadros vizinhos é ter o dado pulso de luz disparado durante o tempo de supressão 216. Uma vez que as fileiras ópticas negras 218, 220 são insensíveis à luz, o tempo de quadro (m) das fileiras ópticas negras traseiras 220 e o tempo de quadro (m+1) das fileiras ópticas negras frontais 218 podem ser somados ao tempo de supressão 216 para determinar a faixa máxima do tempo de disparo do pulso de luz 230. Como ilustrado na Figura 2A, um sensor pode passar pelo ciclo muitas vezes para receber dados para cada cor pulsada ou comprimento de onda (por exemplo, vermelho, verde, azul, ou outro comprimento de onda no espectro eletromagnético). Cada ciclo pode ser cronometrado. Em uma modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de 16,67 ms. Em uma outra modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de
8,3 ms. Será reconhecido que outros intervalos de tempo são contemplados pela divulgação e têm como objetivo ficar dentro do escopo da presente divulgação.
[0115] A Figura 3 ilustra graficamente a operação de uma modalidade de um emissor eletromagnético. Um emissor pode ser cronometrado para corresponder aos ciclos de um sensor, de modo que radiação eletromagnética seja emitida dentro do ciclo de operação do sensor e/ou durante uma parte do ciclo de operação do sensor. A Figura 3 ilustra o Pulso 1 em 302, o Pulso 2 em 304 e o Pulso 3 em 306. Em uma modalidade, o emissor pode pulsar durante a parte de leitura 202 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar durante a parte de supressão 216 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar durante um período que ocorre durante partes de dois ou mais ciclos operacionais do sensor. Em uma modalidade, o emissor pode iniciar um pulso durante a parte de supressão 216 ou durante a parte óptica negra 220 da parte de leitura 202, e terminar o pulso durante a parte de leitura 202, ou durante a parte óptica negra 218 da parte de leitura 202 do próximo ciclo subsequente. Ficará entendido que qualquer combinação do que foi exposto acima deverá permanecer dentro do escopo da presente divulgação, contanto que o pulso do emissor e o ciclo do sensor correspondam.
[0116] A Figura 4 representa graficamente a variação da duração e a magnitude do pulso eletromagnético emitido (por exemplo, Pulso 1 em 402, Pulso 2 em 404 e Pulso 3 em 406) para controlar a exposição. Um emissor tendo uma magnitude de saída fixa pode ser pulsado durante quaisquer dos ciclos mencionados acima em relação às Figuras 2D e 3 para um intervalo para fornecer a energia eletromagnética necessária para a matriz de pixel. Um emissor tendo uma magnitude de saída fixa pode ser pulsado em um intervalo de tempo maior, fornecendo assim mais energia eletromagnética aos pixels ou o emissor pode ser pulsado em um intervalo de tempo menor, fornecendo assim menos energia eletromagnética. A necessidade de um intervalo de tempo mais longo ou mais curto depende das condições operacionais.
[0117] Em contraste ao ajuste do intervalo de tempo que o emissor pulsa uma magnitude de saída fixa, a própria magnitude da emissão pode ser aumentada para fornecer mais energia eletromagnética aos pixels. De modo similar, a redução da magnitude do pulso fornece menos energia eletromagnética aos pixels. Deve ser observado que uma modalidade do sistema pode ter a capacidade de ajustar simultaneamente tanto a magnitude quanto a duração, se desejado. Adicionalmente, o sensor pode ser ajustado para aumentar sua sensibilidade e duração conforme desejado para uma qualidade de imagem ideal. A Figura 4 ilustra a variação da magnitude e a duração dos pulsos. Na ilustração, o Pulso 1 em 402 tem uma maior magnitude ou intensidade do que o Pulso 2 em 404 ou o Pulso 3 em 406. Adicionalmente, o Pulso 1 em 402 tem uma duração menor do que o Pulso 2 em 404 ou o Pulso 3 em 406, de modo que a energia eletromagnética fornecida pelo pulso seja ilustrada pela área sob o pulso mostrado na ilustração. Na ilustração, o Pulso 2 em 404 tem uma magnitude ou intensidade relativamente baixa e uma duração maior em comparação com o Pulso 1 em 402 ou com o Pulso 3 em 406. Por fim, na ilustração, o Pulso 3 em 406 tem uma magnitude ou intensidade e duração intermediárias em comparação com o Pulso 1 em 402 e com o Pulso 2 em 404.
[0118] A Figura 5 é uma representação gráfica de uma modalidade da divulgação que combina os ciclos operacionais, o emissor eletromagnético e os pulsos eletromagnéticos emitidos das Figuras 2 a 4 para demonstrar o sistema de imageamento durante a operação de acordo com os princípios e ensinamentos da divulgação. Como pode ser visto na Figura, o emissor eletromagnético pulsa as emissões principalmente durante o período de supressão 216 do sensor, de modo que os pixels serão carregados e estarão prontos para a leitura durante a parte de leitura 202 do ciclo de sensor. As porções em linha tracejada no pulso (da Figura 3) ilustram o potencial ou a capacidade de emitir energia eletromagnética durante as partes ópticas negras 220 e 218 do ciclo de leitura (ciclo de sensor) 200 se tempo adicional for necessário ou desejado para pulsar energia eletromagnética.
[0119] Agora com referência às Figuras 6 a 9A, a Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado. Deve ser observado que os sensores de cor possuem uma matriz de filtro de cor (CFA) para filtrar determinados comprimentos de onda de luz por pixel comumente usado para a recepção de luz de espectro completo. Um exemplo de uma CFA é um padrão Bayer. Uma vez que o sensor de cor pode compreender pixels dentro da matriz que são sensibilizados para uma única cor de dentro do espectro completo, o resultado é uma imagem com resolução reduzida, pois a matriz de pixel possui espaços de pixel dedicados a apenas uma única cor de luz dentro do espectro completo. Normalmente, tal disposição é formada em um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz.
[0120] Em contraste, quando espectros particionados de luz são usados, um sensor pode ser sensibilizado ou responsivo à magnitude de toda a energia de luz, pois a matriz de pixel será instruída que está detectando energia eletromagnética de uma partição predeterminada do espectro completo de energia eletromagnética em cada ciclo. Portanto, para formar uma imagem, o sensor precisa somente passar pelo ciclo com uma pluralidade de partições de diferenciação de dentro do espectro completo de luz e, então, remontar a imagem para exibir uma mistura predeterminada de valores de cor para cada pixel ao longo da matriz. Consequentemente, uma imagem com maior resolução também é fornecida, pois há distâncias reduzidas em comparação com um sensor Bayer entre centros de pixel da mesma sensibilidade de cor para cada um dos pulsos de cor. Como resultado, a imagem colorida formada tem uma maior função de transferência de modulação (MTF - "modulation transfer function"). Uma vez que a imagem de cada ciclo de quadro de partição de cor tem uma maior resolução, a imagem resultante criada quando os quadros de luz particionada são combinados em um quadro de cores completas também tem uma maior resolução. Em outras palavras, uma vez que todos e cada um dos pixels dentro da matriz (em vez de, no máximo, cada segundo pixel em um sensor com filtro de cor) está detectando as magnitudes de energia de um determinado pulso e uma determinada cena, com apenas frações de tempo de separação, uma imagem com maior resolução é criada para cada cena, exigindo que menos dados derivados (menos preciso) sejam introduzidos.
[0121] Por exemplo, a luz visível branca ou de espectro completo é uma combinação de luz vermelha, verde e azul. Na modalidade mostrada na Figura 6, pode ser visto que tanto no processo de espectro particionado 620 quanto no processo de espectro completo 610, o tempo para capturar uma imagem varia de t(0) a t(1). No processo de espectro completo 610, luz branca ou energia eletromagnética de espectro completo é emitida em 612. Em 614, a energia eletromagnética branca ou de espectro completo é detectada. Em 616, a imagem é processada e exibida. Assim, entre o tempo t(0) e t(1), a imagem foi processada e exibida. Contrariamente, no processo de espectro particionado 620, uma primeira partição é emitida em 622 e detectada em 624. Em 626, uma segunda partição é emitida e, então, detectada em 628. Em 630, uma terceira partição é emitida e detectada em 632. Em 634, a imagem é processada e exibida. Será reconhecido que qualquer sistema que utiliza um ciclo de sensor de imagem que é ao menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da divulgação.
[0122] Como pode ser visto graficamente na modalidade ilustrada na Figura 6 entre os tempos t(0) e t(1), o sensor para o sistema de espectro particionado 620 passou pelo ciclo três vezes para cada um do sistema de espectro completo. No sistema de espectro particionado 620, o primeiro dos três ciclos de sensor é para um espectro verde 622 e 624, o segundo dos três é para um espectro vermelho 626 e 628, e o terceiro é para um espectro azul 630 e 632. Assim, em uma modalidade em que o dispositivo de exibição (painel de LCD) opera a 50-60 quadros por segundo, um sistema de luz particionada deve operar em 150-180 quadros por segundo para manter a continuidade e a integridade do vídeo exibido.
[0123] Em outras modalidades, pode haver diferentes taxas de captura e exibição de quadro. Além disso, a taxa de captura média poderia ser qualquer múltiplo da taxa de exibição.
[0124] Em uma modalidade, pode ser desejado que nem todas as partições sejam representadas igualmente dentro da taxa de quadro do sistema. Em outras palavras, nem todas as fontes de luz precisam ser pulsadas com a mesma regularidade, de modo a enfatizar e desenfatizar aspectos da cena gravada conforme desejado pelos usuários. Também deve ser compreendido que as partições não visíveis e visíveis do espectro eletromagnético podem ser pulsadas juntas dentro de um sistema com seu respectivo valor de dados sendo costuradas na saída de vídeo conforme desejado para exibição a um usuário.
[0125] Uma modalidade pode compreender um padrão de ciclo de pulso como segue: i. Pulso verde;
ii. Pulso vermelho; iii. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso infravermelho (IV); viii. (Repetir)
[0126] Como pode ser visto no exemplo, uma partição infravermelha ou uma partição de comprimento de onda especializada (por exemplo, 513 a 545 nm, 565 a 585 nm e/ou 900 a 100 nm) pode ser pulsada a uma taxa que difere das taxas dos outros pulsos de partição. Isso pode ser feito para enfatizar um determinado aspecto da cena, com os dados IV simplesmente sendo sobrepostos aos outros dados na saída de vídeo para realizar a ênfase desejada. Deve ser observado que a adição de uma partição eletromagnética no topo das partições vermelha, verde e azul não necessariamente exige que o sistema em série opere em quatro vezes a taxa de um sistema não serial de espectro completo, pois cada partição não precisa ser representada igualmente no padrão de pulso. Como visto na modalidade, a adição de um pulso de partição que é representado menos em um padrão de pulso (infravermelho em um exemplo acima), resultaria em um aumento menor que 20% da velocidade de ciclo do sensor a fim de acomodar a amostragem de partição irregular.
[0127] Em uma modalidade, pode ser emitida uma partição eletromagnética que é sensível a corantes ou materiais que são usados para destacar aspectos de uma cena. Na modalidade, pode ser suficiente destacar a localização dos corantes ou materiais sem a necessidade de alta resolução. Nessa modalidade, a partição eletromagnética sensível a corante pode passar pelo ciclo de forma muito menos frequente do que as outras partições no sistema para incluir os dados enfatizados.
[0128] Em várias modalidades, o padrão de ciclo de pulso pode incluir qualquer um dos seguintes comprimentos de onda em qualquer ordem adequada. Esses comprimentos de onda podem ser particularmente adequados para determinar dados de imagem multiespectral ou hiperespectral ou para determinar dados de imagem com base em uma emissão de relaxamento de reagente fluorescente: i. 465 ± 5 nm; ii. 533 ± 4 nm; iii. 638 ± 5 nm; iv. 780 ± 5 nm; v. 805 ± 5 nm; vi. 975 ± 5 nm; vii. 577 ± 2 nm; ou viii. 523 ± 4 nm.
[0129] Os ciclos de partição podem ser divididos de modo a acomodar ou aproximar vários padrões de imageamento e vídeo. Em uma modalidade, os ciclos de partição podem compreender pulsos de energia eletromagnética no espectro Vermelho, Verde e Azul conforme mais bem ilustrado nas Figuras 7A a 7D. Na Figura 7A, as diferentes intensidades de luz foram alcançadas modulando-se a largura ou a duração do pulso de luz dentro da faixa de trabalho mostrada pelas linhas tracejadas verticais cinza. Na Figura 7B, as diferentes intensidades de luz foram alcançadas modulando-se a potência da luz ou a potência do emissor eletromagnético que pode ser um emissor de laser ou LED, porém mantendo a largura ou a duração do pulso constantes. A Figura 7C mostra o caso em que tanto a potência de luz quanto a largura do pulso de luz estão sendo moduladas, levando a uma maior flexibilidade. Os ciclos de partição podem empregar CMY, IV e ultravioleta com o uso de uma fonte de pulso não visível misturada com fontes de pulso visível e qualquer outro espaço de cor exigido para produzir uma imagem ou se aproximar de um padrão de vídeo desejado que é atualmente conhecido ou ainda por ser desenvolvido. Também deve ser compreendido que um sistema pode ser capaz de alternar entre os espaços de cor durante o progresso para fornecer a qualidade de emissão de imagem desejada.
[0130] Em uma modalidade que utiliza espaços de cor Verde-Azul- Verde-Vermelho (conforme visto na Figura 7D), pode-se desejar pulsar os componentes de luminância mais frequentemente do que os componentes de crominância, pois os usuários são, de modo geral, mais sensíveis às diferenças de magnitude da luz do que às diferenças de cor da luz. Esse princípio pode ser explorado com o uso de um sensor monocromático conforme ilustrado na Figura 7D. Na Figura 7D, a cor verde, que contém a maioria das informações de luminância, pode ser pulsada mais frequentemente ou com mais intensidade em um esquema (G-B-G-R-G-B-G-R…) para se obter os dados de luminância. Essa configuração criaria uma transmissão de vídeo que tem perceptivelmente mais detalhes, sem criar e transmitir dados imperceptíveis.
[0131] Em uma modalidade, a duplicação do pulso de uma partição mais fraca pode ser usada para produzir uma emissão que foi ajustada para o pulso mais fraco. Por exemplo, a luz laser azul é considerada fraca em relação à sensibilidade dos pixels baseados em silício e é difícil de se produzir em comparação com a luz vermelha ou verde e, portanto, pode ser pulsada mais frequentemente durante um ciclo de quadro para compensar a fraqueza da luz. Esses pulsos adicionais podem ser realizados em série no decorrer do tempo ou usando-se múltiplos lasers que pulsam simultaneamente para produzir o efeito de compensação desejado. Deve ser observado que ao pulsar durante um período de supressão (tempo durante o qual o sensor não está lendo a matriz de pixel), o sensor é insensível às diferenças/disparidades entre lasers do mesmo tipo e simplesmente acumula a luz para a emissão desejada. Em uma outra modalidade, a faixa de máximo pulso de luz pode ser diferente de quadro para quadro. Isso é mostrado na Figura 7E onde os pulsos de luz são diferentes de quadro para quadro. O sensor pode ser construído para poder programar diferentes tempos de supressão com um padrão de repetição de 2 ou 3 ou 4 ou n quadros. Na Figura 7E, são ilustrados 4 diferentes pulsos de luz, e o Pulso 1 pode se repetir, por exemplo, após o Pulso 4 e pode ter um padrão de 4 quadros com diferentes tempos de supressão. Essa técnica pode ser usada para colocar a partição mais potente no menor tempo de supressão e, portanto, permitir que a partição mais fraca tenha pulso mais largo em um dos próximos quadros sem a necessidade de aumentar a velocidade de leitura. O quadro reconstruído pode ter ainda um padrão regular de quadro para quadro, pois é constituído de muitos quadros pulsados.
[0132] Como pode ser visto na Figura 8, uma vez que cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Em 810, os dados obtidos do histograma de um quadro anterior podem ser analisados. Em 820, o sensor pode ser ajustado conforme mencionado abaixo. Adicionalmente, em 830, o emissor pode ser ajustado. Em 840, a imagem pode ser obtida do tempo de amostra ajustado a partir do sensor ou a imagem pode ser obtida com luz emitida ajustada (tanto aumentada quanto diminuída), ou uma combinação do acima mencionado. Por exemplo, uma vez que o espectro de luz vermelha é mais prontamente detectado por um sensor dentro do sistema do que o espectro de luz azul, o sensor pode ser ajustado para ficar menos sensível durante o ciclo de partição vermelho e mais sensível durante o ciclo de partição azul devido à baixa Eficiência Quântica que a partição azul tem em relação ao silício (mais bem ilustrado na Figura 9). De modo similar, o emissor pode ser ajustado para fornecer uma partição ajustada (por exemplo, maior ou menor intensidade e duração). Adicionalmente, ajustes podem ser feitos tanto ao nível do sensor quanto do emissor. O emissor pode também ser projetado para emitir em uma frequência específica ou pode ser alterado para emitir múltiplas frequências de uma partição específica para ampliar o espectro de luz que está sendo emitido, se desejado, para uma aplicação em particular.
[0133] A Figura 10 mostra um esquema de um pixel 4T não compartilhado. O sinal TX é usado para transferir cargas acumuladas do fotodiodo (PPD) para a difusão oscilante (FD). O sinal de reinicialização é usado para reinicializar o FD para o barramento de reinicialização. Se os sinais de reinicialização e TX estiverem "ligados" ao mesmo tempo, o PPD é constantemente reinicializado (cada carga de foto gerada no PPD é diretamente coletada no barramento de reinicialização) e o PPD está sempre vazio. A implementação de matriz de pixel usual inclui uma linha de reinicialização horizontal que fixa os sinais de reinicialização de todos os pixels dentro de uma fileira e uma linha TX horizontal que fixa os sinais TX de todos os pixels dentro de uma fileira.
[0134] Em uma modalidade, o tempo de ajuste de sensibilidade do sensor é ilustrado e o ajuste de sensibilidade do sensor pode ser alcançado usando-se um mecanismo de reinicialização global (ou seja, um meio de disparo de todos os sinais de reinicialização da matriz de pixel de uma vez) e um mecanismo de TX global (ou seja, meios de disparo de todos os sinais TX da matriz de pixel de uma vez). Isto é mostrado na Figura 11. Nesse caso, o pulso de luz é constante em termos de duração e amplitude, porém a luz integrada em todos os pixels começa com a transição de "ligado" para "desligado" do TX global e termina com o pulso de luz. Portanto, a modulação é realizada movendo-se a borda em queda do pulso TX global.
[0135] Por outro lado, o emissor pode emitir luz vermelha em uma menor intensidade do que a luz azul para produzir uma imagem corretamente exposta (mais bem ilustrada na Figura 12). Em 1210, os dados obtidos do histograma de um quadro anterior podem ser analisados. Em 1220, o emissor pode ser ajustado. Em 1230, a imagem pode ser obtida a partir da luz emitida ajustada. Adicionalmente, em uma modalidade, tanto o emissor quanto o sensor podem ser simultaneamente ajustados.
[0136] A reconstrução dos quadros de espectro particionado em um quadro de espectro completo para emissão posterior poderia ser tão simples quanto misturar os valores detectados para cada pixel na matriz em algumas modalidades. Adicionalmente, a blenda e a mistura de valores podem ser médias simples ou podem ser ajustadas em uma tabela de consulta (LUT - "lookup table") predeterminada de valores para emissões desejadas. Em uma modalidade de um sistema usando espectros de luz particionada, os valores detectados podem ser pós- processados ou adicionalmente refinados remotamente a partir do sensor por uma imagem ou processador secundário, e sendo pouco antes enviado para uma tela.
[0137] A Figura 13 ilustra um exemplo básico em 1300 de um ISP monocromático e como uma cadeia de ISP pode ser montada para fins de geração de sequências de imagem sRGB a partir de dados brutos do sensor gerados na presença do esquema de pulsação de luz G-R- G-B.
[0138] O primeiro estágio se refere à realização de correções (vide 1302, 1304 e 1306 na Figura 13) para levar em consideração quaisquer não idealidades na tecnologia de sensor para as quais é mais apropriado trabalhar no domínio de dados brutos (vide a Figura 21).
[0139] No próximo estágio, dois quadros (vide 1308 e 1310 na Figura 13) seriam armazenados temporariamente uma vez que cada quadro final deriva dados de três quadros brutos. A reconstrução do quadro em 1314 continuaria por dados de amostragem do quadro atual e dos dois quadros armazenados temporariamente (1308 e/ou 1310). O processo de reconstrução resulta em quadros de cores completas em espaço de cor RGB linear.
[0140] Nesse exemplo, os coeficientes de equilíbrio de branco em 1318 e a matriz de correção de cor em 1320 são aplicados antes da conversão em espaço YCbCr em 1322 para subsequente intensificação de borda em 1324. Após a intensificação de borda em 1324, as imagens são transformadas de volta em RGB linear em 1326 para alteração de escala em 1328, se aplicável.
[0141] Por fim, a função de transferência gama em 1330 seria aplicada para transladar os dados para o domínio sRGB em 1332.
[0142] A Figura 14 é um exemplo de modalidade de hardware de fusão de cores. O hardware de fusão de cores recebe um fluxo de dados de vídeo RGBGRGBGRGBG em 1402 e o converte em um fluxo de dados de vídeo RGB paralelo em 1405. A largura de bit no lado de entrada pode ser, por exemplo, de 12 bits por cor. A largura de saída para esse exemplo seria de 36 bits por pixel. Outras modalidades podem ter diferentes larguras de bit iniciais e 3 vezes esse número para a largura de saída. O bloco escritor de memória assume como sua entrada a transmissão de vídeo RGBG em 1402 e escreve cada quadro em seu buffer de memória de quadro correta em 1404 (o escritor de memória dispara o mesmo gerador de pulso 1410 que executa a fonte de luz laser). Como ilustrado em 1404, a escrita da memória segue o padrão, Vermelho, Verde 1, Azul, Verde 2, e então reinicia com Vermelho novamente. Em 1406, o leitor de memória lê três quadros de uma vez para construir um pixel RGB. Cada pixel tem três vezes a largura de bit de um componente de cor individual. O leitor também dispara o gerador de pulso de laser em 1410. O leitor espera até que os quadros Vermelho, Verde 1 e Azul tenham sido escritos, então passa a lê-los em paralelo enquanto o escritor continua a escrever Verde 2 e reinicia em Vermelho. Quando o Vermelho termina, o leitor começa a ler a partir do Azul, Verde 2 e Vermelho. Esse padrão continua indefinidamente.
[0143] Agora com referência às Figuras 15 e 16, a reconstrução padrão RG1BG2RG1BG2 ilustrada na Figura 16 permite a saída de 60 fps com entrada de 120 fps em uma modalidade. Cada quadro consecutivo contém tanto um componente vermelho quanto um azul do quadro anterior. Na Figura 16, cada componente de cor está disponível em 8,3 ms e o quadro reconstruído resultante tem um período de 16,67 ms. De modo geral, para esse esquema de pulsação, o quadro reconstruído tem um período de duas vezes aquele do quadro colorido de entrada como mostrado na Figura 15. Em outras modalidades, diferentes esquemas de pulsação podem ser empregados. Por exemplo, as modalidades podem ser baseadas no tempo de cada componente de cor ou quadro (T1) e em que o quadro reconstruído tem um período de duas vezes aquele do quadro de cor de entrada (2 x T1). Diferentes quadros dentro da sequência podem ter diferentes períodos de quadro e a taxa média de captura poderia ser qualquer múltiplo da taxa de quadro final.
[0144] As Figuras 17 a 20 ilustram métodos de correção de cor e esquemas de hardware para uso com um sistema de luz particionada. É comum no imageamento digital manipular os valores dentro dos dados de imagem para corrigir a saída a fim de atender às expectativas do usuário ou destacar determinados aspectos do objeto imageado. Isso é mais comumente realizado em imagens de satélite que são sintonizadas e ajustadas para enfatizar um tipo de dados em relação a outro. Mais frequentemente, em dados adquiridos por satélite há o espectro completo de energia eletromagnética disponível, uma vez que a fonte de luz não é controlada, ou seja, o sol é a fonte de luz. Em contraste, há condições de imageamento em que a luz é controlada e ainda fornecida por um usuário. Nessas situações, a calibração de dados de imagem ainda é desejável, pois sem calibração pode ser dada a indevida ênfase a determinados dados em relação a outros dados. Em um sistema em que a luz é controlada pelo usuário, é vantajoso fornecer emissões de luz que são conhecidas do usuário e que podem ser somente uma porção do espectro eletromagnético ou uma pluralidade de porções do espectro eletromagnético completo. A calibração continua sendo importante para atender às expectativas dos usuários e verificar falhas dentro do sistema. Um método de calibração pode ser uma tabela de valores esperados para uma determinada condição de imageamento que podem ser comparados com os dados do sensor. Uma modalidade pode incluir uma cena de cor neutra tendo valores conhecidos que devem ser enviados pelo dispositivo de imageamento e o dispositivo pode ser ajustado para atender a esses valores conhecidos quando o dispositivo amostra a cena de cor neutra.
[0145] Em uso, e ao ser iniciado, o sistema pode amostrar uma cena de cor neutra em 1710 (como ilustrado na Figura 17) ao executar um ciclo completo de uma pluralidade de partições de espectro eletromagnético em 1702. Uma tabela de valores 1708 pode ser formada para produzir um histograma para o quadro em 1704. Os valores do quadro podem ser comparados com os valores conhecidos ou esperados da cena de cor neutra em 1706. O dispositivo de imageamento pode ser então ajustado para atender a emissão desejada em 1712. Em uma modalidade ilustrada na Figura 17, o sistema pode compreender um processador de sinal de imagem (ISP - "image signal processor") que pode ser ajustado para corrigir a cor do dispositivo de imageamento.
[0146] Deve ser observado que como cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Por exemplo, em uma modalidade, uma vez que o espectro de luz azul tem uma menor eficiência quântica do que o espectro de luz vermelha em relação aos imageadores baseados em silício, a responsividade do sensor pode ser então ajustada para ficar menos responsiva durante o ciclo vermelho e mais responsiva durante o ciclo azul. Por outro lado, o emissor pode emitir luz azul em uma maior intensidade, devido à menor eficiência quântica da luz azul, do que luz vermelha para produzir uma imagem corretamente exposta.
[0147] Em uma modalidade ilustrada na Figura 18, sendo que a emissões de fonte de luz são fornecidas e controláveis pelo sistema, o ajuste dessas emissões de luz pode ser feito para corrigir a cor de uma imagem em 1800. Os ajustes podem ser feitos em qualquer aspecto da luz emitida, por exemplo, magnitude, duração (ou seja, tempo que permanece ligada) ou a faixa dentro da partição do espectro. Adicionalmente, tanto o emissor quanto o sensor podem ser ajustados simultaneamente em algumas modalidades como mostrado na Figura 19.
[0148] Para reduzir a quantidade de ruído e artefatos dentro do fluxo ou vídeo de imagem enviada, ajustes fracionados podem ser realizados no sensor ou emissor dentro do sistema como pode ser visto na Figura 20. É ilustrado na Figura 20 um sistema 2000 em que tanto o emissor 2006 quanto o sensor 2008 podem ser ajustados, porém um dispositivo de imageamento em que o emissor ou o sensor é ajustado durante o uso ou durante uma parte do uso é também contemplado e está no escopo da presente divulgação. Pode ser vantajoso ajustar somente o emissor durante uma parte do uso e ajustar somente o sensor durante uma outra porção do uso, enquanto adicionalmente ainda se ajusta ambos simultaneamente durante uma parte do uso. Em quaisquer das modalidades acima, uma qualidade de imagem aprimorada pode ser obtida limitando-se os ajustes gerais que o sistema pode realizar entre ciclos de quadro. Em outras palavras, uma modalidade pode ser limitada, de modo que o emissor possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. De modo semelhante, o sensor pode ser limitado, de modo que possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. Além disso, tanto o emissor quanto o sensor podem ser limitados, de modo que possa ser somente ajustados juntos em uma fração de suas respectivas faixas operacionais em qualquer momento entre os quadros em uma modalidade.
[0149] Em uma modalidade exemplificadora, um ajuste fracionado dos componentes dentro do sistema pode ser realizado, por exemplo, em cerca de 0,1 dB da faixa operacional dos componentes para corrigir a exposição do quadro anterior. O valor de 0,1 dB é meramente um exemplo e deve ser observado que, em outras modalidades, o ajuste permitido dos componentes pode ser qualquer porção de suas respectivas faixas operacionais. Os componentes do sistema podem ser alterados pelo ajuste de intensidade ou duração que é, de modo geral, regido pelo número de bits (resolução) enviados pelo componente. A resolução do componente pode estar tipicamente entre uma faixa de cerca de 10 a 24 bits, porém não deve ser limitada a essa faixa já que deve incluir resoluções para componentes que ainda devem ser desenvolvidas, além daquelas que estão atualmente disponíveis. Por exemplo, após um primeiro quadro, é determinado que a cena é muito azul quando observada, então o emissor pode ser ajustado para reduzir a magnitude ou a duração do pulso da luz azul durante o ciclo azul do sistema por meio de um ajuste fracionado conforme discutido acima, por exemplo, cerca de 0,1 dB.
[0150] Nessa modalidade exemplificadora, mais que 10 por cento pode ter sido necessário, porém o sistema se limitou ao ajuste de 0,1 dB da faixa operacional por ciclo do sistema. Consequentemente, durante o próximo ciclo de sistema, a luz azul pode ser então ajustada novamente, se necessário. O ajuste fracionado entre ciclos pode ter um efeito de abafamento das imagens emitidas e reduzirá o ruído e artefatos ao operar os emissores e sensores em suas operações extremas. Pode ser determinado que qualquer quantidade fracionada da faixa operacional de ajuste dos componentes pode ser usada como um fator limitador, ou pode ser determinado que certas modalidades do sistema podem compreender componentes que podem ser ajustados ao longo de toda a sua faixa operacional.
[0151] Adicionalmente, a área óptica negra de qualquer sensor de imagem pode ser usada para auxiliar na correção da imagem e na redução de ruído. Em uma modalidade, os valores lidos a partir da área óptica negra podem ser comparados com aqueles da região de pixel ativo de um sensor para estabelecer um ponto de referência a ser usado no processamento de dados de imagem. A Figura 21 mostra o tipo de processos de correção de sensor que podem ser empregados em um sistema pulsado de cor. Os sensores de imagem CMOS têm tipicamente múltiplas não idealidades que têm um efeito prejudicial sobre a qualidade da imagem, particularmente em baixa luz. Os principais dentre eles são o ruído de padrão fixo e o ruído de linha. O ruído de padrão fixo é uma dispersão nos deslocamentos desses elementos de detecção. Tipicamente, a maioria dos FPN é uma dispersão de pixel para pixel que se origina, entre outras fontes, de variações aleatórias em corrente escura de fotodiodo para fotodiodo. Isso parece bastante anormal para o observador. Ainda mais notável é a coluna FPN, que resulta de deslocamentos na cadeia de leitura associada a colunas de pixels em particular. Isso resulta em faixas verticais perceptíveis dentro da imagem.
[0152] Ter o controle total da iluminação tem o benefício de que todos os quadros de dados negros podem ser periodicamente adquiridos e usados para corrigir os deslocamentos de pixel e coluna. No exemplo ilustrado, uma memória temporária de quadro único pode ser usada para obter uma média móvel de todo o quadro sem o uso de luz, por exemplo, suavização exponencial simples. Esse quadro médio negro seria subtraído de cada quadro iluminado durante a operação regular.
[0153] Linha-Ruído é uma variação temporal estocástica nos deslocamentos de pixels dentro de cada fileira. Por ser temporal, a correção deve ser computada novamente para cada linha e cada quadro. Para essa finalidade, existem geralmente muitos pixels opticamente cegos (OB - "optically blind") dentro de cada fileira na matriz, que deve ser primeiro amostrado para avaliar o deslocamento de linha antes da amostragem dos pixels sensíveis à luz. O deslocamento de linha é, então, simplesmente subtraído durante o processo de correção de ruído de linha.
[0154] No exemplo da Figura 21, há outras correções relacionadas à obtenção dos dados na ordem adequada, monitorando e controlando o deslocamento de tensão no domínio analógico (clamp negro) e identificando/corrigindo pixels defeituoso individuais.
[0155] As Figuras 22 e 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fechado ou com luz limitada. Em uma modalidade, entradas de exposição podem ser introduzidas em diferentes níveis ao longo do tempo e se combinar para produzir maior faixa dinâmica. Como pode ser visto na Figura 22, um sistema de imageamento pode passar pelo ciclo em uma primeira intensidade para um primeiro ciclo em 2202 e, então, subsequentemente passar pelo ciclo em uma segunda intensidade para um segundo ciclo em 2204 e, então, combinando esses primeiro e segundo ciclos em um único quadro em 2206, de modo que uma maior faixa dinâmica possa ser alcançada. A maior faixa dinâmica pode ser especialmente desejável devido ao espaço ambiente limitado no qual um dispositivo de imageamento é usado. Em ambientes de espaço limitado que são deficientes de luz ou escuros, exceto pela luz fornecida pela fonte de luz, e onde a fonte de luz fica próxima do emissor de luz, a exposição tem uma relação exponencial com a distância. Por exemplo, objetos próximos da fonte de luz e a abertura óptica do dispositivo de imageamento tendem a ser superexpostos, ao passo que objetos mais distantes tendem a ser extremamente subexpostos, pois há pouquíssima luz ambiente presente (se houver).
[0156] Como pode ser visto na Figura 23, os ciclos de um sistema tendo emissões de energia eletromagnética em uma pluralidade de partições podem passar pelo ciclo em série de acordo com as partições do espectro eletromagnético em 2300. Por exemplo, em uma modalidade em que o emissor emite lasers em uma partição vermelha distinta, em uma partição azul distinta e em uma partição verde distinta, os dois conjuntos de dados em ciclo que serão combinados podem estar na forma de: i. vermelho na intensidade um em 2302, ii. vermelho na intensidade dois em 2304, iii. azul na intensidade um em 2302, iv. azul na intensidade dois em 2304, v. verde na intensidade um em 2302, vi. verde na intensidade dois em 2304.
[0157] Alternativamente, o sistema pode passar pelo ciclo na forma de: i. vermelho na intensidade um em 2302, ii. azul na intensidade um em 2302, iii. verde na intensidade um em 2302, iv. vermelho na intensidade dois em 2304, v. azul na intensidade dois em 2304, vi. verde na intensidade dois em 2304.
[0158] Nessa modalidade, uma primeira imagem pode ser derivada dos valores da intensidade um, e uma segunda imagem pode ser derivada dos valores da intensidade dois e, então, combinadas ou processadas como conjuntos completos de dados de imagem em 2310 em vez de suas partes componentes.
[0159] É contemplado como dentro do escopo da presente divulgação que qualquer número de partições de emissão pode ser usado em qualquer ordem. Conforme visto na Figura 23, "n" é usado como uma variável para denotar qualquer número de partições eletromagnéticas e "m" é usado para denotar qualquer nível de intensidade para das partições "n". Esse sistema pode passar pelo ciclo na forma de: i. n na intensidade m em 2306, ii. n+1 na intensidade m+1, iii. n+2 na intensidade m+2, iv. n+i na intensidade m+j em 2308.
[0160] Consequentemente, qualquer padrão de ciclos em série pode ser usado para produzir a correção de imagem desejada, sendo que "i" e "j" são valores adicionais dentro da faixa de operação do sistema de imageamento.
[0161] Câmeras digitais coloridas incorporam um estágio de processamento de imagem com a finalidade de aumentar a fidelidade da reprodução de cor. Isso é realizado por meio de uma matriz de 3 x 3 conhecida como Matriz de Correção de Cor (CCM - "Color Correction Matrix"):
[0162] Os termos na CCM são ajustados usando-se um conjunto de cores de referência (por exemplo, de um gráfico Macbeth) para fornecer a melhor correspondência total com o espaço de cor padrão sRGB. Os termos diagonais, a, e e i, são efetivamente ganhos de equilíbrio de branco. Tipicamente, no entanto, o equilíbrio de branco é aplicado separadamente, e as somas de fileiras horizontais são restringidas pela unidade, para que nenhum ganho líquido seja aplicado pelo próprio CCM. Os termos fora da diagonal lidam eficientemente com interferência de cor nos canais de entrada. Portanto, os sensores Bayer possuem maiores termos fora da diagonal do que câmeras com 3 circuitos integrados, uma vez que as matrizes de filtro de cor possuem bastante sobreposição de resposta entre canais.
[0163] Há uma penalidade de razão sinal/ruído para correção de cor que depende da magnitude dos termos fora da diagonal. Um sensor hipotético com canais que correspondem perfeitamente aos componentes sRGB teriam a matriz de identidade CCM:
[0164] A razão sinal/ruído avaliada no canal verde para um sinal de foto branco perfeito de 10.000 e- por pixel (desprezando o ruído de leitura) para esse caso seria:
[0165] Qualquer desvio disso degrada a SNR. Toma-se, por exemplo, a seguinte CCM que possui valores que não seriam incomuns para um sensor CMOS Bayer:
[0166] Nesse caso, a SNR verde:
[0167] A Figura 24 mostra o resultado de uma simulação de SNR total usando iluminação D65 para um típico sensor CCM Bayer para o caso de uso da matriz de identidade versus a CCM ajustada. A SNR avaliada para o componente de luminância é cerca de 6dB pior como consequência da correção de cor.
[0168] O sistema descrito na presente divulgação utiliza iluminação monocromática em uma pluralidade de comprimentos de onda discretos, portanto não há interferência de cor per se. As cruzes na Figura 25 indicam as posições de três comprimentos de onda que estão disponíveis por meio de fontes de diodo a laser (465, 532 e 639 nm), comparado com a gama sRGB que é indicada pelo triângulo.
[0169] Os termos fora da diagonal para a CCM são, nesse caso, drasticamente reduzidos em comparação com sensores Bayer que fornecem uma significativa vantagem SNR.
[0170] A Figura 26 ilustra um sistema de imageamento tendo maior faixa dinâmica conforme fornecida pela configuração de pixel da matriz de pixel do sensor de imagem. Como pode ser visto na Figura, os pixels adjacentes 2602 e 2604 podem ser configurados em diferentes sensibilidades, de modo que cada ciclo inclua dados produzidos por pixels que são mais e menos sensíveis um em relação ao outro. Como uma pluralidade de sensibilidades pode ser gravada em um único ciclo da matriz, a faixa dinâmica pode ser maior se gravada em paralelo, ao contrário da natureza em série dependente do tempo de outras modalidades.
[0171] Em uma modalidade, uma matriz pode compreender fileiras de pixels que podem ser colocados em fileiras com base em suas sensibilidades. Em uma modalidade, os pixels de diferentes sensibilidades podem alternar dentro de uma fileira ou coluna em relação aos seus pixels vizinhos mais próximos para formar um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz com base nessas sensibilidades. O descrito acima pode ser realizado através de qualquer disposição de compartilhamento de circuito de pixel ou em qualquer disposição de circuito de pixel independente.
[0172] Uma ampla faixa dinâmica pode ser obtida tendo-se múltiplos TX global, cada TX disparando somente em um diferente conjunto de pixels. Por exemplo, em modo global, um sinal TX global 1 está disparando um conjunto 1 de pixels, um sinal TX global 2 está disparando um conjunto 2 de pixels…. um sinal TX global n está disparando um conjunto n de pixels.
[0173] Com base na Figura 11, a Figura 27A mostra um exemplo de temporização para 2 diferentes sensibilidades de pixel (sensibilidade de pixel duplo) na matriz de pixel. Nesse caso, o sinal TX global 1 dispara metade dos pixels da matriz e o TX global 2 dispara a outra metade dos pixels. Uma vez que TX global 1 e TX global 2 possuem diferentes posições de borda "ligado" para "desligado", a luz integrada é diferente entre os pixels TX1 e os pixels TX2. A Figura 27B mostra uma modalidade diferente da temporização para sensibilidade de pixel duplo. Nesse caso, o pulso de luz é modulado duas vezes (duração e/ou amplitude do pulso). Os pixels TX1 integram o pulso P1 e os pixels TX2 integram os pulsos P1+P2. A separação dos sinais de TX global pode ser realizada de diversas maneiras. Seguem exemplos: i. Diferenciação de linhas TX de cada fileira; e ii. Envio de múltiplas linhas TX por fileira, cada uma endereçada a um conjunto diferente de pixels.
[0174] Em uma implementação, é descrito um meio para fornecer vídeo de ampla faixa dinâmica, o qual explora o sistema de pulsação de cor descrito na presente divulgação. A base disso é ter múltiplos flavors ("sabores") de pixels, ou pixels que podem ser ajustados de maneira diferente, dentro da mesma matriz monocromática que são capazes de integrar a luz incidente para diferentes durações dentro do mesmo quadro. Um exemplo da disposição de pixel na matriz desse sensor seria um padrão uniforme de tabuleiro de xadrez como um todo, com dois tempos de integração independentemente variáveis. Para esse caso, é possível fornecer informação tanto vermelha quanto azul dentro do mesmo quadro. De fato, é possível fazer isso ao mesmo tempo ao ampliar a faixa dinâmica para o quadro verde, onde é mais necessária, uma vez que os dois tempos de integração podem ser ajustados quadro a quadro. O benefício é que os artefatos de movimentação de cor são um problema menor se todos os dados forem derivados de dois quadros em relação a três quadros. Há evidentemente uma perda subsequente de resolução espacial dos dados do vermelho e azul, mas que é de menor consequência para a qualidade da imagem em comparação com dados do verde, uma vez que o componente de luminância é dominado pelos dados do verde.
[0175] Uma propriedade inerente da matriz monocromática de ampla faixa dinâmica (WDR - "wide-dynamic range") é que os pixels que possuem o longo tempo de integração devem integrar um superconjunto da luz vista pelos pixels de curto tempo de integração. Para a operação regular da ampla faixa dinâmica nos quadros verdes, que é desejável. Para os quadros vermelho e azul, isso significa que a pulsação deve ser controlada em conjunto com os períodos de exposição para, por exemplo, fornecer luz azul desde o início da longa exposição e trocar para o vermelho no ponto em que os pixels de curta exposição são ligados (ambos os tipos de pixel possuem suas cargas transferidas ao mesmo tempo).
[0176] No estágio de fusão de cor, os dois flavors ("sabores") de pixels são separados em duas memórias temporárias. Os pixels vazios são, então, preenchidos ao utilizar, por exemplo, interpolação linear. Nesse ponto, uma memória temporária contém uma imagem completa de dados do azul e a outra do vermelho+azul. A memória temporária azul pode ser subtraída da segunda memória temporária para fornecer dados vermelhos puros.
[0177] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada, ou mantida constante, com um sensor de cor correspondente. Como pode ser visto na Figura 28A, um emissor de luz branca pode ser configurado para emitir um feixe de luz durante o período de supressão de um sensor correspondente para fornecer uma fonte de luz controlada em um ambiente de luz controlada. A fonte de luz pode emitir um feixe em uma magnitude constante e variar a duração do pulso conforme visto na Figura 28A, ou pode manter o pulso constante com variação da magnitude para obter dados corretamente expostos como ilustrado na Figura 28B. É ilustrada na Figura 28C uma representação gráfica de uma fonte de luz constante que pode ser modulada com corrente variável que é controlada por e sincronizada com um sensor.
[0178] Em uma modalidade, luz branca ou luz de múltiplo espectro pode ser emitida como um pulso, se desejado, para fornecer dados para uso dentro do sistema (mais bem ilustrado nas Figuras 28A a 28C). As emissões de luz branca, em combinação com partições do espectro eletromagnético, podem ser úteis para enfatizar e desenfatizar determinados aspectos dentro de uma cena. Essa modalidade deve utilizar um padrão de pulsação de:
i. Pulso verde; ii. Pulso vermelho; iii. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso de luz branca (múltiplos espectros); viii. (Repetir)
[0179] Qualquer sistema que utiliza um ciclo de sensor de imagem que é ao menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da divulgação. Será reconhecido que qualquer combinação de partições do espectro eletromagnético é contemplada na presente invenção, seja do espectro visível ou do não visível do espectro eletromagnético completo.
[0180] As Figuras 29A e 29B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor monolítico 2900 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional de acordo com os ensinamentos e princípios da divulgação. Essa implementação pode ser desejável para a captura de imagem tridimensional, sendo que as duas matrizes de pixel 2902 e 2904 podem ser deslocadas durante o uso. Em uma outra implementação, uma primeira matriz de pixel 2902 e uma segunda matriz de pixel 2904 pode ser dedicada a receber uma faixa predeterminada de comprimentos de onda de radiação eletromagnética, sendo que a primeira matriz de pixel é dedicada a uma faixa diferente de comprimento de onda de radiação eletromagnética em relação à segunda matriz de pixel.
[0181] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor de imageamento 3000 construído sobre uma pluralidade de substratos.
Como ilustrado, uma pluralidade de colunas de pixel 3004 que forma a matriz de pixel está localizada no primeiro substrato 3002 e uma pluralidade de colunas de circuito 3008 está localizada em um segundo substrato 3006. São também ilustradas na Figura a conexão elétrica e a comunicação entre uma coluna de pixels e sua coluna associada ou correspondente de circuito.
Em uma implementação, um sensor de imagem, que pode ser de outra forma fabricado com sua matriz de pixel e circuitos de suporte em um único substrato/circuito integrado monolítico, pode ter a matriz de pixel separada de todos ou da maioria dos circuitos de suporte.
A divulgação pode utilizar ao menos dois substratos/circuitos integrados, os quais serão empilhados usando-se tecnologia de empilhamento tridimensional.
O primeiro 3002 dos dois substratos/circuitos integrados pode ser processado usando-se um processo de imagem CMOS.
O primeiro substrato/circuito integrado 3002 pode ser compreendido tanto de uma matriz de pixel exclusivamente ou de uma matriz de pixel circundada por circuitos limitados.
O segundo ou subsequente substrato/circuito integrado 3006 pode ser processado usando-se qualquer processo e não precisa ser de um processo de imagem CMOS.
O segundo substrato/circuito integrado 3006 pode ser, porém não está limitado a, um processo digital altamente denso para integrar uma variedade e número de funções em um espaço ou área muito limitado no substrato/circuito integrado, ou um processo de modo misto ou analógico para integrar, por exemplo, funções analógicas precisas, ou um processo de RF para implementar capacidade sem fio, ou MEMS ("Micro-Electro-Mechanical Systems" - Sistemas Micro-Eletro- Mecânicos) para integrar dispositivos MEMS.
O substrato/circuito integrado de imagem CMOS 3002 pode ser empilhado com o segundo ou subsequente substrato/circuito integrado 3006 com o uso de qualquer técnica tridimensional.
O segundo substrato/circuito integrado 3006 pode suportar grande parte ou a maioria dos circuitos que de outra forma teriam sido implementados no primeiro circuito integrado de imagem CMOS 3002 (se implementados em um substrato/circuito integrado monolítico) como circuitos periféricos e, portanto, aumentaram a área total do sistema enquanto se mantém o tamanho da matriz de pixel constante e otimizado ao máximo possível. A conexão elétrica entre os dois substratos/circuitos integrados pode ser realizada através de interconexões 3003 e 3005 que podem ser ligações por fio, bump e/ou TSV (Through Silicon Via).
[0182] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor de imageamento 3100 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional. O sensor de imagem tridimensional pode ser construído sobre uma pluralidade de substratos e pode compreender a pluralidade de matrizes de pixel e outros circuitos associados, sendo que uma pluralidade de colunas de pixel 3104a que formam a primeira matriz de pixel e uma pluralidade de colunas de pixel 3104b que formam uma segunda matriz de pixel estão localizadas em respectivos substratos 3102a e 3102b, respectivamente, e uma pluralidade de colunas de circuito 3108a e 3108b está localizada em um substrato separado 3106. São também ilustradas as conexões elétricas e as comunicações entre colunas de pixels para a coluna de circuito associada ou correspondente.
[0183] Será reconhecido que os ensinamentos e princípios da divulgação podem ser usados em uma plataforma de dispositivo reutilizável, uma plataforma de dispositivo de uso limitado, uma plataforma de dispositivo limitado a um número específico de usos, ou uma plataforma de dispositivo de uso único/descartável sem que se afaste do escopo da divulgação. Será reconhecido que em uma plataforma de dispositivo reutilizável um usuário final é responsável pela limpeza e esterilização do dispositivo. Em uma plataforma de dispositivo de uso limitado, o dispositivo pode ser usado por algumas quantidades especificadas de vezes antes de se tornar inoperante. Um típico dispositivo novo é entregue estéril, sendo que usos adicionais exigem que o usuário final o limpe e esterilize antes do uso adicional. Em uma plataforma de dispositivo limitado a um número específico de usos, um terceiro pode reprocessar (por exemplo, limpar, embalar e esterilizar) um dispositivo de uso único para usos adicionais a um custo menor do que uma unidade nova. Em uma plataforma de dispositivo de uso único/descartável, um dispositivo é fornecido estéril à sala de cirurgia e usado somente uma vez antes de ser descartado.
[0184] Uma modalidade de um emissor pode empregar um obturador mecânico e filtros para criar luz de cor pulsada. É ilustrado na Figura 32 um método alternativo para produzir luz de cor pulsada com o uso de uma fonte de luz branca e um filtro mecânico de cor e um sistema de obturador 3200. A roda poderia conter um padrão de janelas de filtro de cor translúcida e seções opacas para obturação. As seções opacas não permitiriam a entrada de luz e criaria um período de escuridão no qual poderia ocorrer a leitura do sensor. A fonte de luz branca poderia ser baseada em qualquer tecnologia: laser, LED, xenônio, halogênio, haleto metálico, ou outra. A luz branca pode ser projetada através de uma série de filtros de cor 3207, 3209 e 3211 do padrão desejado de pulsos de luz colorida. Uma modalidade padrão poderia ser filtro Vermelho 3207, filtro Verde 3209, filtro Azul 3211, filtro Verde 3209. Os filtros e o sistema de obturador 3200 poderiam ser dispostos em uma roda que gira na frequência exigida para ficar em sincronia com o sensor, de modo o conhecimento do comprimento do arco e da taxa de rotação dos filtros mecânicos de cor 3207, 3209 e 3211 e do sistema de obturadores 3205 forneceria informação de temporização para a operação de um sensor de imagem monocromática correspondente.
[0185] Ilustrada na Figura 33, uma modalidade pode compreender um padrão somente de filtros de cor translúcida 3307, 3309 e 3311 em uma roda de filtro 3300. Na presente configuração, pode ser usado um obturador diferente. O obturador poderia ser mecânico e poderia ajustar dinamicamente a duração do "pulso" variando-se o tamanho. Alternativamente, o obturador poderia ser eletrônico e incorporado no projeto do sensor. Um motor que gira a roda do filtro 3300 precisará se comunicar com ou ser controlado em conjunto com o sensor, de modo que o conhecimento do comprimento do arco e da taxa de rotação do sistema de filtros mecânicos de cor 3307, 3309 e 3311 forneça informações de temporização para a operação do sensor de imagem monocromática correspondente. O sistema de controle precisará saber o filtro de cor adequado para cada quadro capturado pelo sensor, de modo que a imagem colorida completa possa ser reconstruída adequadamente no ISP. Um padrão de cor de RGBG é mostrado, porém outras cores e/ou padrões poderiam ser usados se for vantajoso. O tamanho relativo das seções de cor é mostrado como sendo igual, mas poderia ser ajustado se for vantajoso. A estrutura mecânica do filtro é mostrada como um círculo que se movimenta rotacionalmente, mas que poderia ser retangular com um movimento linear, ou um formato diferente com um padrão de movimento diferente.
[0186] Como ilustrado na Figura 34, uma modalidade para pulsar luz colorida pode consistir em uma roda mecânica ou cilindro que contém os componentes eletrônicos e dissipadores de calor para LEDS Vermelhos, Verdes, Azuis ou Brancos. Os LEDs ficariam espaçados na distância que estaria relacionada à taxa de giro ou torção do cilindro ou roda para permitir a temporização de pulsação de luz consistente com outras modalidades na patente. A roda ou cilindro seria girada com o uso de um motor elétrico e uma braçadeira mecânica que fixa a roda ou cilindro ao motor elétrico. O motor seria controlado usando-se um microcontrolador, FPGA, DSP, ou outro dispositivo programável que conteria um algoritmo de controle para a temporização adequada conforme descrito na patente. Haveria uma abertura mecânica em um lado que seria opticamente acoplada a uma fibra óptica para transportar a fibra para o final dos escopos com os métodos descritos na patente. Esse acoplamento também poderia ter uma abertura mecânica que poderia abrir e fechar para controlar a quantidade de luz permitida através do cabo de fibra óptica. Esse seria um dispositivo de obturador mecânico que alternativamente poderia usar o obturador eletrônico que é projetado no sensor do tipo CMOS ou CCD. Seria difícil controlar e calibrar esse dispositivo em produção, mas seria uma outra forma de se obter luz pulsada dentro de nosso sistema.
[0187] É ilustrada na Figura 35 uma modalidade de um emissor 3502 que compreende um filtro linear 3504 e um mecanismo de obturador para fornecer radiação eletromagnética pulsada. O filtro linear 3504 e o mecanismo de obturador sem movimentam horizontalmente em uma frequência exigida para filtrar os comprimentos de onda de luz apropriados.
[0188] É ilustrada na Figura 36 uma modalidade de um emissor 3602 que compreende um filtro de prisma 3604 e um mecanismo de obturador para fornecer radiação eletromagnética pulsada. O filtro de prisma 3604 filtra luz e libera uma emissão que pode incluir um obturador. O filtro de prisma 3604 se movimenta em uma frequência exigida para fornecer um padrão de emissão de cor correta.
[0189] Adicionalmente, os ensinamentos e princípios da divulgação podem incluir todos e quaisquer comprimentos de onda de energia eletromagnética, incluindo os espectros visível e não visível, como infravermelho (IV), ultravioleta (UV) e raios X.
[0190] A Figura 37 é um diagrama esquemático que ilustra um sistema 3700 para fornecer iluminação a um ambiente deficiente de luz, como para imageamento endoscópico. O sistema 3700 pode ser usado em combinação com quaisquer dos sistemas, métodos ou dispositivos divulgados na presente invenção. O sistema 3700 inclui uma fonte de luz 3702, um controlador 3704, um guia de onda de ponte 3706, um conector de guia de onda 3708, um guia de onda de lúmen 3710, um lúmen 3712 e um sensor de imagem 3714 com componentes ópticos anexos (por exemplo, uma lente). A fonte de luz 3702 gera luz que se desloca através do guia de onda de ponte 3706 e do guia de onda de lúmen 3710 para iluminar uma cena em uma extremidade distal do lúmen 3712. A fonte de luz 3700 pode ser usada para emitir qualquer comprimento de onda de energia eletromagnética incluindo comprimentos de onda visíveis, infravermelho, ultravioleta ou outros comprimentos de onda. O lúmen 3712 pode ser inserido no corpo de um paciente para imageamento, como durante um procedimento ou exame. A luz é fornecida como ilustrado pelas linhas tracejadas 3716. Uma cena iluminada pela luz pode ser capturada com o uso do sensor de imagem 3714 e exibida para um médico ou outra equipe médica. O controlador 3704 pode fornecer sinais de controle à fonte de luz 3702 para controlar quando a iluminação é fornecida a uma cena. Em uma modalidade, a fonte de luz 3702 e o controlador 3704 estão localizados dentro de uma unidade de controle de câmera (CCU - "camera control unit") ou console externo ao qual um endoscópio é conectado. Se o sensor de imagem 3714 incluir um sensor CMOS, a luz pode ser periodicamente fornecida para a cena em uma série de pulsos de iluminação entre os períodos de leitura do sensor de imagem 3714 durante o que é conhecido como um período de supressão. Dessa forma, a luz pode ser pulsada de maneira controlada para evitar a sobreposição em períodos de leitura dos pixels de imagem em uma matriz de pixel do sensor de imagem 3714.
[0191] Em uma modalidade, o guia de onda de lúmen 3710 inclui uma ou uma pluralidade de fibras ópticas. As fibras ópticas podem ser produzidas a partir de um material de baixo custo, como plástico, para permitir o descarte do guia de onda de lúmen 3710 e/ou de outras porções de um endoscópio. Em uma modalidade, uma fibra de vidro simples tendo um diâmetro de 500 mícrons pode ser usada. O guia de onda de ponte 3706 pode ser fixado de modo permanente à fonte de luz
3702. Por exemplo, um guia de onda de ponte 3706 pode receber luz de um emissor dentro da fonte de luz 3702 e fornecer essa luz para o guia de onda de lúmen 3710 no local do conector 3708. Em uma modalidade, o guia de onda de ponte 106 pode incluir uma ou mais fibras de vidro. O guia de onda de ponte pode incluir qualquer outro tipo de guia de onda para guiar a luz para o guia de onda de lúmen 3710. O conector 3708 pode acoplar seletivamente o guia de onda de ponte 3706 ao guia de onda de lúmen 3710 e permitir que a luz dentro do guia de onda de ponte 3706 passe para o guia de onda de lúmen 3710. Em uma modalidade, o guia de onda de lúmen 3710 pode ser acoplado diretamente a uma fonte de luz sem qualquer guia de onda de ponte interveniente 3706.
[0192] As Figuras 38 a 40 são diagrama de blocos esquemáticos que ilustram uma fonte de luz 3800 que tem uma pluralidade de emissores. Em relação à Figura 38, os emissores incluem um primeiro emissor 3802, um segundo emissor 3804 e um terceiro emissor 3806. Emissores adicionais podem ser incluídos, conforme discutido adicionalmente abaixo. Os emissores 3802, 3804 e 3806 podem incluir um ou mais emissores de laser que emitem luz com diferentes comprimentos de onda. Por exemplo, o primeiro emissor 3802 pode emitir um comprimento de onda que é consistente com um laser azul, o segundo emissor 3804 pode emitir um comprimento de onda que é consistente com um laser verde e o terceiro emissor 3806 pode emitir um comprimento de onda que é consistente com um laser vermelho. Por exemplo, o primeiro emissor 3802 pode incluir um ou mais lasers azuis, o segundo emissor 3804 pode incluir um ou mais lasers verdes e o terceiro emissor 3806 pode incluir um ou mais lasers vermelhos. Os emissores 3802, 3804 e 3806 emitem feixes de laser em direção a uma região de coleta 3808, que pode ser o local de um guia de onda, lente ou outro componente óptico para coletar e/ou fornecer luz a um guia de onda, como o guia de onda de ponte 3706 ou guia de onda de lúmen 3710 da Figura 37.
[0193] Em uma implementação em que um paciente recebeu um reagente ou corante para auxiliar na identificação de determinados tecidos, estruturas, reações químicas, processos biológicos etc., os emissores 3802, 3804, e 3806 podem emitir comprimento(s) de onda para apresentar fluorescência os reagentes ou corantes. Esse(s) comprimento(s) de onda pode(m) ser determinado(s) com base nos reagentes ou corantes administrados ao paciente. Nessa modalidade, os emissores podem precisar ser altamente precisos para emitir comprimento(s) de onda desejado(s) para apresentar fluorescência ou ativar determinados reagentes ou corantes.
[0194] Na modalidade da Figura 38, os emissores 3802, 3804, 3806 fornecem, cada um, luz laser para a região de coleta 3808 em ângulos diferentes. A variação no ângulo pode levar a variações nas quais a energia eletromagnética está situada em um guia de onda de saída. Por exemplo, se a luz passa imediatamente para dentro de um feixe de fibras (de vidro ou de plástico) na região de coleta 3808, os ângulos variáveis podem fazer com que diferentes quantidades de luz entrem em diferentes fibras. Por exemplo, o ângulo pode resultar em variações de intensidade ao longo da região de coleta 3808. Além disso, a luz dos diferentes emissores pode não ser homogeneamente misturada, de modo que algumas fibras possam receber diferentes quantidades de luz de cores diferentes. A variação na cor ou intensidade de luz em diferentes fibras pode levar à iluminação não ideal de uma cena. Por exemplo, variações nas intensidades de luz ou luz liberada podem resultar na cena e em imagens capturadas.
[0195] Em uma modalidade, um elemento óptico interveniente pode ser colocado entre um feixe de fibras e os emissores 3802, 3804, 3806 para misturar as diferentes cores (comprimentos de onda) de luz antes da entrada nas fibras ou outro guia de onda. Exemplos de elementos ópticos intervenientes incluem um difusor, uma haste de mistura, uma ou mais lentes ou outros componentes ópticos que misturam a luz de modo que uma dada fibra receba uma mesma quantidade de cada cor (comprimento de onda). Por exemplo, cada fibra do feixe de fibras pode ter uma mesma cor. Esta mistura pode levar à mesma cor em cada fibra, mas pode, em algumas modalidades, ainda resultar em um brilho total diferente aplicado a diferentes fibras. Em uma modalidade, o elemento óptico interveniente pode também espalhar ou mesmo bloquear a luz sobre a região de coleta, de modo que cada fibra tenha a mesma quantidade total de luz (por exemplo, a luz pode ser espalhada em um perfil cartola). Um difusor ou haste de mistura pode causar a perda de luz.
[0196] Embora a região de coleta 3808 seja representada como um componente físico na Figura 38, a região de coleta 3808 pode simplesmente ser uma região onde a luz dos emissores 3802, 3804 e 3806 é liberada. Em alguns casos, a região de coleta 3808 pode incluir um componente óptico como um difusor, uma haste de mistura, uma lente ou qualquer outro componente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída.
[0197] A Figura 39 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. A luz é fornecida a um ângulo substancialmente perpendicular à região de coleta 3808. A fonte de luz 3800 inclui uma pluralidade de espelhos dicroicos incluindo um primeiro espelho dicroico 3902, um segundo espelho dicroico 3904 e um terceiro espelho dicroico 3906. Os espelhos dicroicos 3902, 3904, 3906 incluem espelhos que refletem um primeiro comprimento de onda de luz, mas que transmitem (ou são transparentes a) um segundo comprimento de onda de luz. Por exemplo, o terceiro espelho dicroico 3906 pode refletir luz laser azul fornecida pelo terceiro emissor, enquanto é transparente à luz vermelha e verde fornecidas pelo primeiro emissor 3802 e pelo segundo emissor 3804, respectivamente. O segundo espelho dicroico 3904 pode ser transparente à luz vermelha do primeiro emissor 3802, mas reflexivo à luz verde do segundo emissor 3804. Se outras cores ou comprimentos de onda forem incluídos, espelhos dicroicos podem ser selecionados para refletir luz correspondente para ao menos um emissor e ser transparentes a outros emissores. Por exemplo, o terceiro espelho dicroico 3906 reflete a luz do terceiro emissor 3806, mas para emissores "atrás" dele, por exemplo, do primeiro emissor 3802 e do segundo emissor 3804. Em modalidades em que dezenas ou centenas de emissores estão presentes, cada espelho dicroico pode ser reflexivo para um emissor correspondente e emissores na sua frente enquanto é transparente a emissores atrás dele. Isso pode permitir que dezenas ou centenas de emissores emitam energia eletromagnética à região de coleta 3808 em um ângulo substancialmente igual.
[0198] Devido ao fato de que os espelhos dicroicos permitem que outros comprimentos de onda sejam transmitidos ou passem através deles, cada um dos comprimentos de onda pode chegar à região de coleta 3808 a partir de um mesmo ângulo e/ou com o mesmo centro ou ponto focal. O fornecimento de luz a partir do mesmo ângulo e/ou do mesmo ponto focal/central pode melhorar significativamente a recepção e a mistura de cores na região de coleta 3808. Por exemplo, uma fibra específica pode receber as cores diferentes nas mesmas proporções que foram transmitidas/refletidas pelos emissores 3802, 3804, 3806 e os espelhos 3902, 3904, 3906. A mistura de luz pode ser significativamente aprimorada na região de coleta em comparação com a modalidade da
Figura 38. Em uma modalidade, quaisquer componentes ópticos aqui discutidos podem ser usados na região de coleta 3808 para coletar luz antes de fornecê-la a uma fibra ou feixe de fibras.
[0199] A Figura 40 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que também fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. Entretanto, a luz incidente na região de coleta 3808 é deslocada em relação à perpendicular. O ângulo 4002 indica o deslocamento de ângulo em relação à perpendicular. Em uma modalidade, os emissores de laser 3802, 3804, 3806 podem ter perfis de intensidade em seção transversal que são Gaussianos. Conforme discutido anteriormente, a distribuição aprimorada de energia luminosa entre as fibras pode ser obtida mediante a criação de um perfil de intensidade com formato mais plano ou de cartola. Em uma modalidade, à medida que o ângulo 4002 é aumentado, a intensidade através da região de coleta 3808 se aproxima de um perfil cartola. Por exemplo, um perfil cartola pode ser aproximado mesmo com um feixe de saída não plano mediante o aumento do ângulo 4002 até que o perfil seja suficientemente plano.
[0200] O perfil cartola pode também ser obtido com o uso de uma ou mais lentes, difusores, hastes de mistura ou qualquer outro componente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída, fibra ou feixe de fibras ópticas.
[0201] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica 4102 emitindo por meio de um difusor 4104 em uma saída. Em uma modalidade, a fibra óptica 4102 pode ter um diâmetro de 500 mícrons e ter uma abertura numérica de, 65 e emitir um cone de luz 4106 de cerca de 70 ou 80 graus sem um difusor 4104. Com o difusor 4104, o cone de luz 4106 pode ter um ângulo de cerca de 110 ou 120 graus. O cone de luz 4106 pode ser uma parte principal de onde toda a luz parte e é uniformemente distribuída. O difusor 4104 pode permitir uma distribuição mais uniforme de energia eletromagnética de uma cena observada por um sensor de imagem.
[0202] Em uma modalidade, o guia de onda de lúmen 4102 pode incluir uma única fibra óptica plástica ou de vidro de cerca de 500 mícrons. A fibra plástica pode ser de baixo custo, mas a largura pode permitir que a fibra transporte uma quantidade suficiente de luz para uma cena, com acoplamento, difusor ou outras perdas. Por exemplo, fibras menores podem não ser capazes de carregar tanta luz ou energia quanto uma fibra maior. O guia de onda de lúmen 3710 pode incluir uma única fibra ou uma pluralidade de fibras ópticas. O guia de onda de lúmen 3702 pode receber luz diretamente da fonte de luz ou através de um guia de onda de ponte (por exemplo, consulte o guia de onda de ponte 3706 da Figura 37). Um difusor pode ser usado para ampliar a saída de luz 3706 para um campo de visão desejado do sensor de imagem 3714 ou outros componentes ópticos.
[0203] Embora três emissores sejam mostrados nas Figuras 38 a 40, emissores em número de um até centenas ou mais podem ser usados em algumas modalidades. Os emissores podem ter diferentes comprimentos de onda ou espectros de luz que eles emitem, e que podem ser usados para cobrir contiguamente uma porção desejada do espectro eletromagnético (por exemplo, o espectro visível, bem como os espectros infravermelho e ultravioleta).
[0204] Em uma modalidade, uma fonte de luz com uma pluralidade de emissores pode ser usada para imageamento multiespectral ou hiperespectral em um ambiente deficiente de luz. Por exemplo, diferentes produtos químicos, materiais ou tecidos podem ter diferentes respostas às diferentes cores ou comprimentos de onda de energia eletromagnética. Alguns tecidos possuem sua própria assinatura espectral (como eles respondem ou variam ao refletir comprimentos de onda de radiação eletromagnética). Em uma modalidade, um tipo específico de tecido pode ser detectado com base em como ele responde a um comprimento de onda específico ou uma combinação específica de comprimentos de onda. Por exemplo, os tecidos de vasos sanguíneos podem absorver e refletir diferentes comprimentos de onda ou espectros de energia eletromagnética de uma maneira exclusiva para distingui-los de músculo, gordura, osso, nervo, ureter ou outros tecidos ou materiais no corpo. Além disso, tipos específicos de músculo ou outros tipos de tecido podem ser distinguidos com base em sua resposta espectral. Estados de doença do tecido também podem ser determinados com base nas informações espectrais. Consulte a Patente US N° 8.289.503; Consulte, também, a Patente US N°
8.158.957.
[0205] Em uma modalidade, dados de imagem fluorescente e/ou dados de imagem multiespectral ou hiperespectral podem ser obtidos usando-se um ou mais filtros para filtrar toda a luz ou energia eletromagnética, exceto no comprimento de onda ou espectro desejado. A Figura 42 é um diagrama de blocos que ilustra um filtro 4202 para filtrar comprimentos de onda indesejados antes que a luz 4208 (ou outra radiação eletromagnética) encontre um sensor de imageamento 4204 ou outro meio de imageamento (por exemplo, um filme). Em uma modalidade, a luz branca 4208 passa através do filtro 4202 e a luz filtrada 4210 passa através de uma lente 4206 para ser focada no sensor de imageamento 4204 para captura e leitura da imagem. O filtro pode estar localizado em qualquer ponto no sistema ou pode ser um atributo da lente 4206 ou do sensor de imagem 4204.
[0206] Em um ambiente deficiente de luz, a luz 4208 pode incluir luz branca emitida por um emissor no ambiente deficiente de luz. O filtro 4202 pode ser selecionado para o exame desejado. Por exemplo, se for desejado detectar ou destacar um tecido específico, o filtro 4202 pode ser selecionado para permitir a passagem de comprimentos de onda correspondentes à resposta espectral do tecido específico ou à emissão de fluorescência de um reagente específico. O sensor de imagem 4204, que pode incluir um sensor de imagem monocromática, pode gerar uma imagem. Os pixels da imagem capturada que excedem um limiar ou ficam abaixo de um limiar podem ser, então, caracterizados como correspondentes ao tecido específico. Esses dados podem ser, então, usados para gerar uma imagem que indica a localização do tecido específico.
[0207] Em uma outra modalidade, um corante ou reagente de fluorescência pode ser usado para imagear tipos de tecido específicos, vias, ou similares em um corpo. Por exemplo, um corante de fluorescência pode ser administrado a um paciente e, então, uma imagem do corante pode ser capturada. Em uma modalidade, a fluorescência do corante pode ser iniciada usando-se um comprimento de onda de energia eletromagnética específico. Por exemplo, o corante pode somente apresentar fluorescência quando a energia eletromagnética estiver presente.
[0208] Entretanto, ambos os filtros e corantes de fluorescência significativamente restringem o exame. Por exemplo, se um filtro for usado, a resposta espectral desejada que pode ser detectada, e assim o material ou tecido que pode ser detectado, é limitada pelos filtros disponíveis. Além disso, os filtros podem precisar ser trocados ou substituídos. Com relação a corantes, o corante deve ser administrado antes do imageamento e pode haver conflitos entre a administração de diferentes corantes para diferentes finalidades durante o mesmo exame. Assim, os exames usando filtros e corantes podem levar muito tempo e podem exigir muitos diferentes exames para se obter a informação desejada.
[0209] Em uma modalidade, o imageamento multiespectral ou hiperespectral em um ambiente deficiente de luz pode ser realizado com o uso de um sensor de imagem monocromático e emissores que emitem uma pluralidade de diferentes comprimentos de onda ou espectros de energia eletromagnética. Em uma modalidade, uma fonte de luz ou outra fonte eletromagnética (como uma fonte de luz 3800 em quaisquer das Figuras 38 a 40) pode incluir uma pluralidade de emissores para cobrir os espectros desejados.
[0210] A Figura 43 ilustra uma porção do espectro eletromagnético 4300 dividida em vinte diferentes subespectros. O número de subespectros é apenas ilustrativo. Em ao menos uma modalidade, o espectro 4300 pode ser dividido em centenas de subespectros, cada um com uma pequena banda de ondas. O espectro pode se estender desde o espectro infravermelho 4302, passando pelo espectro visível 4304, chegando até o espectro ultravioleta 4306. Cada um dos subespectros possui uma banda de ondas 4308 que abrange uma porção do espectro 4300. Cada banda de ondas pode ser definida por um comprimento de onda superior e um comprimento de onda inferior.
[0211] Em uma modalidade, ao menos um emissor (como um emissor de laser) pode ser incluído em uma fonte de luz (como as fontes de luz 3702, 3800 nas Figuras 37 a 40) para cada subespectro a fim de fornecer cobertura completa e contígua de todo o espectro
4300. Por exemplo, uma fonte de luz para fornecer cobertura dos subespectros ilustrados pode incluir ao menos 20 diferentes emissores, ao menos um para cada subespectro. Em uma modalidade, cada emissor pode cobrir um espectro que cobre 40 nanômetros. Por exemplo, um emissor pode emitir luz dentro de uma banda de ondas de 500 nm a 540 nm, enquanto outro emissor pode emitir luz dentro de uma banda de ondas de 540 nm a 580 nm. Em uma outra modalidade, os emissores podem cobrir outros tamanhos de bandas de ondas, dependendo dos tipos de emissores disponíveis ou das necessidades de imageamento. Por exemplo, uma pluralidade de emissores pode incluir um primeiro emissor que cobre uma banda de ondas de 500 a
540 nm, um segundo emissor que cobre uma banda de ondas de 540 nm a 640 nm, e um terceiro emissor que cobre uma banda de ondas de 640 nm a 650 nm. Cada emissor pode cobrir uma fatia diferente do espectro eletromagnético variando de infravermelho distante, infravermelho intermediário, infravermelho próximo, luz visível, ultravioleta próximo e/ou ultravioleta extremo. Em alguns casos, uma pluralidade de emissores do mesmo tipo ou comprimento de onda pode ser incluída para fornecer potência de emissão suficiente para o imageamento. O número de emissores necessários para uma banda de ondas específica pode depender da sensibilidade de um sensor monocromático à banda de ondas e/ou da capacidade de emissão de energia dos emissores naquela banda de ondas.
[0212] As larguras e cobertura de banda de ondas fornecidas pelos emissores podem ser selecionadas para fornecer qualquer combinação desejada de espectros. Por exemplo, a cobertura contígua de um espectro usando larguras muito pequenas de banda de ondas (por exemplo, 10 nm ou menos) pode permitir um imageamento hiperespectral altamente seletivo. Uma vez que os comprimentos de onda são provenientes de emissores que podem ser seletivamente ativados, pode-se obter uma extrema flexibilidade ao determinar respostas espectrais de um material durante um exame. Assim, muito mais informações sobre a resposta espectral podem ser obtidas em menos tempo e dentro de um único exame, o que ao contrário teria exigido diversos exames, gerado atrasos devido à administração de corantes ou manchas, ou similares. Em uma modalidade, um sistema pode capturar dados de imagem hiperespectral e processar esses dados para identificar qual tipo de tecido existe em cada pixel.
[0213] A Figura 44 é um diagrama esquemático que ilustra um diagrama de temporização 4400 para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modalidade.
A linha contínua representa períodos de leitura (picos 4402) e de supressão (vales) para capturar uma série de quadros 4404-4414. A série de quadros 4404-4414 pode incluir uma series repetitiva de quadros que podem ser usados para gerar dados hiperespectrais para um fluxo de alimentação de vídeo. A série de quadros inclui um primeiro quadro 404, um segundo quadro 4406, um terceiro quadro 4408, um quarto quadro 4410, um quinto quadro 4412 e um enésimo quadro 4426.
[0214] Em uma modalidade, cada quadro é gerado com base em ao menos um pulso de energia eletromagnética. O pulso de energia eletromagnética é refletido e detectado por um sensor de imagem e, então, lido em uma leitura subsequente (4402). Assim, cada período de supressão e leitura resulta em um quadro de imagem para um espectro específico de energia eletromagnética. Por exemplo, o primeiro quadro 404 pode ser gerado com base em um espectro de um primeiro dentre um ou mais pulsos 4416, um segundo quadro 4406 pode ser gerado com base em um espectro de um segundo dentre um ou mais pulsos 4418, um terceiro quadro 4408 pode ser gerado com base em um espectro de um terceiro dentre um ou mais pulsos 4420, um quarto quadro 4410 pode ser gerado com base em um espectro de um quarto dentre um ou mais pulsos 4422, um quinto quadro 4412 pode ser gerado com base em um espectro de um quinto dentre um ou mais pulsos 4424, e um enésimo quadro 4426 pode ser gerado com base em um espectro de um enésimo dentre um ou mais pulsos 4426.
[0215] Os pulsos 4416 a 4426 podem incluir energia de um único emissor ou de uma combinação de dois ou mais emissores. Por exemplo, o espectro incluído em um único período de leitura ou dentro da pluralidade de quadros 4404 a 4414 pode ser selecionado para um exame ou detecção desejado de um tecido ou condição específico. De acordo com uma modalidade, um ou mais pulsos podem incluir luz do espectro visível para gerar uma imagem colorida ou em preto e branco,
enquanto um ou mais pulsos adicionais são usados para obter resposta espectral para classificar um tipo de tecido. Por exemplo, o pulso 4416 pode incluir luz vermelha, o pulso 4418 pode incluir luz azul e o pulso 4420 pode incluir luz verde, enquanto os pulsos remanescentes 4422 a 4426 podem incluir comprimentos de onda e espectros para detectar um tipo específico de tecido. Como um exemplo adicional, os pulsos para um único período de leitura podem incluir um espectro gerado a partir de múltiplos diferentes emissores (por exemplo, diferentes fatias do espectro eletromagnético) que podem ser usados para detectar um tipo específico de tecido. Por exemplo, se a combinação de comprimentos de onda resultar em um pixel tendo um valor que excede ou fica abaixo de um limiar, aquele pixel pode ser classificado como correspondente a um tipo específico de tecido. Cada quadro pode ser usado para estreitar adicionalmente o tipo de tecido que está presente naquele pixel (por exemplo, cada pixel na imagem) para fornecer uma classificação muito específica do tecido e/ou um estado do tecido (doente/saudável) com base na resposta espectral.
[0216] A pluralidade de quadros 4404 a 4414 é mostrada tendo comprimentos variáveis em períodos de leitura e pulsos tendo diferentes comprimentos ou intensidades. O período de supressão, o comprimento ou a intensidade do pulso, ou similares podem ser selecionados com base na sensibilidade de um sensor monocromático ao comprimento de onda específico, a capacidade de emissão de energia do(s) emissor(es) e/ou a capacidade de transporte do guia de onda.
[0217] Uma imagem hiperespectral ou dados de imagem hiperespectral obtidos da maneira ilustrada na Figura 44, pode resultar em uma pluralidade de quadros, cada um baseado em um diferente espectro ou em combinação de espectros. Em alguns casos, dezenas ou centenas de diferentes quadros podem ser obtidos. Em outros casos, por exemplo, para as transmissões de vídeo, o número de quadros pode ser limitado para fornecer uma taxa de quadro visualizável. Uma vez que combinações de diferentes espectros podem ser fornecidas em um único período de leitura, informações espectrais úteis e dinâmicas ainda podem ser obtidas mesmo em uma transmissão de vídeo.
[0218] Em uma modalidade, um vídeo ou outra imagem pode incluir uma imagem em preto e branco ou colorida sobreposta com informações derivadas da resposta espectral para cada pixel. Por exemplo, os pixels que correspondem a um tecido ou estado específico podem ser mostrados em uma cor verde brilhante ou outra cor para auxiliar um médico ou outro especialista clínico durante um exame.
[0219] Em uma modalidade, sensores de imagem duplos podem ser usados para a obtenção de imagens tridimensionais ou fluxos de alimentação de vídeo. Um exame tridimensional pode permitir uma melhor compreensão de uma estrutura tridimensional da região examinada, bem como um mapeamento dos diferentes tipos de tecido ou material dentro da região.
[0220] Em uma modalidade, o imageamento multiespectral ou hiperespectral pode ser usado para visualização através de materiais ou substâncias. Por exemplo, os comprimentos de onda infravermelho podem atravessar alguns tecidos, como músculo ou gordura, enquanto refletem vasos sanguíneos. Em uma modalidade, as ondas infravermelhas podem penetrar 5, 8 ou 10 mm ou mais dentro de um tecido. A obtenção de uma série de quadros que incluem ao menos um quadro infravermelho pode permitir que um exame forneça informações sobre a localização de vasos sanguíneos abaixo da superfície. Isso pode ser extremamente útil para procedimentos cirúrgicos em que pode ser desejável realizar incisões que evitem vasos sanguíneos. Em uma modalidade, uma imagem colorida ou em escala de cinza pode ser sobreposta com uma cor verde que indica a localização de vasos sanguíneos abaixo da superfície. De modo similar, uma resposta espectral de sangue conhecida pode ser usada para olhar através do sangue e visualizar os tecidos ou estruturas de interesse em um exame.
[0221] O conjunto dos subquadros em um quadro único para exibição em um monitor ou outro dispositivo de exibição pode ocorrer após a captura da série de quadros 4404 a 4414. Uma imagem colorida ou em escala de cinza pode ser gerada a partir de um ou mais dos quadros e informações de sobreposição de pixels podem ser determinadas com base em todos os quadros ou nos quadros remanescentes. A imagem colorida ou em escala de cinza pode ser combinada com as informações de sobreposição para gerar um único quadro. O quadro único pode ser exibido como uma imagem única ou como uma imagem em uma transmissão de vídeo.
[0222] Em uma modalidade, os dados hiperespectrais obtidos conforme ilustrado na Figura 44 podem ser fornecidos para análise por um algoritmo de terceiros para classificar um tecido ou material capturado na imagem. Em uma modalidade, o algoritmo de terceiros pode ser usado para selecionar os espectros ou bandas de ondas a serem usados durante o imageamento, de modo que possa ser realizada uma análise de resposta espectral desejada. Em uma modalidade, a análise de resposta espectral pode ser realizada em tempo real durante um procedimento de imageamento médico ou outro procedimento médico. Os dados espectrais podem ser sobrepostos em uma imagem RGB ou em preto e branco, de modo que um usuário possa prontamente diferenciar determinados tipos de tecidos, órgãos, processos químicos, doenças etc. Em uma modalidade, os dados espectrais podem ser fornecidos a um sistema operado por computador, como um sistema de robótica, para automação do imageamento médico ou de procedimentos médicos.
[0223] A Figura 45 é um diagrama esquemático de um sistema de imageamento 4500 tendo um único filtro cortado. O sistema 4500 inclui um endoscópio 4506 ou outro dispositivo de imageamento adequado tendo uma fonte de luz 4508 para uso em um ambiente deficiente de luz. O endoscópio 4506 inclui um sensor de imagem 4504 e um filtro 4502 para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética antes de atingir o sensor de imagem 4504. A fonte de luz 4508 transmite luz que pode iluminar a superfície 4512 em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. A luz 4510 é refletida a partir da superfície 4512 e passa através do filtro 4502 antes de atingir o sensor de imagem 4504.
[0224] O filtro 4502 pode ser usado em uma implementação em que um reagente ou corante fluorescente foi administrado. Nessa modalidade, o filtro 4502 é configurado para filtrar toda a luz que não um ou mais comprimentos de onda ou bandas espectrais de luz desejados ou outra radiação eletromagnética. Em uma modalidade, o filtro 4502 é configurado para filtrar um comprimento de onda de excitação de radiação eletromagnética que faz um reagente ou corante fluorescer, de modo que somente o comprimento de onda de relaxamento esperado do reagente ou corante fluorescido seja permitido passar através do filtro 4502 e atingir o sensor de imagem
4504. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 770 nm e 790 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 795 nm e 815 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 770 nm e 790 nm e entre 795 nm e 815 nm. Nessas modalidades, o filtro 4502 filtra o comprimento de onda de excitação do reagente e permite que somente o comprimento de onda de relaxamento do reagente fluorescido seja lido pelo sensor de imagem 4504. O sensor de imagem 4504 pode ser um sensor de imagem agnóstico em termos de comprimento de onda e o filtro 4502 pode ser configurado para permitir que o sensor de imagem 4504 receba apenas o comprimento de onda de relaxamento do reagente fluorescido e não receba o comprimento de onda de excitação emitido para o reagente. Os dados determinados pelo sensor de imagem 4504 podem, então, indicar a presença de uma estrutura corporal de importância crítica, tecido, processo biológico ou processo químico conforme determinado por uma localização do reagente ou corante.
[0225] O filtro 4502 pode ser adicionalmente usado em uma implementação onde um reagente ou corante fluorescente não foi administrado. O filtro 4502 pode ser selecionado para permitir que comprimentos de onda correspondentes a uma resposta espectral desejada passem e sejam lidos pelo sensor de imagem 4504. O sensor de imagem 4504 pode ser um sensor de imagem monocromática, de modo que os pixels da imagem capturada que excedem um limiar ou ficam abaixo de um limiar possam ser caracterizados como correspondentes a uma determinada resposta espectral ou emissão de fluorescência. A resposta espectral ou emissão de fluorescência, conforme determinada pelos pixels capturados pelo sensor de imagem 4504, pode indicar a presença de um determinado tecido ou estrutura corporal, uma determinada condição, um determinado processo químico etc.
[0226] Em uma modalidade, a fonte de luz 4508 transmite luz branca que entra em contato com a superfície 4512 e é refletida de volta onde é filtrada pelo filtro 4502 antes de atingir o sensor de imagem 4504. Em uma modalidade, a fonte de luz 4508 transmite luz branca que passa pelo filtro 4502, de modo que a luz filtrada de somente um ou mais comprimentos de onda desejados surja do filtro 4502 para ser refletida a partir da superfície 4512 e lida pelo sensor de imagem 4504. Por exemplo, em uma modalidade, o filtro 4502 permite que somente luz tendo um comprimento de onda de 795 nm passe através do filtro 4502 e entre em contato com o sensor de imagem 4504. Adicionalmente em uma modalidade, o filtro 4502 permite que somente determinados comprimentos de onda de luz sejam refletidos de volta para o sensor de imagem 4504 do endoscópio 4506 ou outro dispositivo de imageamento. O filtro 4502 pode estar localizado em qualquer ponto no sistema 4500 ou pode ser um atributo de uma lente ou do sensor de imagem 4504. O filtro 4502 pode estar localizado na frente de e/ou atrás do sensor de imagem 4504. Em uma modalidade, a luz emitida pela fonte de luz 4508 é filtrada antes de atingir a superfície 4512 e a luz refletida é filtrada por um filtro adicional antes de ser lida pelo sensor de imagem 4504.
[0227] A fonte de luz 4508 pode ser um emissor que pode ser configurado para emitir luz branca ou radiação eletromagnética de um ou mais comprimentos de onda específicos. A fonte de luz 4508 pode incluir uma pluralidade de lasers configurados para emitir ou pulsar luz de comprimentos de onda especificados. Em uma modalidade, a fonte de luz 4508 emite luz branca e o filtro 4502 é selecionado para filtrar toda a luz indesejada que não um ou mais comprimentos de onda desejados de luz ou outra radiação eletromagnética. O filtro 4502 pode ser selecionado para um exame ou finalidade específico, por exemplo, para destacar um tipo de tecido ou estrutura corporal, ou para destacar uma determinada condição ou processo químico.
[0228] A Figura 46 é um diagrama esquemático de um sistema de imageamento 4600 tendo múltiplos filtros cortados. O sistema 4600 inclui um endoscópio 4606 ou outro dispositivo de imageamento adequado tendo uma fonte de luz 4608 para uso em um ambiente deficiente de luz. O endoscópio 4606 inclui um sensor de imagem 4604 e dois filtros 4602a, 4602b. Deve ser reconhecido que, em modalidades alternativas, o sistema 4600 pode incluir qualquer número de filtros, e o número e tipo de filtros podem ser selecionados para uma determinada finalidade, por exemplo, para coletar informações de imageamento de um tecido corporal em particular, condição corporal, processo químico etc. Os filtros 4602a, 4602b são configurados para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética. Os filtros 4602a, 4602b podem ser configurados para filtrar comprimentos de onda indesejados de luz branca ou outra radiação eletromagnética que podem ser emitidos pela fonte de luz 4608. A luz filtrada pode atingir a superfície 4612 (por exemplo, tecido corporal) e ser refletida de volta ao sensor de imagem 4604.
[0229] Além da divulgação relacionada à Figura 45, os filtros 4602a, 4602b podem ser usados em uma implementação onde um reagente ou corante fluorescente foi administrado. Os filtros 4602a, 4602b podem ser configurados para bloquear um comprimento de onda de excitação emitido para o reagente ou corante e permitir que o sensor de imagem 4604 somente leia o comprimento de onda de relaxamento do reagente ou corante. Adicionalmente, os filtros 4602a, 4602b podem ser usados em uma implementação em que um reagente ou corante fluorescente não foi administrado. Nessa implementação, os filtros 4602a, 4602b podem ser selecionados para permitir que comprimentos de onda correspondentes a uma resposta espectral desejada passem e sejam lidos pelo sensor de imagem 4604.
[0230] Os múltiplos filtros 4602a, 4602b podem ser individualmente configurados para filtrar uma faixa diferente de comprimentos de onda do espectro eletromagnético. Por exemplo, um filtro pode ser configurado para filtrar comprimentos de onda maiores que uma faixa desejada de comprimento de onda e o filtro adicional pode ser configurado para filtrar comprimentos de onda menores que a faixa desejada de comprimento de onda. A combinação dos dois ou mais filtros pode resultar na leitura de somente um determinado comprimento de onda ou banda de comprimentos de onda pelo sensor de imagem
4604.
[0231] Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 513 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 565 nm e 585 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 900 nm e 1000 nm entre em contato com o sensor de imagem
4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 425 nm e 475 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 520 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 625 nm e 645 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 760 nm e 795 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 795 nm e 815 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 370 nm e 420 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 600 nm e 670 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são configurados para permitir que somente uma determinada emissão de relaxamento de fluorescência passe pelos filtros 4602a, 4602b e entre em contato com o sensor de imagem 4604.
[0232] Em uma modalidade, o sistema 4600 inclui múltiplos sensores de imagem 4604 e pode particularmente incluir dois sensores de imagem para uso na geração de uma imagem tridimensional. O(s) sensor(es) de imagem 4604 pode(m) ser agnóstico(s) em termos de cor/comprimento de onda e configurado(s) para ler qualquer comprimento de onda de radiação eletromagnética que for refletido a partir da superfície 4612. Em uma modalidade, os sensores de imagem 4604 são, cada um, dependentes da cor ou dependentes do comprimento de onda e configurados para ler radiação eletromagnética de um comprimento de onda em particular que é refletido a partir da superfície 4612 e de volta aos sensores de imagem 4604. Alternativamente, o sensor de imagem 4604 pode incluir um único sensor de imagem com uma pluralidade de diferentes sensores de pixel configurados para ler diferentes comprimentos de onda ou cores de luz, como uma matriz de filtro de cor de filtro Bayer. Alternativamente, o sensor de imagem 4604 pode incluir um ou mais sensores de imagem agnósticos em termos de cor que podem ser configurados para ler diferentes comprimentos de onda de radiação eletromagnética de acordo com um cronograma de pulsação como aqueles ilustrados nas Figuras 5 a 7E e 15 a 16, por exemplo.
[0233] A Figura 47 é um diagrama esquemático que ilustra um sistema 4700 para mapear uma superfície e/ou rastrear um objeto em um ambiente deficiente de luz. Em uma modalidade, um endoscópio 4702 em um ambiente deficiente de luz pulsa uma matriz de grade 4706 (que pode ser denominada um padrão de mapa de laser) sobre uma superfície 4704. A matriz de grade 4706 pode incluir picote vertical 4708 e picote horizontal 4710 em uma modalidade conforme ilustrada na Figura 47. Deve ser reconhecido que a matriz de grade 4706 pode incluir qualquer matriz adequada para mapear uma superfície 4704, incluindo, por exemplo, uma grade do tipo raster (padrão de escaneamento horizontal) de pontos discretos, um mapa de grade de ocupação, uma matriz de pontos etc.
Adicionalmente, o endoscópio 4702 pode pulsar múltiplas matrizes de grade 4706 e pode, por exemplo, pulsar uma ou mais matrizes de grade individuais em cada um de uma pluralidade de objetos ou estruturas dentro do ambiente deficiente de luz.
[0234] Em uma modalidade, o sistema 4700 pulsa uma matriz de grade 4706 que pode ser usada para determinar uma superfície tridimensional e/ou rastrear um local de um objeto, por exemplo, uma ferramenta ou outro dispositivo em um ambiente deficiente de luz. Em uma modalidade, o sistema 4700 pode fornecer dados a um sistema ou algoritmo de computador de terceiros para determinar as dimensões e configurações da superfície por meio de mapeamento de detecção e variação de luz (LIDAR - "light detection and ranging"). O sistema 4700 pode pulsar qualquer comprimento de onda de luz ou radiação eletromagnética adequado na matriz de grade 4706, incluindo, por exemplo, luz ultravioleta, luz visível e/ou luz infravermelha ou próxima do infravermelho. A superfície 4704 e/ou os objetos dentro do ambiente podem ser mapeados e rastreados em altíssima resolução e com altíssima exatidão e precisão.
[0235] Em uma modalidade, o sistema 4700 inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes tendo um elemento óptico correspondente ao um ou mais sensores de imagem. O sistema 4700 pode incluir um mecanismo de luz tendo uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite o um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. Em uma modalidade, ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um padrão de mapa de laser que é emitido sobre uma superfície dentro do ambiente deficiente de luz, como uma superfície de tecido corporal e/ou uma superfície de ferramentas ou outros dispositivos dentro da cavidade corporal. O endoscópio 4702 pode incluir uma câmera bidimensional, tridimensional ou n-dimensional para mapear e/ou rastrear a superfície, as dimensões e as configurações dentro do ambiente deficiente de luz.
[0236] Em uma modalidade, o sistema 4700 inclui um processador para determinar uma distância de um endoscópio ou ferramenta em relação a um objeto, por exemplo, a superfície 4704. O processador pode adicionalmente determinar um ângulo entre o endoscópio ou ferramenta e o objeto. O processador pode adicionalmente determinar informações de área superficial sobre o objeto, incluindo, por exemplo, o tamanho de ferramentas cirúrgicas, o tamanho de estruturas, o tamanho de estruturas anatômicas, informações de localização e outros dados e métricas de posição. O sistema 4700 pode incluir um ou mais sensores de imagem que fornecem dados de imagem que são fornecidos a um sistema de controle para determinar uma distância de um endoscópio ou ferramenta em relação a um objeto, por exemplo, a superfície 4704. Os sensores de imagem podem enviar informações a um sistema de controle para determinar um ângulo entre o endoscópio ou ferramenta e o objeto. Adicionalmente, os sensores de imagem podem enviar informações a um sistema de controle para determinar informações de área superficial sobre o objeto, o tamanho das ferramentas cirúrgicas, o tamanho de estruturas, o tamanho de estruturas anatômicas, informações de localização e outros dados e métricas de posição.
[0237] Em uma modalidade, a matriz de grade 4706 é pulsada por uma fonte de iluminação do endoscópio 4702 a uma velocidade suficiente para que a matriz de grade 4706 não seja visível a um usuário. Em várias implementações, pode ser um fator de distração que um usuário veja a matriz de grade 4706 durante um procedimento de imageamento endoscópico e/ou procedimento cirúrgico endoscópico. A matriz de grade 4706 pode ser pulsada por períodos suficientemente breves, de modo que a matriz de grade 4706 não possa ser detectada pelo olho humano. Em uma modalidade alternativa, o endoscópio 4702 pulsa a matriz de grade 4706 a uma frequência recorrente suficiente para que a matriz de grade 4706 possa ser visualizada por um usuário. Nessa modalidade, a matriz de grade 4706 pode ser sobreposta em uma imagem da superfície 4704 em uma tela. A matriz de grade 4706 pode ser sobreposta em uma imagem em preto e branco ou RGB da superfície 4704, de modo que a matriz de grade 4706 possa ser visível por um usuário durante o uso do sistema 4700. Um usuário do sistema 4700 pode indicar se a matriz de grade 4706 deve ser sobreposta em uma imagem da superfície 4704 e/ou se a matriz de grade 4706 deve ser visível ao usuário. O sistema 4700 pode incluir uma tela que fornece medições em tempo real de uma distância desde o endoscópio 4702 até a superfície 4704 ou outro objeto dentro do ambiente deficiente de luz. A tela pode adicionalmente fornecer informações de área superficial em tempo real sobre a superfície 4704 e/ou quaisquer objetos, estruturas ou ferramentas dentro do ambiente deficiente de luz. A exatidão das medições pode ter exatidão menor que um milímetro.
[0238] O endoscópio 4702 pode pulsar radiação eletromagnética de acordo com um cronograma de pulsação como aquele ilustrado nas Figuras 5 a 7E e 15 a 16, por exemplo, que pode incluir adicionalmente a pulsação da matriz de grade 4706 com a pulsação de luz Vermelha, Verde e Azul para gerar uma imagem RGB e adicionalmente gerar uma matriz de grade 4706 que pode ser sobreposta na imagem RGB e/ou usada para mapear e rastrear a superfície 4704 e objetos dentro do ambiente deficiente de luz.
[0239] Em uma modalidade, o endoscópio 4702 inclui um ou mais sensores de imagem agnósticos em termos de cor. Em uma modalidade, o endoscópio 4702 inclui dois sensores de imagem agnósticos em termos de cor para gerar uma imagem tridimensional ou mapa do ambiente deficiente de luz. Os sensores de imagem podem gerar uma imagem RGB do ambiente deficiente de luz de acordo com um cronograma de pulsação como divulgado na presente invenção. Adicionalmente, os sensores de imagem podem determinar dados para mapear o ambiente deficiente de luz e rastrear um ou mais objetos dentro do ambiente deficiente de luz com base nos dados determinados quando a matriz de grade 4706 é pulsada. Adicionalmente, os sensores de imagem podem determinar dados espectrais ou hiperespectrais com dados de imageamento por fluorescência de acordo com um cronograma de pulsação que pode ser modificado por um usuário para adequação às necessidades em particular de um procedimento de imageamento. Em uma modalidade, um cronograma de pulsação inclui pulsos Vermelhos, Verdes e Azuis com pulsação de uma matriz de grade 4706 e/ou pulsação para gerar dados de imagem hiperespectral e/ou dados de imagem de fluorescência. Em várias implementações, o cronograma de pulsação pode incluir qualquer combinação adequada de pulsos de radiação eletromagnética de acordo com as necessidades de um usuário. A frequência recorrente dos diferentes comprimentos de onda de radiação eletromagnética pode ser determinada com base, por exemplo, na energia de um determinado pulso, as necessidades do usuário, se determinados dados (por exemplo, dados hiperespectrais e/ou dados de imageamento por fluorescência) precisam ser continuamente atualizados ou podem ser atualizados menos frequentemente etc.
[0240] O cronograma de pulsação pode ser modificado de qualquer maneira adequada, e determinados pulsos de radiação eletromagnética podem ser repetidos em qualquer frequência adequada de acordo com as necessidades de um usuário ou programa implementado por computador para um determinado procedimento de imageamento. Por exemplo, em uma modalidade em que os dados de rastreamento de superfície gerados com base na matriz de grade 4706 são fornecidos a um programa implementado por computador para uso em, por exemplo, um procedimento cirúrgico robótico, a matriz de grade 4706 pode ser pulsada mais frequentemente do que se os dados de rastreamento de superfície fossem fornecidos a um usuário que está visualizando a cena durante o procedimento de imageamento. Nessa modalidade em que os dados de rastreamento de superfície são usados para um procedimento cirúrgico robótico, os dados de rastreamento de superfície podem precisar ser atualizados mais frequentemente ou podem precisar ser excessivamente exatos para que o programa implementado por computador possa executar o procedimento cirúrgico robótico com precisão e exatidão.
[0241] Em uma modalidade, o sistema 4700 é configurado para gerar um mapa de grade de ocupação que compreende uma matriz de células divididas em grades. O sistema 4700 é configurado para armazenar valores de altura para cada uma das respectivas células de grade para determinar um mapeamento de superfície de um ambiente tridimensional em um ambiente deficiente de luz.
[0242] A Figura 48 é um diagrama de fluxo esquemático para um método 4800 para imageamento hiperespectral em um ambiente deficiente de luz. O método 4800 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilustrado na Figura 37.
[0243] O método 4800 inclui a emissão em 4802 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática. Os pulsos podem ser emitidos em 4802 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que cobrem um espectro desejado. Um sensor de imagem monocromática lê em 4804 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emissores da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4806 uma resposta espectral de um tecido para um ou mais pixels com base na pluralidade de quadros. Por exemplo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4808 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a resposta espectral para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação específico são mostrados em verde brilhante.
[0244] A Figura 49 é um diagrama de fluxo esquemático para um método 4900 para imageamento por fluorescência em um ambiente deficiente de luz. O método 4900 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilustrado na Figura 37.
[0245] O método 4900 inclui a emissão em 4902 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática. Os pulsos podem ser emitidos em 4902 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que cobrem um espectro desejado. Um sensor de imagem monocromática lê em 4904 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emissores da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4906 uma emissão de relaxamento de fluorescência de um reagente para um ou mais pixels com base na pluralidade de quadros. Por exemplo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4908 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a emissão de relaxamento de fluorescência para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação específico são mostrados em verde brilhante. Exemplos
[0246] Os exemplos a seguir referem-se a modalidades adicionais:
[0247] O Exemplo 1 é um sistema endoscópico para uso em um ambiente deficiente de luz. O sistema inclui um dispositivo de imageamento. O dispositivo de imageamento inclui um tubo, um ou mais sensores de imagem e um conjunto de lentes que compreende ao menos um elemento óptico correspondente ao sensor de imagem. O sistema inclui uma tela para que um usuário visualize uma cena e um controlador de processamento de sinal de imagem. O sistema inclui um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação que gera uma pluralidade de pulsos de radiação eletromagnética. O mecanismo de luz inclui adicionalmente um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende um pulso vermelho, um pulso verde e um pulso azul, e adicionalmente compreende um ou mais dentre: um comprimento de onda de excitação de radiação eletromagnética entre 513 nm e 545 nm, um comprimento de onda de excitação de radiação eletromagnética entre 565 nm e 585 nm, um comprimento de onda de excitação de radiação eletromagnética entre 900 nm e 1000 nm, um comprimento de onda de excitação de radiação eletromagnética que faz com que um reagente apresente fluorescência ou um padrão de mapa de laser que é emitido para uma superfície de um tecido corporal.
[0248] O Exemplo 2 é um sistema endoscópico como no Exemplo 1, sendo que uma duração de cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é variável.
[0249] O Exemplo 3 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 2, sendo que durante uma duração de pulso, uma pluralidade de subpulsos de radiação eletromagnética, que têm uma subduração, é emitida, e sendo que a subduração é mais curta que a duração de pulso.
[0250] O Exemplo 4 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 3, sendo que as subdurações de pulso na duração de pulso são diferentes para cada subpulso de radiação eletromagnética.
[0251] O Exemplo 5 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 4, sendo que as subdurações de pulso na duração de pulso compreendem dois ou mais subpulsos de radiação eletromagnética de igual duração.
[0252] O Exemplo 6 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 5, sendo que um ou mais da pluralidade de subpulsos compreendem radiação eletromagnética emitida em dois ou mais comprimentos de onda simultaneamente como um único pulso ou um único subpulso.
[0253] O Exemplo 7 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 6, sendo que as subdurações da pluralidade de subpulsos são variáveis tanto em comprimentos de onda de radiação eletromagnética emitidos como no número de emissões que ocorrem por duração de pulso.
[0254] O Exemplo 8 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 7, sendo que as subdurações da pluralidade de subpulsos são equivalentes a uma duração de pulso único que fornece uma exposição de quadro único da transmissão de vídeo.
[0255] O Exemplo 9 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 8, sendo que uma duração do período de tempo é variável.
[0256] O Exemplo 10 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 9, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é ajustável por um usuário do mecanismo de luz endoscópica.
[0257] O Exemplo 11 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 10, compreendendo adicionalmente um sistema de controle para iluminar a cena, sendo que o sistema de controle ajusta ou altera automaticamente a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo com base em um limite, sendo que o limite determina a iluminação adequada da cena.
[0258] O Exemplo 12 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 11, sendo que cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela como parte da transmissão de vídeo.
[0259] O Exemplo 13 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 12, sendo que cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é um quadro de exposição criado pelo sensor de imagem, e sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é exibida a um usuário como uma imagem única na tela como parte da transmissão de vídeo.
[0260] O Exemplo 14 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 13, sendo que cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela como parte da transmissão de vídeo.
[0261] O Exemplo 15 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 14, sendo que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética com o uso de um ou mais emissores de laser.
[0262] O Exemplo 16 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 15, sendo que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela como parte da transmissão de vídeo.
[0263] O Exemplo 17 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 16, sendo que a imagem única é atribuída a uma cor visível para uso na tela, e sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0264] O Exemplo 18 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 17, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 425 nm e 475 nm.
[0265] O Exemplo 19 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 18, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 520 nm e 545 nm.
[0266] O Exemplo 20 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 19, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 625 nm e 645 nm.
[0267] O Exemplo 21 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 20, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 760 nm e 795 nm.
[0268] O Exemplo 22 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 21, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
[0269] O Exemplo 23 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 22, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 370 nm e 420 nm.
[0270] O Exemplo 24 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 23, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende adicionalmente um comprimento de onda de excitação de radiação eletromagnética entre 600 nm e 670 nm.
[0271] O Exemplo 25 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 24, sendo que o mecanismo de luz compreende um filtro de polarização.
[0272] O Exemplo 26 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 25, sendo que o filtro de polarização está localizado em uma trajetória da radiação eletromagnética.
[0273] O Exemplo 27 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 26, sendo que o filtro de polarização está localizado em uma extremidade proximal do lúmen.
[0274] O Exemplo 28 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 27, sendo que o filtro de polarização está localizado em uma extremidade distal do lúmen.
[0275] O Exemplo 29 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 28, sendo que o conjunto de lentes compreende um filtro de radiação eletromagnética.
[0276] O Exemplo 30 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 29, sendo que o conjunto de lentes compreende um filtro de polarização.
[0277] O Exemplo 31 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 30, sendo que cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo resulta em um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição é alimentado a um sistema correspondente, o qual fornecerá a localização das estruturas de tecido de importância crítica na cena.
[0278] O Exemplo 32 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 31, sendo que a localização das estruturas de tecido de importância crítica na cena é recebida pelo sistema endoscópico e sobreposta na tela, e sendo que as estruturas de tecido de importância crítica são codificadas em qualquer cor selecionada tanto por um algoritmo quanto por um usuário.
[0279] O Exemplo 33 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 32, sendo que o sistema compreende adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética que faz com que o reagente apresente fluorescência.
[0280] O Exemplo 34 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 33, sendo que o filtro está situado no ao menos um elemento óptico do conjunto de lentes, de modo que o filtro bloqueie o comprimento de onda de excitação e permita um comprimento de onda do reagente fluorescente através do filtro.
[0281] O Exemplo 35 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 34, sendo que o sensor de imagem detecta um comprimento de onda do reagente fluorescente para fornecer uma imagem de uma ou mais estruturas de importância crítica em um corpo humano.
[0282] O Exemplo 36 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 35, sendo que a uma ou mais estruturas de importância crítica no corpo humano compreende um dentre um nervo, um ureter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo ou um tumor.
[0283] O Exemplo 37 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 36, sendo que a uma ou mais estruturas de importância crítica no corpo humano são células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 770 nm e 790 nm, a uma ou mais dentre as células cancerígenas.
[0284] O Exemplo 38 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 37, sendo que o comprimento de onda de excitação de radiação eletromagnética, que faz com que um reagente apresente fluorescência, está entre 770 nm e 790 nm.
[0285] O Exemplo 39 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 38, compreendendo adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm.
[0286] O Exemplo 40 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 39, sendo que o comprimento de onda de excitação de radiação eletromagnética, que faz com que um reagente apresente fluorescência, está entre 795 nm e 815 nm.
[0287] O Exemplo 41 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 40, compreendendo adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
[0288] O Exemplo 42 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 41, sendo que a uma ou mais estruturas de importância crítica no corpo humano são células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 795 nm e 815 nm, a uma ou mais dentre as células cancerígenas.
[0289] O Exemplo 43 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 42, sendo que o comprimento de onda de excitação de radiação eletromagnética, que faz com que um reagente apresente fluorescência, compreenda: um ou mais pulsos de radiação eletromagnética entre 770 nm e 790 nm, e um ou mais pulsos de radiação eletromagnética entre 795 nm e 815 nm.
[0290] O Exemplo 44 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 43, compreendendo adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm.
[0291] O Exemplo 45 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 44, compreendendo adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
[0292] O Exemplo 46 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 45, que compreende adicionalmente um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm e um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
[0293] O Exemplo 47 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 46, que compreende adicionalmente um ou mais filtros que permitem que radiação eletromagnética entre 790 nm e 800 nm e acima de 815 nm passe através do um ou mais filtros até o sensor de imagem.
[0294] O Exemplo 48 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 47, sendo que a uma ou mais estruturas de importância crítica no corpo humano são células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente a partir de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 770 nm e 790 nm e entre 705 nm e 815 nm, a uma ou mais dentre as células cancerígenas.
[0295] O Exemplo 49 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 48, sendo que o dispositivo de imageamento compreende um primeiro sensor de imagem e um segundo sensor de imagem para produzir uma imagem tridimensional.
[0296] O Exemplo 50 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 49, sendo que o primeiro sensor de imagem recebe radiação eletromagnética de cerca de 815 nm.
[0297] O Exemplo 51 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 50, sendo que o segundo sensor de imagem recebe radiação eletromagnética entre 785 nm e 800 nm.
[0298] O Exemplo 52 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 51, sendo que o primeiro sensor de imagem compreende um ou mais filtros que filtram a radiação eletromagnética entre 770 nm e 815 nm e o segundo sensor de imagem compreende um ou mais filtros que filtram a radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagnética entre 800 nm e 850 nm.
[0299] O Exemplo 53 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 52, sendo que o sistema compreende um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 815 nm.
[0300] O Exemplo 54 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 53, sendo que o sistema compreende um segundo filtro que filtra radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagnética entre 800 nm e 850 nm.
[0301] O Exemplo 55 é um sistema endoscópico para uso em um ambiente deficiente de luz. O sistema inclui um dispositivo de imageamento. O dispositivo de imageamento inclui um tubo, um ou mais sensores de imagem e um conjunto de lentes que compreende ao menos um elemento óptico correspondente ao sensor de imagem. O sistema inclui uma tela para que um usuário visualize uma cena e um controlador de processamento de sinal de imagem. O sistema inclui um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação que gera uma pluralidade de pulsos de radiação eletromagnética. O mecanismo de luz inclui adicionalmente um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio, sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreende um pulso vermelho, um pulso verde e um pulso azul, um comprimento de onda de excitação de radiação eletromagnética entre 513 nm e 545 nm, um comprimento de onda de excitação de radiação eletromagnética entre 565 nm e 585 nm, um comprimento de onda de excitação de radiação eletromagnética entre 900 nm e 1000 nm, um comprimento de onda de excitação de radiação eletromagnética que faz com que um reagente apresente fluorescência, ou um padrão de mapa de laser que é emitido para uma superfície de um tecido corporal.
[0302] Será reconhecido que vários recursos divulgados na presente invenção fornecem vantagens significativas e avanços na técnica. As reivindicações a seguir são exemplificadores de alguns desses recursos.
[0303] Na Descrição Detalhada da Divulgação acima, diversos recursos da divulgação são agrupados em uma única modalidade com o propósito de simplificar a divulgação. Esse método da divulgação não deve ser interpretado como reflexo de uma intenção de que divulgação reivindicada exige mais recursos do que aqueles expressamente mencionados em cada reivindicação. Em vez disso, os aspectos da invenção se baseiam em menos que todos os recursos de uma única modalidade anteriormente divulgada.
[0304] Deve-se compreender que as disposições e modalidades acima descritas podem ser combinadas em uma única modalidade que compreende qualquer combinação das modalidades divulgadas, inclusive a compreensão de todas as modalidades divulgadas.
[0305] Deve-se compreender que todas as disposições acima descritas são apenas ilustrativas da aplicação dos princípios da divulgação. Diversas modificações e disposições alternativas podem ser concebidas pelos versados na técnica sem que se afaste do espírito e escopo da divulgação e as reivindicações anexas têm como objetivo abranger essas modificações e disposições.
[0306] Assim, embora a divulgação tenha sido mostrada nos desenhos e descrita acima com particularidade e detalhes, ficará evidente aos versados na técnica que várias modificações, incluindo, mas não se limitando a, variações de tamanho, materiais, formato, forma, função e modo de operação, montagem e uso, podem ser feitas sem que se afaste dos princípios e conceitos definidos na presente invenção.
[0307] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0308] A descrição supracitada foi apresentada para propósitos ilustrativos e de descrição. Essa descrição não pretende ser exaustiva nem limitar a divulgação à forma precisa divulgada. Diversas modificações e variações são possíveis à luz do ensinamento acima. Adicionalmente, deve ser observado que todas e quaisquer implementações alternativas anteriormente mencionadas podem ser usadas em qualquer combinação desejada para formar implementações híbridas adicionais da divulgação.
[0309] Adicionalmente, embora implementações específicas da divulgação tenham sido descritas e ilustradas, a divulgação não deve ser limitada às formas ou disposições específicas de partes assim descritas e ilustradas. O escopo da divulgação deve ser definido pelas reivindicações anexas, quaisquer reivindicações futuras aqui apresentadas e em diferentes pedidos de patente e seus equivalentes.

Claims (57)

REIVINDICAÇÕES
1. Sistema endoscópico para uso em um ambiente com deficiência de luz, caracterizado por compreender: um dispositivo de imageamento que compreende: um tubo; um ou mais sensores de imagem; e um conjunto de lentes que compreende ao menos um elemento óptico correspondente ao sensor de imagem; um mostruário para que um usuário visualize uma cena; um controlador de processamento do sinal de imagem; e um mecanismo de iluminação, sendo que o mecanismo de iluminação compreende: uma fonte de iluminação que gera uma pluralidade de pulsos de radiação eletromagnética; e um lúmen que transmite a pluralidade de pulsos de radiação eletromagnética para uma ponta distal de um endoscópio para gerar um quadro de imagem, sendo que a pluralidade de pulsos de radiação eletromagnética compreende um pulso vermelho, um pulso verde e um pulso azul, e compreende adicionalmente um ou mais dentre: um comprimento de onda de excitação de radiação eletromagnética entre 513 nm e 545 nm; um comprimento de onda de excitação de radiação eletromagnética entre 565 nm e 585 nm; um comprimento de onda de excitação de radiação eletromagnética entre 900 nm e 1.000 nm; um comprimento de onda de excitação de radiação eletromagnética que faz com que um reagente apresente fluorescência; ou um padrão de mapa a laser que é emitido para uma superfície de um tecido corporal.
2. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por uma duração de cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo ser variável.
3. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por, durante uma duração de pulso, uma pluralidade de subpulsos de radiação eletromagnética que têm uma subduração ser emitida, e sendo que a subduração é mais curta que a duração de pulso.
4. Sistema endoscópico, de acordo com a reivindicação 3, caracterizado por as subdurações de pulso na duração de pulso serem diferentes para cada subpulso de radiação eletromagnética.
5. Sistema endoscópico, de acordo com a reivindicação 3, caracterizado por as subdurações de pulso na duração de pulso compreenderem dois ou mais subpulsos de radiação eletromagnética com duração igual.
6. Sistema endoscópico, de acordo com a reivindicação 3, caracterizado por um ou mais da pluralidade de subpulsos compreenderem radiação eletromagnética emitida em dois ou mais comprimentos de onda simultaneamente como um único pulso ou um único subpulso.
7. Sistema endoscópico, de acordo com a reivindicação 3, caracterizado por as subdurações da pluralidade de subpulsos serem variáveis tanto nos comprimentos de onda de radiação eletromagnética emitidos como no número de emissões que ocorrem por duração de pulso.
8. Sistema endoscópico, de acordo com a reivindicação 7, caracterizado por as subdurações da pluralidade de subpulsos serem equivalentes a uma duração de pulso único que fornece uma exposição de quadro único da transmissão de vídeo.
9. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética compreender um ou mais conjuntos diferentes de pulsos, sendo que cada um tem uma combinação diferente de tipos de pulso.
10. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética ser ajustável por um usuário do mecanismo de iluminação endoscópica.
11. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o quadro de imagem compreender dados sobrepostos com base em três ou mais pulsos dentre a pluralidade de pulsos de radiação eletromagnética.
12. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o lúmen transmitir repetidamente a pluralidade de pulsos de radiação eletromagnética de modo suficiente para gerar uma transmissão de vídeo que compreende uma pluralidade de quadros de imagem, e sendo que a pluralidade de quadros de imagem compreende uma pluralidade de combinações de dados sobrepostos com base em uma pluralidade de combinações de diferentes tipos de pulsos de radiação eletromagnética.
13. Sistema, de acordo com a reivindicação 1, caracterizado por o lúmen transmitir repetidamente a pluralidade de pulsos de radiação eletromagnética de modo suficiente para gerar uma transmissão de vídeo que compreende uma pluralidade de quadros de imagem, e sendo que cada quadro de imagem da pluralidade de quadros de imagem compreende dados sobrepostos com base em uma combinação única de diferentes tipos de pulsos de radiação eletromagnética.
14. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por compreender ainda um sistema de controle para iluminar a cena, sendo que o sistema de controle ajusta ou altera automaticamente a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo com base em um limite, sendo que o limite determina a iluminação adequada da cena.
15. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo ser um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma única imagem no mostruário como parte da transmissão de vídeo.
16. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo ser um quadro de exposição criado pelo sensor de imagem, e sendo que a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo é exibida a um usuário como uma única imagem no mostruário como parte da transmissão de vídeo.
17. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo ser um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição no mostruário como parte da transmissão de vídeo.
18. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética com o uso de um ou mais emissores de laser.
19. Sistema endoscópico, de acordo com a reivindicação 18, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição são exibidos a um usuário como uma única imagem no mostruário como parte da transmissão de vídeo.
20. Sistema endoscópico, de acordo com a reivindicação 19, caracterizado por a imagem única ser atribuída a uma cor visível para uso no mostruário, e sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
21. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 425 nm e 475 nm.
22. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 520 nm e 545 nm.
23. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 625 nm e 645 nm.
24. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 760 nm e 795 nm.
25. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
26. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 370 nm e 420 nm.
27. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo compreender ainda um comprimento de onda de excitação de radiação eletromagnética entre 600 nm e 670 nm.
28. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o mecanismo de iluminação compreender um filtro de polarização.
29. Sistema endoscópico, de acordo com a reivindicação 28, caracterizado por o filtro de polarização estar situado em uma trajetória da radiação eletromagnética.
30. Sistema endoscópico, de acordo com a reivindicação 29, caracterizado por o filtro de polarização estar situado em uma extremidade proximal do lúmen.
31. Sistema endoscópico, de acordo com a reivindicação 29, caracterizado por o filtro de polarização estar situado em uma extremidade distal do lúmen.
32. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o conjunto de lentes compreender um filtro de radiação eletromagnética.
33. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o conjunto de lentes compreender um filtro de polarização.
34. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso da pluralidade de pulsos de radiação eletromagnética transmitidos ao longo do período de tempo resultar em um quadro de exposição criado pelo sensor de imagem, e sendo que um ou mais quadros de exposição é alimentado a um sistema correspondente, o qual fornecerá a localização das estruturas de tecido de importância crítica na cena.
35. Sistema endoscópico, de acordo com a reivindicação 34, caracterizado por a localização das estruturas de tecido de importância crítica na cena ser recebida pelo sistema endoscópico e sobreposta no mostruário, e sendo que as estruturas de tecido de importância crítica são codificadas para qualquer cor selecionada por um algoritmo ou por um usuário.
36. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sistema compreender ainda um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética que faz com que o reagente apresente fluorescência.
37. Sistema endoscópico, de acordo com a reivindicação 36, caracterizado por o filtro estar situado no ao menos um elemento óptico do conjunto de lentes, de modo que o filtro bloqueie o comprimento de onda de excitação e permita um comprimento de onda do reagente fluorescente através do filtro.
38. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sensor de imagem detectar um comprimento de onda do reagente fluorescente para fornecer uma imagem de uma ou mais estruturas de importância crítica em um corpo humano.
39. Sistema endoscópico, de acordo com a reivindicação 38, caracterizado por a uma ou mais estruturas de importância crítica no corpo humano compreenderem um dentre um nervo, um ureter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo ou um tumor.
40. Sistema endoscópico, de acordo com a reivindicação 38, caracterizado por a uma ou mais estruturas de importância crítica no corpo humano serem células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 770 nm e 790 nm, a uma ou mais dentre as células cancerígenas.
41. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o comprimento de onda de excitação de radiação eletromagnética, que faz com que um reagente apresente fluorescência, estar entre 770 nm e 790 nm.
42. Sistema endoscópico, de acordo com a reivindicação 41, caracterizado por compreender ainda um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 770 nm e a 790 nm.
43. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o comprimento de onda de excitação de radiação eletromagnética, que faz com que um reagente apresente fluorescência, estar entre 795 nm e 815 nm.
44. Sistema endoscópico, de acordo com a reivindicação 43, caracterizado por compreender ainda um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
45. Sistema endoscópico, de acordo com a reivindicação 38, caracterizado por a uma ou mais estruturas de importância crítica no corpo humano serem células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 795 nm e 815 nm, a uma ou mais das células cancerígenas.
46. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o comprimento de onda de excitação de radiação eletromagnética que faz com que um reagente apresente fluorescência compreender: um ou mais pulsos de radiação eletromagnética entre 770 nm e 790 nm; e um ou mais pulsos de radiação eletromagnética entre 795 nm e 815 nm.
47. Sistema endoscópico, de acordo com a reivindicação 46, caracterizado por compreender ainda um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm.
48. Sistema endoscópico, de acordo com a reivindicação 46, caracterizado por compreender ainda um filtro que bloqueia o comprimento de onda de excitação de radiação eletromagnética entre 795 nm e 815 nm.
49. Sistema endoscópico, de acordo com a reivindicação 46, caracterizado por compreender ainda um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm e um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
50. Sistema endoscópico, de acordo com a reivindicação 46, caracterizado por compreender ainda um ou mais filtros que permitem que radiação eletromagnética entre 790 nm e 800 nm e acima de 815 nm atravesse o um ou mais filtros para o sensor de imagem.
51. Sistema endoscópico, de acordo com a reivindicação 38, caracterizado por a uma ou mais estruturas de importância crítica no corpo humano serem células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente a partir de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética, tendo um comprimento de onda entre 770 nm e 790 nm e entre 705 nm e 815 nm, a uma ou mais dentre as células cancerígenas.
52. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o dispositivo de imageamento compreender um primeiro sensor de imagem e um segundo sensor de imagem para produzir uma imagem tridimensional.
53. Sistema endoscópico, de acordo com a reivindicação 52, caracterizado por o primeiro sensor de imagem receber radiação eletromagnética de cerca de 815 nm.
54. Sistema endoscópico, de acordo com a reivindicação 52, caracterizado por o segundo sensor de imagem receber radiação eletromagnética entre 785 nm e 800 nm.
55. Sistema endoscópico, de acordo com a reivindicação 52, caracterizado por o primeiro sensor de imagem compreender um ou mais filtros que filtram a radiação eletromagnética entre 770 nm e 815 nm e o segundo sensor de imagem compreender um ou mais filtros que filtram a radiação eletromagnética entre 760 nm e 785 nm e a radiação eletromagnética entre 800 nm e 850 nm.
56. Sistema endoscópico, de acordo com a reivindicação 52, sendo que o sistema é caracterizado por compreender um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 815 nm.
57. Sistema endoscópico, de acordo com a reivindicação 52, caracterizado por sistema compreender um segundo filtro que filtra radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagnética entre 800 nm e 850 nm.
BR112020012682-9A 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz BR112020012682A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762610888P 2017-12-27 2017-12-27
US62/610,888 2017-12-27
US201862723989P 2018-08-28 2018-08-28
US62/723,989 2018-08-28
PCT/US2018/067747 WO2019133753A1 (en) 2017-12-27 2018-12-27 Hyperspectral imaging in a light deficient environment

Publications (1)

Publication Number Publication Date
BR112020012682A2 true BR112020012682A2 (pt) 2020-11-24

Family

ID=66949640

Family Applications (6)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Family Applications After (5)

Application Number Title Priority Date Filing Date
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Country Status (8)

Country Link
US (8) US11803979B2 (pt)
EP (6) EP3731725A4 (pt)
JP (6) JP2021508546A (pt)
KR (6) KR20200104371A (pt)
CN (6) CN111526776A (pt)
BR (6) BR112020012682A2 (pt)
IL (6) IL275563B1 (pt)
WO (6) WO2019133741A1 (pt)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
KR102118310B1 (ko) * 2012-07-26 2020-06-04 디퍼이 신테스 프로덕츠, 인코포레이티드 단색 센서를 사용한 넓은 동적범위
MX2018006791A (es) 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10565701B2 (en) 2015-11-16 2020-02-18 Applied Materials, Inc. Color imaging for CMP monitoring
US11557048B2 (en) 2015-11-16 2023-01-17 Applied Materials, Inc. Thickness measurement of substrate using color metrology
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11573124B2 (en) * 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
US11100628B2 (en) * 2019-02-07 2021-08-24 Applied Materials, Inc. Thickness measurement of substrate using color metrology
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11134832B2 (en) * 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11172811B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11986160B2 (en) * 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11221414B2 (en) * 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200400566A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11903563B2 (en) * 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11071443B2 (en) 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
DE102019134473A1 (de) 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung
WO2021229900A1 (ja) * 2020-05-13 2021-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
CN112596230B (zh) * 2020-12-16 2022-09-20 航天科工微电子系统研究院有限公司 用于光电跟踪主动层析照明的光路系统
WO2022140291A1 (en) * 2020-12-21 2022-06-30 Singular Genomics Systems, Inc. Systems and methods for multicolor imaging
US11671775B2 (en) * 2020-12-30 2023-06-06 Knowles Electronics, Llc Microphone assembly with transducer sensitivity drift compensation and electrical circuit therefor
US11963727B2 (en) * 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image
CN113393539B (zh) * 2021-06-08 2023-05-26 北方工业大学 化学反应溶液颜色突变识别方法
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
WO2024013303A1 (de) * 2022-07-14 2024-01-18 Karl Storz Se & Co. Kg Beleuchtungsvorrichtung, bildgebungsvorrichtung mit einer beleuchtungsvorrichtung, bildgebungssystem, verfahren zur erzeugung von beleuchtungslicht und verfahren zum betrieb einer bildgebungsvorrichtung
CN116725467B (zh) * 2023-03-31 2024-03-01 苏州宇懋医学科技有限公司 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3844047A (en) 1973-01-29 1974-10-29 R Carson Electronic micrometers employing digital processing techniques
JPS5940830A (ja) 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
US5318024A (en) * 1985-03-22 1994-06-07 Massachusetts Institute Of Technology Laser endoscope for spectroscopic imaging
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JPH04158205A (ja) * 1990-10-23 1992-06-01 Toshiba Corp 形状計測内視鏡装置
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5363387A (en) 1992-11-18 1994-11-08 Rare Earth Medical, Inc. Variable pulsewidth lasers
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5902246A (en) * 1996-03-26 1999-05-11 Lifespex, Incorporated Method and apparatus for calibrating an optical probe
DE19612536A1 (de) * 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
NL1005068C2 (nl) * 1997-01-23 1998-07-27 Ct Rrn Academisch Ziekenhuis U Cathetersysteem en een daarvan deel uitmakende catheter.
US6937885B1 (en) * 1997-10-30 2005-08-30 Hypermed, Inc. Multispectral/hyperspectral medical instrument
WO1999037204A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6110106A (en) 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
DE60024059T2 (de) 1999-01-26 2006-07-20 Newton Laboratories, Inc., Woburn Vorrichtung zur autofluoreszensbildgebung für ein endoskop
US20050270528A1 (en) * 1999-04-09 2005-12-08 Frank Geshwind Hyper-spectral imaging methods and devices
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP3850192B2 (ja) * 1999-12-09 2006-11-29 株式会社ニデック 眼底撮影装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
AU2001251164B2 (en) 2000-03-28 2006-11-02 Board Of Regents, The University Of Texas System Methods and apparatus for diagnostic multispectral digital imaging
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6748259B1 (en) 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10107586A1 (de) * 2001-02-10 2002-08-14 Biotronik Mess & Therapieg Endoskopischer Katheter
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
JP2002315721A (ja) * 2001-04-20 2002-10-29 Mitaka Koki Co Ltd 癌組織摘出手術用の立体視システム
CN1316427C (zh) 2001-07-12 2007-05-16 杜莱布斯公司 产生与装置链的装置的缺陷相关的格式化信息的方法和系统
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US6995841B2 (en) 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
US6985622B2 (en) 2001-09-21 2006-01-10 Hewlett-Packard Development Company, L.P. System and method for color correcting electronically captured images by determining input media types using color correlation matrix
US20040092958A1 (en) * 2001-11-15 2004-05-13 Limonadi Farhad M. Stereotactic wands, endoscopes and methods using such wands and endoscopes
WO2003068064A1 (en) 2002-02-12 2003-08-21 Science & Engineering Associates, Inc. Cancer detection and adaptive dose optimization treatment system
WO2003070098A2 (en) 2002-02-19 2003-08-28 Biophan Technologies, Inc. Magnetic resonance imaging capable catheter assembly
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
GB0217570D0 (en) 2002-07-30 2002-09-11 Univ Birmingham Method and apparatus for quantifying material or object properties
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
EP1680024A2 (en) 2003-10-21 2006-07-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
US20050205758A1 (en) 2004-03-19 2005-09-22 Almeida Leo A Method and apparatus for multi-spectral photodetection
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2008514970A (ja) 2004-09-24 2008-05-08 オプティスキャン ピーティーワイ リミテッド 走査装置
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US7826878B2 (en) * 2004-12-07 2010-11-02 Research Foundation Of City University Of New York Optical tomography using independent component analysis for detection and localization of targets in turbid media
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
EP2703871A3 (en) 2005-05-25 2014-09-03 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2006325973A (ja) * 2005-05-26 2006-12-07 Olympus Medical Systems Corp 画像生成装置
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
US20070086495A1 (en) * 2005-08-12 2007-04-19 Sprague Randall B Method and apparatus for stable laser drive
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4677636B2 (ja) * 2005-12-13 2011-04-27 日本電信電話株式会社 オプティカル・コヒーレンス・トモグラフィー装置及びこれに用いる可変波長光発生装置
JP4744288B2 (ja) 2005-12-21 2011-08-10 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20090303317A1 (en) * 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP4769952B2 (ja) 2006-02-22 2011-09-07 国立大学法人九州工業大学 レーザー光による指先血流測定を利用した個人認証方法及び個人認証装置
US7990524B2 (en) 2006-06-30 2011-08-02 The University Of Chicago Stochastic scanning apparatus using multiphoton multifocal source
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US20080090220A1 (en) 2006-08-28 2008-04-17 Vincent Freeman Modular virtual learning system and method
DE102006046925A1 (de) * 2006-09-28 2008-04-03 Jenlab Gmbh Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
AU2008207265B2 (en) * 2007-01-19 2013-08-01 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US20080177140A1 (en) 2007-01-23 2008-07-24 Xillix Technologies Corp. Cameras for fluorescence and reflectance imaging
JP2008259595A (ja) * 2007-04-10 2008-10-30 Hamamatsu Photonics Kk 蛍光観察装置
EP2207595A4 (en) * 2007-10-19 2012-10-24 Lockheed Corp SYSTEM AND METHOD FOR THE TREATMENT OF ANIMAL TISSUE USING LASER LIGHT
WO2009064746A2 (en) * 2007-11-12 2009-05-22 Cornell University Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods
EP3869205B1 (en) 2008-01-21 2023-11-22 Nexus Dx, Inc. Thin-film layered centrifuge device and analysis method using the same
JP5165400B2 (ja) 2008-01-23 2013-03-21 オリンパス株式会社 光源装置
US9052384B2 (en) * 2008-05-22 2015-06-09 The Trustees Of Dartmouth College System and method for calibration for image-guided surgery
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
US8506478B2 (en) 2008-06-04 2013-08-13 Fujifilm Corporation Illumination device for use in endoscope
GB0812712D0 (en) * 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20120273470A1 (en) 2011-02-24 2012-11-01 Zediker Mark S Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits
AU2009303690B2 (en) * 2008-09-26 2014-06-19 Tocagen Inc. Gene therapy vectors and cytosine deaminases
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP2010125284A (ja) * 2008-12-01 2010-06-10 Fujifilm Corp 撮像システム
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Ｈｏｙａ株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US8986302B2 (en) 2009-10-09 2015-03-24 Ethicon Endo-Surgery, Inc. Surgical generator for ultrasonic and electrosurgical devices
JP5795599B2 (ja) 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
WO2011091283A1 (en) * 2010-01-22 2011-07-28 Board Of Regents, The University Of Texas System Systems, devices and methods for imaging and surgery
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US9044142B2 (en) * 2010-03-12 2015-06-02 Carl Zeiss Meditec Ag Surgical optical systems for detecting brain tumors
JP2011206227A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP5919258B2 (ja) 2010-04-22 2016-05-18 プリサイス ライト サージカル インコーポレイテッド フラッシュ蒸発手術システム
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置
JP2012016545A (ja) 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP5544231B2 (ja) * 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
DE102010050227A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
JP5292379B2 (ja) * 2010-11-09 2013-09-18 富士フイルム株式会社 内視鏡装置
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
JP5526000B2 (ja) * 2010-11-15 2014-06-18 富士フイルム株式会社 内視鏡及び内視鏡用光源装置
WO2012116339A1 (en) * 2011-02-24 2012-08-30 Olive Medical Corporation Imaging sensor providing improved visualization for surgical scopes
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
CN102279048B (zh) * 2011-04-12 2013-01-23 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
US9979949B2 (en) * 2011-07-13 2018-05-22 Viking Systems, Inc Method and apparatus for obtaining stereoscopic 3D visualization using commercially available 2D endoscopes
GB201113138D0 (en) * 2011-07-29 2011-09-14 Univ East Anglia Method, system and device for detecting insects and other pests
JP5709691B2 (ja) * 2011-08-23 2015-04-30 富士フイルム株式会社 内視鏡装置
US8827990B2 (en) 2011-09-29 2014-09-09 Biolase, Inc. Methods for treating eye conditions
WO2013101669A2 (en) 2011-12-27 2013-07-04 Parasher Vinod METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES
US9103528B2 (en) 2012-01-20 2015-08-11 Lumencor, Inc Solid state continuous white light source
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US8986199B2 (en) * 2012-02-17 2015-03-24 Ethicon Endo-Surgery, Inc. Apparatus and methods for cleaning the lens of an endoscope
EP2719317A4 (en) 2012-03-30 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE
JP5965726B2 (ja) 2012-05-24 2016-08-10 オリンパス株式会社 立体視内視鏡装置
US10953241B2 (en) 2012-05-25 2021-03-23 Ojai Retinal Technology, Llc Process for providing protective therapy for biological tissues or fluids
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
MX2018006791A (es) * 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
WO2014134314A1 (en) 2013-03-01 2014-09-04 The Johns Hopkins University Light sources, medical devices, and methods of illuminating an object of interest
US9456752B2 (en) * 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
WO2014152757A2 (en) 2013-03-15 2014-09-25 Stryker Corporation Endoscopic light source and imaging system
JP5695808B1 (ja) 2013-04-19 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
US10165972B2 (en) 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
US20150030542A1 (en) 2013-07-26 2015-01-29 Sunil Singhal Methods for medical imaging
WO2015016172A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、内視鏡システムの作動方法
CN105377111B (zh) * 2013-08-01 2017-08-04 奥林巴斯株式会社 内窥镜系统
JP5891208B2 (ja) 2013-08-13 2016-03-22 Hoya株式会社 内視鏡用照明光学系
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6129731B2 (ja) * 2013-12-24 2017-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102014002514B4 (de) * 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015167929A1 (en) * 2014-04-28 2015-11-05 Cardiofocus, Inc. System and method for visualizing tissue with an icg dye composition during ablation procedures
CN103989459B (zh) * 2014-05-20 2021-05-18 曾堃 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜
US9696200B2 (en) * 2014-05-23 2017-07-04 Abl Ip Holding Llc Combinatorial light device for general lighting and lighting for machine vision
US10684224B2 (en) 2014-06-05 2020-06-16 Universität Heidelberg Method and means for multispectral imaging
JP6253527B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6251888B2 (ja) 2014-06-25 2017-12-27 パナソニックＩｐマネジメント株式会社 投影システム
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US9547165B2 (en) 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
AU2015327665B2 (en) * 2014-09-29 2018-09-27 Stryker European Operations Limited Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10473916B2 (en) 2014-09-30 2019-11-12 Washington University Multiple-view compressed-sensing ultrafast photography (MV-CUP)
CN204207717U (zh) * 2014-10-13 2015-03-18 佛山市南海区欧谱曼迪科技有限责任公司 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
JP6456129B2 (ja) * 2014-12-15 2019-01-23 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに光量制御方法
JP6657224B2 (ja) * 2014-12-16 2020-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 波長帯選択による画像化を用いた尿管検出
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
DE102015003019A1 (de) 2015-03-06 2016-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
JP2016202726A (ja) * 2015-04-27 2016-12-08 ソニー株式会社 光線力学診断装置及び光線力学診断方法
US10397489B2 (en) * 2015-05-15 2019-08-27 Sony Corporation Light source control device, method of controlling light source, and image capture system
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
CN114674825A (zh) 2015-09-17 2022-06-28 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
WO2017066493A1 (en) * 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
TWI537762B (zh) * 2016-01-12 2016-06-11 Application of hyperfamily imaging to identification of cancerous lesions
US9939231B2 (en) * 2016-01-20 2018-04-10 Raytheon Company Dual-band semi-active laser system
WO2017127929A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies Inc. Configurable platform
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
US10690904B2 (en) * 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
WO2017201093A1 (en) 2016-05-17 2017-11-23 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
JPWO2017221336A1 (ja) 2016-06-21 2019-04-11 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6660823B2 (ja) * 2016-06-24 2020-03-11 富士フイルム株式会社 内視鏡装置
US10709333B2 (en) 2016-07-25 2020-07-14 PhotoSound Technologies, Inc. Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use
CN115778543A (zh) 2016-09-09 2023-03-14 直观外科手术操作公司 同时带有白光和高光谱光的成像系统
JP6364050B2 (ja) * 2016-09-13 2018-07-25 パナソニック株式会社 内視鏡システム
US10386489B2 (en) 2017-02-01 2019-08-20 Jeffrey Albelo Beam scanner for autonomous vehicles
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
WO2019123796A1 (ja) 2017-12-22 2019-06-27 オリンパス株式会社 内視鏡システム
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
CN111526776A (zh) 2020-08-11
EP3731724A4 (en) 2021-10-13
KR20200104379A (ko) 2020-09-03
EP3731728A4 (en) 2021-08-25
US11803979B2 (en) 2023-10-31
KR20200104371A (ko) 2020-09-03
JP2021508546A (ja) 2021-03-11
US20190191978A1 (en) 2019-06-27
US20190191974A1 (en) 2019-06-27
EP3731727A1 (en) 2020-11-04
US20240054666A1 (en) 2024-02-15
WO2019133741A1 (en) 2019-07-04
JP2021508560A (ja) 2021-03-11
IL275579A (en) 2020-08-31
IL275564A (en) 2020-08-31
US11900623B2 (en) 2024-02-13
EP3731725A1 (en) 2020-11-04
US20190191975A1 (en) 2019-06-27
KR20200104377A (ko) 2020-09-03
WO2019133739A1 (en) 2019-07-04
CN111526774A (zh) 2020-08-11
US11574412B2 (en) 2023-02-07
BR112020012708A2 (pt) 2020-11-24
EP3731725A4 (en) 2021-10-13
JP2021508547A (ja) 2021-03-11
IL275565A (en) 2020-08-31
KR20200104373A (ko) 2020-09-03
WO2019133753A1 (en) 2019-07-04
WO2019133736A1 (en) 2019-07-04
US20190191976A1 (en) 2019-06-27
KR20200104372A (ko) 2020-09-03
EP3731724A1 (en) 2020-11-04
IL275571A (en) 2020-08-31
BR112020012744A2 (pt) 2020-12-01
EP3731723A1 (en) 2020-11-04
US20190197712A1 (en) 2019-06-27
EP3731726A4 (en) 2021-10-27
BR112020012741A2 (pt) 2020-12-01
JP2021508542A (ja) 2021-03-11
JP2021509337A (ja) 2021-03-25
EP3731726A1 (en) 2020-11-04
CN111601536A (zh) 2020-08-28
WO2019133750A1 (en) 2019-07-04
BR112020012594A2 (pt) 2020-11-24
CN111526777A (zh) 2020-08-11
IL275574A (en) 2020-08-31
IL275563B1 (en) 2024-03-01
CN111565620A (zh) 2020-08-21
WO2019133737A1 (en) 2019-07-04
US20230186497A1 (en) 2023-06-15
CN111526775A (zh) 2020-08-11
JP2021508543A (ja) 2021-03-11
EP3731727A4 (en) 2021-10-20
US20190191977A1 (en) 2019-06-27
KR20200104375A (ko) 2020-09-03
EP3731728A1 (en) 2020-11-04
US11823403B2 (en) 2023-11-21
BR112020012999A2 (pt) 2020-12-01
EP3731723A4 (en) 2021-10-20
IL275563A (en) 2020-08-31
CN111601536B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
BR112020012682A2 (pt) imageamento hiperespectral em um ambiente com deficiência de luz
US11294062B2 (en) Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
CN114128243A (zh) 在缺光环境中利用拓扑激光扫描进行超光谱和荧光成像
CN114449940A (zh) 在缺光环境中的激光扫描和工具跟踪成像
CN114175609A (zh) 缺光环境中的超光谱成像

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]