BR112020012999A2 - imageamento por fluorescência em um ambiente deficiente de luz - Google Patents

imageamento por fluorescência em um ambiente deficiente de luz Download PDF

Info

Publication number
BR112020012999A2
BR112020012999A2 BR112020012999-2A BR112020012999A BR112020012999A2 BR 112020012999 A2 BR112020012999 A2 BR 112020012999A2 BR 112020012999 A BR112020012999 A BR 112020012999A BR 112020012999 A2 BR112020012999 A2 BR 112020012999A2
Authority
BR
Brazil
Prior art keywords
electromagnetic radiation
light
image
endoscopic system
image sensor
Prior art date
Application number
BR112020012999-2A
Other languages
English (en)
Inventor
Joshua D. Talbert
Donald M. Wichern
Original Assignee
Ethicon Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ethicon Llc filed Critical Ethicon Llc
Publication of BR112020012999A2 publication Critical patent/BR112020012999A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00066—Proximal part of endoscope body, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G01J2003/4334—Modulation spectrometry; Derivative spectrometry by modulation of source, e.g. current modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

A presente invenção refere-se a um sistema de imageamento endoscópico para uso em um ambiente deficiente de luz que inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes que inclui ao menos um elemento óptico que corresponde ao um ou mais sensores de imagem. O sistema endoscópico inclui uma tela de exibição para que um usuário visualize uma cena e um controlador de processamento de sinal de imagem. O sistema endoscópico inclui um mecanismo de luz tendo uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio.

Description

Relatório Descritivo da Patente de Invenção para "IMAGEA-
MENTO POR FLUORESCÊNCIA EM UM AMBIENTE DEFICIENTE DE LUZ". ANTECEDENTES DA INVENÇÃO
[0001] Os avanços tecnológicos permitiram avanços nas capacida- des de imageamento para uso médico. Um endoscópio pode ser usado para visualizar o interior de um corpo e examinar o interior de um órgão ou cavidade do corpo. Os endoscópios podem ser usados para inves- tigar os sintomas de um paciente, confirmar um diagnóstico ou aplicar tratamento médico. Um endoscópio médico pode ser usado para visu- alizar vários sistemas e partes corporais, incluindo, por exemplo, o trato gastrointestinal, o trato respiratório, o trato urinário, a cavidade abdominal por meio de uma pequena incisão etc. Os endoscópios po- dem ser adicionalmente usados para procedimentos cirúrgicos, como procedimentos de cirurgia plástica, procedimentos realizados em arti- culações ou ossos, procedimentos realizados no sistema neurológico, procedimentos realizados dentro da cavidade abdominal etc.
[0002] Os endoscópios também têm sido usados em campos não médicos para visualizar e inspecionar espaços que podem ser inaces- síveis ou de difícil visualização. Por exemplo, os endoscópios podem ser usados por planejadores ou arquitetos para visualizar modelos em escala de edifícios ou cidades propostos. Os endoscópios podem ser usados para visualizar um espaço interno de um sistema complexo, como um computador. Os endoscópios podem ser até usados por au- toridades policiais ou por militares para realizar a vigilância em espa- ços apertados ou para examinar dispositivos explosivos.
[0003] Entre seus vários usos, os endoscópios podem ser benéficos para visualizar um espaço em cores. Uma imagem colorida digital pode incluir ao menos três camadas, ou "canais de cor" para cada pixel da imagem. Cada um dos canais de cor mede a intensidade e a crominân- cia da luz para uma banda espectral. Comumente, uma imagem colorida digital inclui um canal de cor para as bandas espectrais vermelha, verde e azul de luz (essa pode ser denominada uma imagem RGB). Cada um dos canais de cor vermelho, verde e azul inclui informação de brilho para a banda espectral vermelha, verde ou azul de luz. As informações de brilho das camadas vermelha, verde e azul separadas podem ser com- binadas para criar uma imagem colorida digital. Pelo fato de uma ima- gem colorida ser composta por camadas separadas, um sensor de ima- gem de câmera digital comumente inclui uma matriz de filtro de cor que permite que comprimentos de onda de luz visível vermelha, verde e azul atinjam sensores de pixel selecionados. Cada elemento de sensor de pixel individual é sensibilizado para comprimentos de onda vermelha, verde ou azul e somente retornará dados de imagem para aquele com- primento de onda. Os dados de imagem da matriz total de sensores de pixel são combinados para gerar a imagem RGB.
[0004] No caso de imageamento endoscópico para diagnósticos mé- dicos ou procedimentos médicos, pode ser benéfico ou mesmo necessário visualizar uma cavidade corporal com imagens coloridas. Por exemplo, se um endoscópio for usado para visualizar a cavidade abdominal de um corpo, uma imagem colorida pode fornecer informações valiosas para aju- dar a identificar diferentes órgãos ou tecidos dentro do abdômen ou para identificar certas condições ou doenças dentro do espaço. Conforme dis- cutido acima, uma câmera digital capaz de capturar imagens coloridas pode ter ao menos três tipos distintos de sensores de pixel para capturar individualmente as camadas vermelha, verde e azul camadas das ima- gens coloridas. Os ao menos três tipos distintos de sensores de pixel po- dem consumir um espaço físico relativamente significativo (quando com- parado com uma matriz de pixel agnóstica em termos de cor), de modo que a matriz de pixel completa não pode se encaixar na pequena extremi- dade distal do endoscópio que é inserido no corpo. Uma vez que as câ- meras digitais coloridas podem incluir os ao menos três tipos distintos de sensores de pixel, uma matriz de pixel total (ou seja, o sensor de imagem) fica comumente localizada em uma unidade de empunhadura de um en- doscópio que é seguro por um operador de endoscópio e não é colocado dentro da cavidade corporal. Para um endoscópio desse tipo, a luz é trans- miítida ao longo do comprimento do endoscópio desde a unidade de em- punhadura até a extremidade distal do endoscópio que é colocado dentro da cavidade corporal. Essa configuração de endoscópio tem limitações significativas. Os endoscópios com essa configuração são delicados e po- dem ser facilmente desalinhados ou danificados quando colididos ou im- pactados durante o uso regular. Isso pode degradar significativamente a qualidade das imagens geradas pelo endoscópio e exigir que o endoscó- pio seja frequentemente reparado ou substituído.
[0005] Em alguns casos, e particularmente no caso de imageamento médico ou procedimentos médicos, pode ser benéfico ver mais que uma imagem colorida. As imagens coloridas refletem o que o olho humano de- tecta ao olhar para um ambiente. Entretanto, o olho humano é limitado a visualizar somente luz visível e não pode detectar outros comprimentos de onda do espectro eletromagnético. Em outros comprimentos de onda do espectro eletromagnético além dos comprimentos de onda de "luz visível", informações adicionais sobre um ambiente podem ser obtidas. Um método de detecção de informações adicionais sobre um ambiente, além do que o olho humano é capaz de detectar, consiste no uso de reagentes fluores- centes. No caso de imageamento para fins médicos, os reagentes fluores- centes podem fornecer uma visualização exclusiva de uma cavidade cor- poral que destaca certos tecidos, estruturas ou condições que o olho hu- mano ou um programa de computador não podem detectar em uma ima- gem RGB.
[0006] A fluorescência é a emissão de luz por uma substância que absorveu luz ou outra radiação eletromagnética. Determinados materiais fluorescentes podem "brilhar" ou emitir uma cor distinta que é visível ao olho humano quando o material fluorescente é submetido a luz ultravioleta ou outros comprimentos de onda de radiação eletromagnética. Certos ma- teriais fluorescentes pararão de brilhar quase imediatamente quando a fonte de radiação parar.
[0007] A fluorescência ocorre quando um elétron orbital de uma molécula, átomo ou nanoestrutura é excitada por luz ou outra radiação eletromagnética e, então, relaxa até seu estado fundamental pela emissão de um fóton a partir do estado excitado. As frequências espe- cíficas de radiação eletromagnética que excitam o elétron orbital, ou que são emitidas pelo fóton durante o relaxamento, dependem do átomo, molécula ou nanoestrutura em particular. Na maioria dos casos, a luz emitida pela substância possui um comprimento de onda maior e, portanto, menor energia do que a radiação que foi absorvida pela substância. Entretanto, quando a radiação eletromagnética absorvida é intensa, é possível que um elétron absorva dois fótons. Essa absor- ção de dois fótons pode levar à emissão de radiação tendo um compri- mento de onda mais curto e, portanto, maior energia do que a radiação absorvida. Adicionalmente, a radiação emitida pode também ter o mesmo comprimento de onda que a radiação absorvida.
[0008] O imageamento por fluorescência tem diversas aplicações práticas, inclusive em mineralogia, gemologia, medicina, espectroscopia para sensores químicos, detecção de processos ou sinais biológicos etc. A fluorescência pode ser particularmente usada em bioquímica e medicina como um meio não destrutivo para rastrear ou analisar molé- culas biológicas. As moléculas biológicas, incluindo certos tecidos ou estruturas, podem ser rastreadas pela análise da emissão fluorescente das moléculas biológicas depois de serem excitadas por um certo com- primento de onda de radiação eletromagnética. Entretanto, relativa- mente poucos componentes celulares são naturalmente fluorescentes. Em certas implementações, pode ser desejável visualizar um certo te- cido, estrutura, processo químico ou processo biológico que não é in- trinsicamente fluorescente. Nessa implementação, pode ser adminis- trado ao corpo um corante ou reagente que pode incluir uma molécula, proteína ou ponto quântico tendo propriedades fluorescentes. O rea- gente ou corante pode, então, apresentar fluorescência depois de ser excitado por um certo comprimento de onda de radiação eletromagné- tica. Diferente reagentes ou corantes podem incluir diferentes molécu- las, proteínas e/ou pontos quânticos que irão apresentar fluorescência em determinados comprimentos de onda de radiação eletromagnética. Assim, pode ser necessário excitar o reagente ou corante com uma banda de radiação eletromagnética especializada para apresentar fluo- rescência e identificar o tecido, estrutura ou processo desejado no corpo.
[0009] O imageamento por fluorescência pode fornecer informa- ções valiosas no campo médico que podem ser usadas para fins diag- nósticos e/ou que podem ser visualizadas em tempo real durante um procedimento médico. Os reagentes ou corantes especializados podem ser administrados a um corpo para apresentar fluorescência em certos tecidos, estruturas, processos químicos ou processos biológicos. A flu- orescência do reagente ou corante pode destacar estruturas corporais, como vasos sanguíneos, nervos, órgãos em particular etc. Adicional- mente, a fluorescência do reagente ou corante pode destacar condições ou doenças como células cancerosas ou células que sofrem algum pro- cesso biológico ou químico que pode estar associado a uma condição ou doença. O imageamento por fluorescência pode ser usado em tempo real por um profissional da área médica ou programa de computador para fazer distinção entre, por exemplo, células cancerosas e células não cancerosas durante uma extração cirúrgica de tumor. O imagea- mento por fluorescência pode ser adicionalmente usado como um meio não destrutivo para rastrear e visualizar, ao longo do tempo, uma con- dição no corpo que de outra maneira não seria visível pelo olho humano ou distinguível em uma imagem RGB.
[0010] Entretanto, o imageamento por fluorescência exige emissões especializadas de radiação eletromagnética e pode adicionalmente exi- gir sensores de imageamento especializados capazes de ler o compri- mento de onda de radiação eletromagnética que é emitida pela estrutura ou reagente que apresentou fluorescência. Diferentes reagentes ou co- rantes podem ser sensíveis a diferentes comprimentos de onda de radi- ação eletromagnética e podem adicionalmente emitir diferentes compri- mentos de onda de radiação eletromagnética quando tiverem apresen- tado fluorescência. Os sistemas de imageamento podem ser, então, al- tamente especializados e adaptados para um determinado reagente ou corante, de modo que o sistema seja configurado para emitir determina- dos comprimentos de onda de radiação eletromagnética e inclua senso- res de imageamento configurados para lerem determinados comprimen- tos de onda de radiação eletromagnética. Esses sistemas de imagea- mento podem ser úteis em aplicações muito limitadas e podem não ser capazes de apresentar fluorescência em mais que um reagente ou es- trutura durante uma única sessão de imageamento. Pode ser muito dis- pendiosa a necessidade de múltiplos sistemas distintos de imagea- mento que são, cada um, configurados para apresentarem fluorescên- cia em um reagente ou corante em particular. Adicionalmente, pode ser desejável administrar múltiplos reagentes ou corantes que são, cada um, configurados para apresentarem fluorescência em uma estrutura ou condição diferente e visualizar o imageamento por fluorescência para cada um dos reagentes ou corantes em uma imagem sobreposta única.
[0011] Além disso, pode ser desejável sobrepor o imageamento por fluorescência sobre uma imagem em preto e branco ou colorida para fornecer contexto para um profissional da área médica ou algoritmo de computador. Historicamente, isso exigiria o uso de uma câmera (ou múl- tiplas câmeras) tendo vários tipos distintos de sensores de pixel que são, cada um deles, sensíveis para distintas faixas de radiação eletro- magnética. Isso pode incluir os três tipos separados de sensores de pixel para gerar uma imagem RGB colorida por meio de métodos con- vencionais, em combinação com sensores de pixel adicionais para gerar os dados de imagem de fluorescência em diferentes comprimentos de onda do espectro eletromagnético. Isso pode consumir um espaço físico relativamente grande e necessita de uma grande matriz de pixel para garantir que a resolução da imagem seja satisfatória. No caso de ima- geamento endoscópico, a câmera ou câmeras pode ser colocada em uma unidade manual ou unidade robótica do endoscópio, uma vez que os múltiplos sensores de pixel sensíveis a comprimento de onda exigem muito espaço físico e necessitam que uma matriz de pixel muito grande seja colocada na extremidade distal do endoscópio dentro da cavidade corporal. Isso gera as mesmas desvantagens mencionadas acima e pode fazer com que o endoscópio seja muito delicado, de modo que a qualidade da imagem seja significativamente degradada quando o en- doscópio é colidido ou impactado durante o uso.
[0012] A presente descrição refere-se, de modo geral, à detecção ele- tromagnética e sensores que podem ser aplicáveis ao imageamento en- doscópico. A descrição também se refere a condições de entrada eletro- magnética de baixa energia, bem como a condições de emissão eletro- magnética de baixa energia. A descrição se refere mais particularmente, porém não totalmente necessariamente, a um sistema para produzir uma imagem em ambientes deficientes de luz e estruturas, métodos e recursos associados, o que pode incluir o controle de uma fonte de luz pela duração,
intensidade ou ambas, a pulsação de uma fonte de luz controlada por com- ponente durante o período de supressão de um sensor de imagem, maxi- mização do período de supressão para permitir luz ideal, e manutenção do equilíbrio de cor.
[0013] As características e vantagens da descrição serão apresen- tadas na descrição a seguir e, em parte, se tornarão evidentes a partir da descrição, ou poderão ser aprendidas pela prática da descrição sem a indevida experimentação. As características e vantagens da presente descrição podem ser realizadas e obtidas por meio dos instrumentos e combinações particularmente ressaltadas nas reivindicações anexas.
BREVE DESCRIÇÃO DOS DESENHOS
[0014] Implementações não limitadoras e não exaustivas da descri- ção são descritas com referência às figuras a seguir, sendo que números de referência similares se referem a partes similares ao longo das várias vistas, salvo especificação em contrário. As vantagens da descrição serão mais bem compreendidas com referência à seguinte descrição e desenhos anexos em que:
[0015] A Figura 1 é uma vista esquemática de uma modalidade de um sistema de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente de- ficiente de luz, de acordo com uma modalidade;
[0016] A Figura 2 é uma vista esquemática de um hardware de sis- tema complementar;
[0017] As Figuras 2A a 2D são ilustrações dos ciclos operacionais de um sensor usado para construir um quadro de imagem, de acordo com modalidades da descrição;
[0018] A Figura 3 é uma representação gráfica da operação de uma modalidade de um emissor eletromagnético, de acordo com uma modali- dade;
[0019] A Figura 4 é uma representação gráfica da variação da du- ração e magnitude do pulso eletromagnético emitido para fornecer con- trole da exposição, de acordo com uma modalidade;
[0020] A Figura 5 é uma representação gráfica de uma modalidade da descrição que combina os ciclos operacionais de um sensor, o emis- sor eletromagnético e os pulsos eletromagnéticos emitidos das Figuras 2A a 4, que demonstram o sistema de imageamento durante a opera- ção, de acordo com uma modalidade;
[0021] A Figura 6 ilustra um esquema de dois processos distintos du- rante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado, de acordo com uma modalidade;
[0022] As Figuras 7A a 7E ilustram vistas esquemáticas dos pro- cessos durante um intervalo de tempo para gravar um quadro de vídeo tanto para luz de espectro completo quanto para luz de espectro parti- cionado de acordo com os princípios e ensinamentos da descrição;
[0023] As Figuras 8 a 12 ilustram o ajuste tanto do emissor eletromag- nético quanto do sensor, sendo que o dito ajuste pode ser realizado simul- taneamente em algumas modalidades de acordo com os princípios e en- sinamentos da descrição;
[0024] As Figuras 13 a 21 ilustram métodos de correção do sensor e esquemas de hardware para uso com um sistema de luz particio- nada, de acordo com modalidades da descrição;
[0025] As Figuras 22 a 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da descrição;
[0026] A Figura 24 ilustra o impacto sobre a razão sinal/ruído da cor- reção de cor para um típico sensor do tipo Bayer em comparação com a ausência de correção de cor;
[0027] A Figura 25 ilustra a cromaticidade de 3 lasers monocromáticos em comparação com a gama sRGB;
[0028] As Figuras 26 a 27B ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da descrição;
[0029] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada com um sensor de cor cor- respondente, de acordo com modalidades da descrição;
[0030] As Figuras 29A e 29B ilustram uma implementação tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, de acordo com modalidades da descrição;
[0031] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento construído sobre uma pluralidade de substratos, sendo que uma pluralidade de colunas de pixel que formam a matriz de pixel está localizada no primeiro substrato e uma pluralidade de co- lunas de circuito está localizada em um segundo substrato e mostra uma conexão elétrica e comunicação entre uma coluna de pixels e sua coluna de circuito associada ou correspondente;
[0032] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, sendo que a pluralidade de ma- trizes de pixel e o sensor de imagem são construídos sobre uma plu- ralidade de substratos;
[0033] As Figuras 32 a 36 ilustram modalidades de emissores que compreendem diversas configurações de filtro mecânico e obturador, de acordo com modalidades da descrição;
[0034] A Figura 37 é um diagrama esquemático que ilustra um sis- tema para fornecer iluminação a um ambiente deficiente de luz de acordo com uma modalidade;
[0035] A Figura 38 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com uma modalidade;
[0036] A Figura 39 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com outra modalidade;
[0037] A Figura 40 é um diagrama de blocos esquemático que ilustra uma fonte de luz que tem uma pluralidade de emissores, de acordo com ainda outra modalidade;
[0038] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica emitindo por meio de um difusor em uma saída para iluminar uma cena, de acordo com uma modalidade;
[0039] A Figura 42 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modali- dade;
[0040] A Figura 43 ilustra uma porção do espectro eletromagnético dividida em uma pluralidade de diferentes subespectros que podem ser emitidos por emissores de uma fonte de luz, de acordo com uma mo- dalidade;
[0041] A Figura 44 é um diagrama esquemático que ilustra um dia- grama de temporização para emissão e leitura a fim de gerar uma ima- gem multiespectral ou hiperespectral, de acordo com uma modalidade;
[0042] A Figura 45 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modali- dade;
[0043] A Figura 46 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de uma pluralidade de filtros, de acordo com uma modalidade;
[0044] A Figura 47 é um diagrama esquemático que ilustra uma matriz de grade para rastreamento de objeto e/ou superfície, de acordo com uma modalidade;
[0045] A Figura 48 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem multies- pectral ou hiperespectral, de acordo com uma modalidade; e
[0046] A Figura 49 é um diagrama de fluxo esquemático que ilustra um método para emissão e leitura a fim de gerar uma imagem de fluo- rescência, de acordo com uma modalidade.
DESCRIÇÃO DETALHADA
[0047] A descrição se estende a métodos, sistemas e produtos ba- seados em computador para imageamento digital que podem ser princi- palmente adequados para aplicações médicas como imageamento mé- dico endoscópico. Esses métodos, sistemas e produtos baseados em computador conforme descritos na presente invenção podem fornecer imageamento ou capacidades diagnósticas para uso em aplicações mé- dicas robóticas, como o uso de robótica para realizar procedimentos de imageamento, procedimentos cirúrgicos e similares. Na descrição da descrição a seguir, é feita referência aos desenhos anexos, os quais fa- zem parte da mesma, e nos quais são mostradas, por meio de ilustração, implementações específicas nas quais a descrição pode ser coloca em prática. É compreendido que outras implementações podem ser usadas e que alterações estruturais podem ser feitas sem que se afaste do es- copo da descrição.
[0048] Os endoscópios têm uma grande variedade de usos e po- dem fornecer benefícios significativos no campo médico. A endoscopia é usada em medicina para visualizar o interior de um corpo e, em al- guns casos, pode fornecer imageamento que de outra maneira seria impossível ver ou exigiria procedimentos cirúrgicos invasivos. Os en- doscópios podem ser usados para diagnósticos médicos, investigação, ou pesquisa, e também podem ser usados para realizar procedimentos médicos de uma maneira minimamente invasiva. Os endoscópios mé- dicos podem fornecer benefícios significativos a pacientes e profissio- nais da área médica ao eliminar a necessidade de cirurgias corretivas ou exploratórias dolorosas e invasivas.
[0049] Como descrito na presente invenção, um sistema endoscópico para uso em um ambiente deficiente de luz, como uma cavidade de um corpo, pode incluir um dispositivo de imageamento e um mecanismo de luz. O mecanismo de luz pode incluir uma fonte de iluminação para gerar pulsos de radiação eletromagnética e pode incluir adicionalmente um lú- men para transmitir pulsos de radiação eletromagnética em uma ponta dis- tal de um endoscópio. O lúmen pode transmitir os pulsos de radiação ele- tromagnética em comprimentos de onda ou bandas de comprimentos de onda em particular do espectro eletromagnético. O lúmen pode transmitir esses pulsos em uma sequência temporizada e dados de imageamento podem ser capturados por um sensor durante cada um dos pulsos. Os dados de imageamento associados aos diferentes comprimentos de onda dos pulsos podem ser usados para gerar uma imagem vermelha, verde e azul (RGB) e/ou imagens de fluorescência. Em uma modalidade, o image- amento por fluorescência pode ser sobreposto sobre uma imagem em preto e branco ou RGB.
[0050] Como descrito na presente invenção, os sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem forne- cer dados de imagem especializados de um ambiente deficiente de luz. Os dados de imagem especializados podem ser usados para gerar imageamento por fluorescência e/ou identificar certos materiais, teci- dos, componentes ou processos dentro de um ambiente deficiente de luz. Em certas modalidades, o imageamento por fluorescência pode ser fornecido a um profissional da área médica ou programa implemen- tado por computador para permitir a identificação de determinadas es- truturas ou tecidos dentro de um corpo. Esses dados de imageamento por fluorescência podem ser sobrepostos em imagens em preto e branco ou RGB para fornecer informações e contexto adicionais.
[0051] Além disso, esses sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem ser usados em coordena- ção com determinados reagentes ou corantes. Em uma implementação de imageamento médico, determinados reagentes ou corantes podem ser administrados a um paciente, e estes reagentes ou corantes podem apresentar fluorescência ou reagir com certos comprimentos de onda de radiação eletromagnética. O sistema de imagem endoscópica como descrito na presente invenção pode transmitir radiação eletromagné- tica em comprimentos de onda especificados para apresentar fluores- cência nos reagentes ou corantes. A fluorescência dos reagentes ou corantes pode ser capturada por um sensor de imagem para gerar ima- geamento para auxiliar na identificação de tecidos ou estruturas e/ou para auxiliar no diagnóstico ou pesquisa. Em uma implementação, a um paciente pode ser administrada uma pluralidade de reagentes ou corantes que são, cada um, configurados para apresentar fluorescên- cia em diferentes comprimentos de onda e/ou fornecer uma indicação de diferentes estruturas, tecidos, reações químicas, processos biológi- cos etc. Nessa implementação, o sistema endoscópico como descrito na presente invenção pode emitir cada um dos comprimentos de onda aplicáveis para apresentar fluorescência em cada um dos reagentes ou corantes aplicáveis. Isso pode eliminar a necessidade histórica de se realizar procedimentos de imageamento individuais para cada um dentre uma pluralidade de reagentes ou corantes.
[0052] Os endoscópios médicos podem fornecer um fluxo contínuo de imagem digital de um espaço interno de um corpo onde uma extre- midade distal do endoscópio é inserida. Em várias implementações, pode ser benéfico ou mesmo necessário que o fluxo de imagem digital forneça imageamento colorido total, de modo que um profissional da área médica possa fazer uma distinção melhor entre tecidos e estrutu- ras no corpo. Em implementações adicionais, pode ser benéfico forne- cer dados de imageamento hiperespectral para permitir a diferenciação entre estruturas, tecidos, processos e condições com maior precisão. Adicionalmente, o imageamento hiperespectral pode permitir que um profissional da área médica ou um programa de computador receba informações sobre uma condição em um corpo humano que não é vi- sível ao olho humano ou discernível em uma imagem RGB colorida.
[0053] São descritos na presente invenção sistemas, métodos e dis- positivos para gerar dados de imagem colorida e/ou dados de imagem de fluorescência por um endoscópio. Um sistema da descrição inclui um dis- positivo de imageamento tendo um tubo, um ou mais sensores de ima- gem e um conjunto de lentes. O conjunto de lentes pode incluir ao menos um elemento óptico que corresponde a ao menos um entre o um ou mais sensores de imagem. O sistema inclui adicionalmente uma tela de exibi- ção para visualizar uma cena e um controlador de processamento de si- nal de imagem. O sistema pode incluir adicionalmente um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação configurada para gerar um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. Em uma modalidade, ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
[0054] Em uma modalidade da descrição, um sistema endoscópico ilumina uma fonte e pulsa radiação eletromagnética em um determinado comprimento de onda para excitar um elétron em um reagente ou co- rante. Em uma modalidade, o reagente ou corante é configurado para apresentar fluorescência em resposta ao determinado comprimento de onda de radiação eletromagnética que é emitido pelo sistema endoscó- pico. Um sensor de imagem no sistema endoscópico pode ler uma emis- são de relaxamento de fluorescência do reagente ou corante que pode ser de menor energia do que a radiação eletromagnética pulsada para excitar o reagente ou corante. O reagente ou corante pode ser especiali- zado para marcar um certo tecido, estrutura, processo biológico e/ou pro- cesso químico.
[0055] Reagentes de imageamento, incluindo reagentes fluorescen- tes, podem melhorar as capacidades de imageamento nos setores farma- cêutico, médico, de biotecnologia, diagnósticos e de procedimentos médi- cos industries. Diversas técnicas de imageamento como raios X, tomogra- fia computadorizada (TC), ultrassonografia, imageamento por ressonância magnética (IRM) e medicina nuclear, analisam principalmente a anatomia e a morfologia e são incapazes de detectar alterações ao nível molecular. Os reagentes fluorescentes, corantes e sondas, incluindo nanopartículas de ponto quântico e proteínas fluorescentes, podem auxiliar as tecnologias de imageamento médico ao fornecerem informações adicionais sobre de- terminados tecidos, estruturas, processos químicos e/ou processos bioló- gicos que estão presentes dentro da região de imageamento. O imagea- mento usando reagentes fluorescentes pode permitir o rastreamento celu- lar e/ou o rastreamento de certos biomarcadores moleculares. Os reagen- tes fluorescentes podem ser aplicados para o imageamento de câncer, in- fecção, inflamação, biologia de células-tronco e outros. Vários reagentes fluorescentes e corantes estão sendo desenvolvidos e aplicados para vi- sualizar e rastrear processos biológicos de uma maneira não destrutiva. Esses reagentes fluorescentes podem ser excitados por um determinado comprimento de onda ou banda de comprimentos de onda de radiação eletromagnética. De modo similar, estes reagentes fluorescentes podem emitir energia de relaxamento em um certo comprimento de onda ou banda de comprimentos de onda quando fluorescerem e a energia de re- laxamento emitida pode ser lida por um sensor para determinar a localiza- ção e/ou os limites do reagente ou corante.
[0056] Em uma modalidade da descrição, um sistema endoscópico pulsa radiação eletromagnética para excitar um elétron em um rea- gente ou corante fluorescente. O comprimento de onda ou banda de comprimentos de onda da radiação eletromagnética pode ser particu- larmente selecionado para apresentar fluorescência em um determi- nado reagente ou corante. Em uma modalidade, o sistema endoscó- pico pode pulsar múltiplos diferentes comprimentos de onda de radia- ção eletromagnética para apresentar fluorescência em múltiplos dife- rentes reagentes ou corantes durante uma única sessão de imagea- mento. Um sensor do sistema endoscópico pode determinar um local e/ou limite de um reagente ou corante com base nas emissões de re- laxamento do reagente ou corante. O sistema endoscópico pode adi- cionalmente pulsar radiação eletromagnética nas bandas vermelha, verde e azul de luz visível. O sistema endoscópico pode determinar dados para uma imagem RGB e para uma imagem de fluorescência de acordo com um cronograma de pulsação para os pulsos de radiação eletromagnética.
[0057] Em uma modalidade da descrição, um sistema endoscópico ilumina uma fonte e pulsa radiação eletromagnética para imageamento es- pectral ou hiperespectral. O imageamento espectral utiliza múltiplas ban- das ao longo do espectro eletromagnético. Isso é diferente das câmeras convencionais que apenas capturam luz ao longo dos três comprimentos de onda com base no espectro visível que são discerníveis pelo olho hu- mano, incluindo os comprimentos de onda vermelho, verde e azul para gerar uma imagem RGB. O imageamento espectral pode utilizar quaisquer bandas de comprimento de onda no espectro eletromagnético, incluindo os comprimentos de onda infravermelho, o espectro visível, o espectro ul- travioleta, comprimentos de onda de raios X ou qualquer combinação ade- quada de várias bandas de comprimento de onda. O imageamento espec- tral pode sobrepor o imageamento gerado com base em bandas não visí- veis (por exemplo, infravermelho) sobre o imageamento com base em ban- das visíveis (por exemplo, uma imagem RGB padrão) para fornecer infor- mações adicionais que são facilmente discerníveis por uma pessoa ou al- goritmo de computador.
[0058] O imageamento hiperespectral é uma subcategoria de image- amento espectral. O imageamento hiperespectral inclui a espectroscopia e a fotografia digital. Em uma modalidade de imageamento hiperespec- tral, um espectro completo ou alguma informação espectral é coletado em cada pixel em um plano de imagem. Uma câmera hiperespectral pode utilizar hardware especial para capturar qualquer número adequado de bandas de comprimento de onda para cada pixel que pode ser interpre- tado como um espectro completo. O objetivo do imageamento hiperes- pectral pode variar para diferentes aplicações. Em uma aplicação, o ob- jetivo do imageamento hiperespectral é obter todo o espectro eletromag- nético de cada pixel em uma cena de imagem. Isso pode permitir encon- trar determinados objetos que de outra maneira não podem ser identifi- cáveis sob as bandas de comprimento de onda de luz visível. Isso pode permitir que determinados materiais ou tecidos sejam identificados com precisão quando esses materiais ou tecidos não puderem ser identificá- veis sob as bandas de comprimento de onda de luz visível. Adicional- mente, isso pode permitir que determinados processos sejam detectados pela captura de uma imagem ao longo de todos os comprimentos de onda do espectro eletromagnético.
[0059] O imageamento hiperespectral pode fornecer vantagens parti-
culares em relação ao imageamento convencional em aplicações médi- cas. As informações obtidas pelo imageamento hiperespectral podem per- mitir que profissionais da área médica e/ou programas implementado por computador identifiquem precisamente determinados tecidos ou condi- ções que podem levar a diagnósticos que podem não ser possíveis ou que podem ser menos precisos se for usado imageamento convencional, por exemplo, imageamento RGB. Adicionalmente, o imageamento hiperes- pectral pode ser usado durante procedimentos médicos para permitir cirur- gia guiada por imagem, o que pode permitir que um profissional da área médica, por exemplo, visualize tecidos localizados atrás de determinados tecidos ou fluidos, identificar células cancerosas atípicas em contraste com células típicas saudáveis, identificar determinados tecidos ou condições, identificar estruturas de importância crítica etc. O imageamento hiperes- pectral pode fornecer informações diagnósticas especializadas sobre a fi- siologia, morfologia e composição do tecido, as quais não podem ser ge- radas com imageamento convencional.
[0060] O imageamento endoscópico hiperespectral pode apresentar vantagens em relação ao imageamento convencional em várias aplica- ções e implementações da descrição. Em implementações médicas, o imageamento endoscópico hiperespectral pode permitir que um profissio- nal da área médica ou programa implementado por computador diferencie, por exemplo, tecido nervoso, tecido muscular, diversos vasos, a direção do fluxo sanguíneo etc. O imageamento hiperespectral pode permitir que tecido canceroso atípico seja precisamente diferenciado de tecido saudá- vel típico e pode, portanto, permitir que um profissional da área médica ou programa implementado por computador identifique o limite de um tumor canceroso durante uma operação ou imageamento investigativo. Adicio- nalmente, o imageamento hiperespectral em um ambiente deficiente de luz como descrito na presente invenção pode ser combinado com o uso de um reagente ou corante para permitir a diferenciação adicional entre determinados tecidos ou substâncias. Nessa modalidade, um reagente ou corante pode sofrer fluorescência por uma banda de comprimento de onda específica no espectro eletromagnético e, portanto, fornecer informações específicas para o propósito daquele reagente ou corante. Os sistemas, métodos e dispositivos como descritos na presente invenção podem per- mitir que qualquer número de bandas de comprimento de onda seja pul- sado, de modo que um ou mais reagentes ou corantes possam sofrer flu- orescência em diferentes momentos. Em determinadas implementações, isso pode permitir a identificação ou investigação de diversas condições clínicas durante um único procedimento de imageamento.
[0061] Um endoscópio médico pode pulsar radiação eletromagné- tica em bandas de comprimento de onda fora do espectro de luz visível para permitir a geração de imagens hiperespectrais. O imageamento endoscópico hiperespectral é um meio sem contato e não invasivo de imageamento médico que não exige que um paciente seja exposto a radiação nociva comum em outros métodos de imageamento.
[0062] Os endoscópios convencionais, usados em, por exemplo, pro- cedimentos endoscópicos robóticos como artroscopia e laparoscopia, são projetados de modo que os sensores de imagem sejam tipicamente colo- cados dentro de uma unidade de empunhadura que é segura por um ope- rador de endoscópio e não é inserida em uma cavidade. Nessa configura- ção, uma unidade de endoscópio transmite luz incidente ao longo do com- primento de um tubo de endoscópio em direção ao sensor por meio de um conjunto complexo de componentes ópticos precisamente acoplados, com mínima perda e distorção. O custo da unidade de endoscópio é principal- mente devido aos elementos ópticos, uma vez que os componentes ópti- cos são caros e o processo de fabricação dos componentes ópticos é tra- balhoso. Adicionalmente, esse tipo de endoscópio é mecanicamente deli- cado e impactos relativamente pequenos podem facilmente danificar os componentes ou desordenar os alinhamentos relativos desses componen- tes. Desalinhamentos ainda menores dos componentes do endoscópio (por exemplo, os componentes ópticos precisamente acoplados) podem levar a uma degradação significativa da qualidade da imagem ou inutilizar o endoscópio. Quando os componentes são desalinhados, a luz incidente que se desloca ao longo do comprimento do endoscópio pode diminuir, de modo que haja pouca ou nenhuma luz na extremidade distal do endoscó- pio e o endoscópio fica inutilizado. Uma vez que os endoscópios conven- cionais exigem esses componentes ópticos precisos e complexos e uma vez que esses componentes podem ficar facilmente desalinhados, esses endoscópios convencionais exigem ciclos de reparo frequentes e caros para manter a qualidade da imagem.
[0063] Uma solução para esse problema é colocar o sensor de ima- gem dentro do próprio endoscópio na extremidade distal. Essa solução pode eliminar a necessidade de uma coleta complexa e precisa de com- ponentes ópticos acoplados que podem ser facilmente desalinhados e/ou danificados. Essa solução potencialmente se aproxima da simplicidade, robustez e economia óptica que é universalmente realizada, por exemplo, dentro de câmeras em telefones celulares. Entretanto, deve ser reconhe- cido que uma grande parte dos benefícios oferecidos por um endoscópio surge do tamanho compacto da extremidade distal do endoscópio. Se a extremidade distal do endoscópio for aumentada para acomodar os múlti- plos sensores de pixel distintos sensíveis ao comprimento de onda con- vencionalmente usados para o imageamento colorido ou imageamento hi- perespectral, a matriz de pixel pode ser muito grande e o endoscópio pode não mais caber nos pequenos espaços ou pode causar obstrução ou ser invasivo quando usado em uma implementação médica. Uma vez que a extremidade distal do endoscópio deve continuar muito pequena, é desa- fiador colocar um ou mais sensores de imagem na extremidade distal. Uma solução aceitável para essa abordagem não é de maneira alguma trivial e apresenta sua própria gama de desafios de engenharia, não sendo de menor importância o fato de que os sensores de cor e/ou o imagea- mento hiperespectral devem caber dentro de uma área que é altamente confinada. Isto é particularmente desafiador quando uma matriz de pixel em câmeras convencionais inclui sensores de pixel separados para cada uma das bandas de luz visível vermelha, verde e azul, com sensores de pixel adicionais para outras bandas de comprimento de onda usadas para o imageamento hiperespectral. A área da ponta distal do endoscópio pode ser particularmente confinada lado a lado nas dimensões X e Y, enquanto há mais espaço ao longo do comprimento do tubo de endoscópio na di- mensão Z.
[0064] Uma vez que muitos dos benefícios de um endoscópio são de- rivados do pequeno tamanho da extremidade distal do endoscópio, restri- ções agressivas devem ser impostas à área do sensor de imagem quando os sensores de imagem estão localizados na extremidade distal. Essas restrições agressivas impostas à área do sensor naturalmente resultam em menos pixels e/ou pixels menores dentro de uma matriz de pixel. À redução da contagem de pixels pode afetar diretamente a resolução espa- cial, enquanto a redução da área de pixel pode reduzir a capacidade de sinal disponível e, dessa forma, a sensibilidade do pixel, bem como otimi- zar o número de pixels de modo que a qualidade da imagem aumente, a mínima resolução de pixel e o número nativo de pixels usando a máxima qualidade e passo de pixel, de modo que a resolução não seja um pro- blema, bem como a redução da razão sinal/ruído (SNR - "signal to noise ratio") de cada pixel. A redução da capacidade de sinal reduz a faixa dinâ- mica, ou seja, a capacidade do dispositivo ou câmera de imageamento de simultaneamente capturar todas as informações úteis de cenas com gran- des faixas de luminosidade. Há vários métodos para se estender a faixa dinâmica de sistemas de imageamento além daquela do próprio pixel. En- tretanto, todos eles podem ter algum tipo de penalidade (por exemplo, na resolução ou taxa de quadro) e podem introduzir artefatos indesejáveis que se tornam problemáticos em casos extremos. A consequência de se reduzir a sensibilidade é que maior energia de luz é exigida para trazer as regiões mais escuras da cena para níveis de sinal aceitáveis. A redução do número F (aumento da abertura) pode compensar uma perda de sen- sibilidade, porém às custas de distorção espacial e profundidade reduzida do foco.
[0065] No setor de sensores, sensores de imagem de semicondutor metal-óxido complementar ("CMOS" - "complementary metal-oxide-semi- conductor") possuem sensores de imagem de dispositivo acoplado a carga ("CCD" - charge-coupled device) convencionais amplamente deslocados em aplicações de câmeras modernas. Os sensores de imagem CMOS têm maior facilidade de integração e operação, qualidade de imagem superior ou comparável, maior versatilidade e menor custo se comparados com sensores de imagem CCD. Tipicamente, os sensores de imagem CMOS podem incluir o circuito necessário para converter informação de imagem em dados digitais e possuem vários níveis de processamento digital incor- porados posteriormente. Isso pode variar desde algoritmos básicos com a finalidade de corrigir não idealidades, o que pode, por exemplo, surgir de variações no comportamento do amplificador, até cadeias completas de processamento de sinal de imagem (ISP - "image signal processing"), for- necendo dados de vídeo no espaço de cor padrão vermelho-verde-azul ("RGB" - "red-green-blue"), por exemplo, (câmeras-em-circuito integrado).
[0066] A unidade de controle de um endoscópio ou sensor de ima- gem pode estar localizada remotamente a partir do sensor de imagem e pode ser uma distância física significativa em relação ao sensor de imagem. Quando a unidade de controle está distante do sensor, pode ser desejável transmitir os dados no domínio digital, uma vez que este é amplamente imune ao ruído de interferência e à degradação de sinal quando comparada com a transmissão de um fluxo de dados analógi- cos. Será reconhecido que diversos padrões de sinalização digital elé- trica podem ser usados, por exemplo, LVDS (sinalização diferencial de baixa tensão), sub-LVDS, SLVS (sinalização de baixa tensão escalá- vel) ou outros padrões de sinalização digital elétrica.
[0067] Pode haver um forte desejo de minimizar o número de condu- tores elétricos para reduzir o número de blocos que consumem espaço no sensor, bem como de reduzir a complexidade e o custo da produção do sensor. Embora a adição de conversão de analógico para digital ao sensor possa ser vantajosa, a área adicional ocupada pelos circuitos de conver- são é compensada devido à significativa redução na potência de armaze- namento temporário analógico necessária devido à conversão precoce para um sinal digital.
[0068] Em termos de consumo de área, dado o típico tamanho de recurso disponível em tecnologias de sensor de imagem CMOS (CIS), pode ser preferível em algumas implementações ter todos os sinais ló- gicos internos gerados no mesmo circuito integrado que a matriz de pixel por meio de um conjunto de registradores de controle e uma inter- face de comando simples.
[0069] Algumas implementações da descrição podem incluir as- pectos de um sensor combinado e projeto de sistema que permita um imageamento de alta definição com reduzidas contagens de pixels em um ambiente de iluminação altamente controlado. Isso pode ser reali- zado em virtude de pulsação quadro a quadro de um comprimento de onda de cor única e comutando-se ou alternando-se cada quadro entre um comprimento de onda de cor única e diferente com o uso de uma fonte de luz controlada combinada com altas taxas de captura de qua- dro e um sensor monocromático correspondente especialmente proje- tado. Adicionalmente, a radiação eletromagnética fora do espectro de luz visível pode ser pulsada para permitir a geração de uma imagem hiperespectral. Os pixels podem ser agnósticos em termos de cor, de modo que cada pixel possa gerar dados para cada pulso de radiação eletromagnética, incluindo pulsos para comprimentos de onda verme- lho, verde e azul de luz visível com outros comprimentos de onda que podem ser usados para o imageamento hiperespectral.
[0070] Como usado na presente invenção, sensor monocromático refere-se a um sensor de imageamento não filtrado. Uma vez que os pixels são agnósticos em termos de cor, a resolução espacial eficaz é apreciavelmente maior do que suas contrapartes coloridas (tipicamente filtrado em padrão Bayer) em câmeras convencionais de sensor único. Eles também podem ter maior eficiência quântica uma vez que muito me- nos fótons incidentes são desperdiçados entre os pixels individuais. Além disso, a modulação de cor espacial baseada em Bayer exige que a fun- ção de transferência de modulação (MTF - "modulation transfer function") dos elementos ópticos que acompanham seja reduzida em comparação com a modulação monocromática, para desfocar os artefatos coloridos associados ao padrão Bayer. Isso tem um impacto prejudicial sobre a real resolução espacial que pode ser realizada com os sensores de cor.
[0071] A descrição refere-se também a uma solução de sistema para aplicações endoscópicas nas quais o sensor de imagem reside na extre- midade distal do endoscópio. Ao buscar um sistema baseado em sensor com mínima área, há outros aspectos de projeto que podem ser desenvol- vidos além da redução na contagem de pixels. A área da porção digital do circuito integrado pode ser minimizada. Além disso, o número de conexões com o circuito integrado (blocos) pode também ser minimizado. A descri- ção descreve novos métodos que atingem esses objetivos para a realiza- ção desse sistema. Isso envolve o projeto de um sensor de imagem CMOS totalmente customizado com vários novos recursos.
[0072] Com a finalidade de promover um entendimento dos princípios de acordo com a descrição, será feita referência agora às modalidades ilustradas nos desenhos e uma linguagem específica será usada para des- crevê-las. No entanto, ficará entendido que nenhuma limitação do escopo da descrição é aqui concebida. Quaisquer alterações e modificações adi- cionais dos recursos da invenção ilustrados na presente invenção, bem como quaisquer aplicações adicionais dos princípios da descrição con- forme ilustrados na presente invenção, que normalmente ocorreriam aos versados na técnica e estando de posse da presente descrição, devem ser consideradas no escopo da descrição reivindicada.
[0073] Antes da estrutura, sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serem descritos e descritos, deve-se compreender que a presente descrição não está limitada a es- truturas, configurações, etapas de processo e materiais em particular descritos na presente invenção, uma vez que essas estruturas, configu- rações, etapas de processo e materiais podem variar de alguma maneira. Entende-se também que a terminologia aqui empregada é usada para o propósito de apenas descrever modalidades particulares e não pretende ser limitadora, uma vez que o escopo da descrição será limitado apenas pelas reivindicações anexas e equivalentes das mesmas.
[0074] Ao descrever e reivindicar a matéria da descrição, a seguinte terminologia será usada de acordo com as definições descritas abaixo.
[0075] Deve-se notar que conforme usado neste relatório descri- tivo e nas reivindicações anexas, as formas singulares "um", "uma", "o(s)" e "a(s)" incluem as respectivas formas no plural, a menos que o contexto determine claramente do outro modo.
[0076] Como usados na presente invenção, os termos "compreen- dendo," "incluindo," "contendo," "caracterizado(a) por," e equivalentes gramaticais destes são termos inclusivos ou abertos que não excluem elementos ou etapas de método adicionais não mencionados.
[0077] Como usada na presente invenção, a frase "que consiste em" e equivalentes gramaticais desta excluem qualquer elemento ou etapa não especificado na reivindicação.
[0078] Como usado na presente invenção, a expressão "que con- siste essencialmente em" e os equivalentes gramaticais da mesma limi- tam o escopo de uma reivindicação para os materiais ou etapas espe- cíficas e os que não afetam materialmente as características básicas e novas ou as características da descrição reivindicada.
[0079] Como usado na presente invenção, o termo "proximal" deve se referir amplamente ao conceito de uma porção com a máxima pro- ximidade de uma origem.
[0080] Como usado na presente invenção, o termo "distal" deve se referir de modo geral ao oposto de proximal, e assim o conceito de uma porção mais distante de uma origem ou uma porção com a máxima dis- tância, dependendo do contexto.
[0081] Como usados na presente invenção, os sensores de cor ou os sensores de múltiplos espectros são aqueles sensores conhecidos por te- rem uma matriz de filtro de cor (CFA - "color filter array") para filtrar a radi- ação eletromagnética de entrada em seus componentes separados. Na faixa visual do espectro eletromagnético, essa CFA pode ser construída em um padrão ou modificação de Bayer para separar os componentes de espectro verde, vermelho e azul da luz.
[0082] Agora com referência às Figuras 1 a 5, os sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serão agora descritos. A Figura 1 ilustra uma vista esquemática de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente deficiente de luz. Essa configuração permite uma maior funcionalidade em um ambiente de luz controlada ou em um ambiente deficiente de luz.
[0083] Deve ser observado que, como usado na presente invenção, o termo "luz" é tanto uma partícula quanto um comprimento de onda e tem como objetivo denotar radiação eletromagnética que é detectável por uma matriz de pixel e pode incluir comprimentos de onda a partir dos espectros visível e não visível de radiação eletromagnética. O termo "partição" é usado na presente invenção para significar uma faixa predeterminada de comprimentos de onda do espectro eletromagnético que é menor que todo o espectro, ou em outras palavras, comprimentos de onda que foram al- guma porção do espectro eletromagnético. Como usado na presente in- venção, um emissor é uma fonte de luz que pode ser controlável em rela- ção à porção do espectro eletromagnético que é emitido ou que pode ope- rar de acordo com a física de seus componentes, a intensidade das emis- sões ou a duração da emissão, ou todas as acima. Um emissor pode emitir luz em qualquer emissão incerta, difusa ou colimada e pode ser controlado digitalmente ou por métodos ou sistemas analógicos. Como usado na pre- sente invenção, um emissor eletromagnético é uma fonte de uma explosão de energia eletromagnética e inclui fontes de luz, como lasers, LEDs, luz incandescente ou qualquer fonte de luz que possa ser digitalmente contro- lada.
[0084] Uma matriz de pixel de um sensor de imagem pode ser pare- ada eletronicamente com um emissor, de modo que sejam sincronizados durante a operação tanto para receber as emissões quanto para os ajustes feitos dentro do sistema. Como pode ser visto na Figura 1, um emissor 100 pode ser ajustado para emitir radiação eletromagnética na forma de um laser que pode ser pulsado para iluminar um objeto 110. O emissor 100 pode pulsar em um intervalo que corresponde à operação e à funcionali- dade de uma matriz de pixel 122. O emissor 100 pode pulsar luz em uma pluralidade de partições eletromagnéticas 105, de modo que a matriz de pixel receba energia eletromagnética e produza um conjunto de dados que corresponde (em tempo) a cada partição eletromagnética específica 105. Por exemplo, a Figura 1 ilustra um sistema tendo um sensor monocromá- tico 120 tendo uma matriz de pixel (preto e branco) 122 e circuitos de su- porte em que a matriz de pixel 122 é sensível à radiação eletromagnética de qualquer comprimento de onda. O emissor de luz 100 ilustrado na figura pode ser um emissor de laser capaz de emitir uma partição eletromagné- tica vermelha 105a, uma partição eletromagnética azul 105b e uma parti- ção eletromagnética verde 105c em qualquer sequência desejada. Em uma modalidade em que uma imagem hiperespectral pode ser gerada, o emissor de luz 100 pode pulsar radiação eletromagnética em qualquer comprimento de onda no espectro eletromagnético, de tal modo que uma imagem hiperespectral possa ser gerada. Será reconhecido que outros emissores de luz 100 podem ser usados na Figura 1 sem que se afaste do escopo da descrição, por exemplo, emissores de base digital ou analógica.
[0085] Durante a operação, uma cor ou partição de comprimento de onda específica pode ser atribuída aos dados criados pelo sensor monocromático 120 para qualquer pulso individual, sendo que a atri- buição é baseada no tempo da cor pulsada ou da partição de compri- mento de onda proveniente do emissor 100. Embora os pixels 122 não sejam dedicados por cor, eles podem receber a atribuição de uma cor para qualquer dado conjunto de dados com base em uma informação deduzida sobre o emissor.
[0086] Em uma modalidade exemplificadora da descrição, o emis- sor 100 pulsa radiação eletromagnética em comprimentos de onda es- pecializados. Esses pulsos podem ser capazes de gerar uma imagem de fluorescência especializada que é particularmente adequada para determinadas aplicações médicas ou diagnósticas. Na modalidade exemplificadora, ao menos uma porção da radiação eletromagnética emitida pelo emissor 100 inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluorescên- cia em um comprimento de onda que é diferente do comprimento de onda de excitação da porção da radiação eletromagnética.
[0087] Em uma modalidade, três conjuntos de dados que represen- tam pulsos eletromagnéticos VERMELHOS, VERDES e AZUIS podem ser combinados para formar um quadro de imagem única. Um ou mais con- juntos de dados adicionais que representam outras partições de compri- mento de onda podem ser sobrepostos no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS. O um ou mais con- juntos de dados adicionais pode representar, por exemplo, imageamento por fluorescência responsivo ao comprimento de onda de excitação entre 770 nm e 790 nm e entre 795 nm e 815 nm. O um ou mais conjuntos de dados adicionais pode representar o imageamento por fluorescência e/ou hiperespectral que pode ser sobreposto no quadro de imagem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS.
[0088] Será reconhecido que a descrição não está limitada a qualquer combinação de cor em particular ou qualquer partição eletromagnética em particular e que qualquer combinação de cor ou qualquer partição eletro- magnética pode ser usada no lugar de VERMELHO, VERDE e AZUL, como Ciano, Magenta e amarelo; Ultravioleta; infravermelho; qualquer combinação do que foi acima mencionado ou qualquer outra combinação de cor, incluindo todos os comprimentos de onda visível e não visível, sem que se afaste do escopo da descrição. Na figura, o objeto 110 a ser ima- geado contém uma porção vermelha 110a, uma porção verde 110b e uma porção azul 110c. Como ilustrado na figura, a luz refletida dos pulsos ele- tromagnéticos contém somente os dados para a porção do objeto tendo a cor específica que corresponde à partição de cor pulsada. Esses conjuntos de dados de cor separada (ou intervalo de cor) podem ser então usados para reconstruir a imagem pela combinação dos conjuntos de dados em
130.
[0089] Em uma modalidade, uma pluralidade de conjuntos de da- dos que representam pulsos eletromagnéticos VERMELHOS, VER- DES e AZUIS com partições adicionais de comprimento de onda ao longo do espectro eletromagnético pode ser combinada para formar um quadro de imagem única tendo uma imagem RGB com dados de imagem hiperespectral sobrepostos na imagem RGB. Dependendo da aplicação ou instância, diferentes combinações de conjuntos de dados de comprimento de onda podem ser desejáveis. Por exemplo, em al- gumas implementações, um conjunto de dados que representa parti- ções de comprimento de onda específicas pode ser usado para gerar uma imagem hiperespectral especializada para diagnosticar uma con- dição clínica em particular, investigar determinados tecidos corporais etc.
[0090] Como ilustrado na Figura 2, as implementações da presente descrição podem compreender ou utilizar um computador de propósito especial ou geral, incluindo hardware de computador, como, por exem- plo, um ou mais processadores e memória de sistema, conforme discu- tido com mais detalhes abaixo. As implementações no escopo da pre- sente descrição também podem incluir mídia legível física e outras mi- dias legíveis por computador para carregar ou armazenar instruções executáveis por computador e/ou estruturas de dados. Essa mídia legí- vel por computador pode ser qualquer mídia disponível que possa ser acessada por um sistema de computador de propósito geral ou propó- sito especial. A mídia legível por computador que armazena instruções executáveis por computador são mídias (dispositivos) de armazena- mento em computador. A mídia legível por computador que carrega ins- truções executáveis por computador são mídias de transmissão. Assim, a título de exemplo, e não de limitação, as implementações da descrição podem compreender ao menos dois tipos distintamente diferentes de mídia legível por computador: mídias (dispositivos) de armazenamento em computador e mídias de transmissão.
[0091] As mídias (dispositivos) de armazenamento em computador in- cluem RAM, ROM, EEPROM, CD-ROM, drives de estado sólido ("SSDs"
- "solid state drives") (por exemplo, baseados em RAM), memória Flash, memória de troca de fase ("PCM" - "bhase-change memory"), outros tipos de memória, outro armazenamento em disco óptico, armazenamento em disco magnético ou outros dispositivos de armazenamento magnético, ou qualquer outra mídia que possa ser usada para armazenar meios de có- digo de programa desejados na forma de instruções executáveis por com- putador ou estruturas de dados e que podem ser acessados por um com- putador de propósito geral ou de propósito especial.
[0092] Uma "rede" é definida como um ou mais links de dados que permitem o transporte de dados eletrônicos entre sistemas e/ou módulos de computador e/ou outros dispositivos eletrônicos. Em uma implementa- ção, um sensor e uma unidade de controle de câmera podem ser ligados em rede para se comunicarem entre si e com outros componentes conec- tados na rede aos quais estão conectados. Quando a informação é trans- ferida ou fornecida por uma rede ou outra conexão de comunicações (tanto por fio, sem fio ou por uma combinação com fio e sem fio) a um computa- dor, o computador visualiza adequadamente a conexão como um meio de transmissão. Os meios de transmissão podem incluir uma rede e/ou links de dados que podem ser usados para conter meios desejados de código de programa na forma de instruções executáveis por computador ou es- truturas de dados e que podem ser acessados por um computador de pro- pósito geral ou de propósito especial. Combinações dos acima citados também precisam ser incluídas no escopo de mídias legíveis por compu- tador.
[0093] Além disso, ao atingir vários componentes de sistema de computador, os meios de código de programa na forma de instruções executáveis por computador ou estruturas de dados podem ser transferi- dos automaticamente de mídias de transmissão para mídias (dispositi- vos) de armazenamento em computador (ou vice-versa). Por exemplo, instruções executáveis por computador ou estruturas de dados recebidos por uma rede ou link de dados podem ser armazenadas temporariamente em RAM dentro de um módulo de interface de rede (por exemplo, um "NIC") e, então, por fim, transferidas para a RAM do sistema de compu- tador e/ou para mídias (dispositivos) menos voláteis de armazenamento em computador em um sistema de computador. A RAM pode também incluir drives de estado sólido (SSDs ou armazenamento em diferentes níveis em memória em tempo real baseada em PCIx, como FusionlO). Assim, deve ficar entendido que as mídias (dispositivos) de armazena- mento em computador podem ser incluídas em componentes de sistema de computador que também (ou até principalmente) utilizam mídias de transmissão.
[0094] As instruções executáveis por computador compreendem, por exemplo, instruções e dados que, quando executados em um processa- dor, fazem com que um computador de propósito geral, um computador de propósito especial ou dispositivo de processamento de propósito espe- cial realize uma determinada função ou grupo de funções. As instruções executáveis por computador podem ser, por exemplo, instruções binarias de formato intermediário, por exemplo, a linguagem de montagem, ou mesmo o código-fonte. Embora essa matéria tenha sido descrita em uma linguagem específica para recursos estruturais e/ou ações metodológicas, deve-se compreender que a matéria definida nas reivindicações anexas não está necessariamente limitada aos recursos descritos ou às ações descritas acima. Em vez disso, os recursos e ações descritos são descritos como formas de exemplo de implementação das reivindicações.
[0095] Os versados na técnica apreciarão que a descrição pode ser colocada em prática em ambientes de computação em rede com vários tipos de configurações de sistema de computador, incluindo computadores pessoais, computadores tipo desktop, computadores tipo laptop, proces- sadores de mensagens, unidades de controle, unidade de controle de câ-
meras, dispositivos de mão, peças de mão, sistemas de múltiplos proces- sadores, dispositivos eletrônicos do consumidor baseados em micropro- cessador ou programáveis, PCs em rede, minicomputadores, computado- res do tipo mainframe, telefones móveis, PDAs, tablets, pagers, roteado- res, switches, dispositivos de armazenamento diversos, e similares. Deve ser observado que quaisquer dos dispositivos de computação menciona- dos acima pode ser fornecido por ou estar localizado dentro de um tijolo e pilão. A descrição pode também ser colocada em prática em ambientes de sistema distribuído onde sistemas de computador locais e remotos que estão ligados (tanto por links de dados com fio, links de dados sem fio ou por uma combinação de links de dados com e sem fio) através de uma rede, e ambos realizam tarefas. Em um ambiente de sistema distribuído, os módulos de programa podem estar situados em dispositivos de arma- zenamento de memória tanto locais quanto remotos.
[0096] Além disso, quando apropriado, as funções descritas na pre- sente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs - "field programmable gate arrays") po- dem ser programados para realizar um ou mais dos sistemas e procedi- mentos descritos na presente invenção. Determinados termos são usa- dos ao longo de toda a descrição e reivindicações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes no- mes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0097] A Figura 2 é um diagrama de blocos que ilustra um exemplo de dispositivo de computação 150. O dispositivo de computação 150 pode ser usado para realizar diversos procedimentos, como aqueles dis- cutidos na presente invenção. O dispositivo de computação 150 pode funcionar como um servidor, um cliente ou qualquer outra entidade de computação. O dispositivo de computação 150 pode desempenhar vá- rias funções de monitoramento conforme discutido na presente inven- ção, e pode executar um ou mais programa de aplicativo, como o pro- grama de aplicativo descrito na presente invenção. O dispositivo de computação 150 pode ser qualquer um de uma ampla variedade de dis- positivos de computação, como um computador do tipo desktop, um computador do tipo notebook, um computador servidor, um computador portátil, uma unidade de controle de câmera, computador do tipo tablet e similares.
[0098] O dispositivo de computação 150 inclui um ou mais proces- sador(es) 152, um ou mais dispositivo(s) de memória 154, uma ou mais interface(s) 156, um ou mais dispositivo(s) de armazenamento em massa 158, um ou mais dispositivo(s) de entrada/saída (1/0) 160, e um dispositivo de exibição 180, sendo todos acoplados a um barramento
162. O(s) processador(es) 152 inclui(em) um ou mais processadores ou controladores que executam instruções armazenadas em dispositivo(s) de memória 154 e/ou em dispositivo(s) de armazenamento em massa
158. O(s) processador(es) 152 pode(m) também incluir vários tipos de mídia legível por computador, como memória em cache.
[0099] O(s) dispositivo(s) de memória 154 incluilem) diversas mí- dias legíveis por computador, como memória volátil (por exemplo, me- mória de acesso aleatório (RAM) 164) e/ou memória não volátil (por exemplo, memória somente de leitura (ROM) 166). O(s) dispositivo(s) de memória 154 pode(m) também incluir ROM regravável, como me- mória Flash.
[0100] O(s) dispositivo(s) de armazenamento em massa 158 in-
cluifem) diversas mídias legíveis por computador, como fitas magnéti- cas, discos magnéticos, discos ópticos, memória de estado sólido (por exemplo, memória) etc. Como mostrado na Figura 2, um dispositivo de armazenamento em massa em particular é um drive de disco rígido
174. Vários drives também podem ser incluídos no(s) dispositivo(s) de armazenamento em massa 158 para permitir a leitura a partir de e/ou a gravação nas diversas mídias legíveis por computador. O(s) disposi- tivo(s) de armazenamento em massa 158 incluilem) mídias removíveis 176 e/ou mídias não removíveis.
[0101] O(s) dispositivo(s) de 1/O 160 inclui(em) vários dispositivos que permitem que dados e/ou outras informações sejam inseridos em ou recuperados do dispositivo de computação 150. Exemplos de dispo- sitivos de 1/O 160 incluem dispositivos de imageamento digital, sensores e emissores eletromagnéticos, dispositivos de controle de cursor, tecla- dos, teclados tipo Kkeypad, microfones, monitores ou outros dispositivos de exibição, autofalantes, impressoras, cartões de interface de rede, modems, lentes, CCDs ou outros dispositivos de captura de imagem, e similares.
[0102] O dispositivo de exibição 180 inclui qualquer tipo de dispo- sitivo capaz de exibir informações para um ou mais usuários do dispo- sitivo de computação 150. Exemplos de dispositivo de exibição 180 incluem um monitor, um terminal de tela, um dispositivo de projeção de vídeo, e similares.
[0103] A(s) interface(s) 106 incluilem) diversas interfaces que per- mitem que um dispositivo de computação 150 interaja com outros siste- mas, dispositivos ou ambientes de computação. Exemplo(s) de interface 156 podem incluir qualquer número de diferentes interfaces de rede 170, como interfaces para rede local (LANs), redes de área ampla (WANs), redes sem fio e a Internet. Outra(s) interface(s) inclui(em) interface de usuário 168 e interface de dispositivo periférico 172. A(s) interface(s)
156 pode(m) também incluir um ou mais elementos de interface de usu- ário 168. A(s) interface(s) 156 pode(m) também incluir uma ou mais in- terfaces periféricas, como interfaces para impressoras, dispositivos de apontamento (mouses, track pad etc.), teclados e similares.
[0104] O barramento 162 permite que processador(es) 152, dispo- sitivo(s) de memória 154, interface(s) 156, dispositivo(s) de armazena- mento em massa 158, e dispositivo(s) de I/O 160 se comuniquem entre si, bem como com outros dispositivos ou componentes acoplados ao barramento 162. O barramento 162 representa um ou mais de vários tipos de estruturas de barramento, como um barramento de sistema, barramento PCI, barramento IEEE 1394, barramento USB etc.
[0105] Para fins de ilustração, programas e outros componentes de programa executáveis são mostrados na presente invenção como blo- cos discretos, embora seja compreendido que esses programas e com- ponentes podem permanecer em diversos momentos em diferentes componentes de armazenamento do dispositivo de computação 150, e são executados pelo(s) processador(es) 152. Alternativamente, os sis- temas e procedimentos descritos na presente invenção podem ser im- plementados em hardware, ou em uma combinação de hardware, sof- tware e/ou firmware. Por exemplo, um ou mais circuitos integrados es- pecíficos para aplicação (ASICs) ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção.
[0106] A Figura 2A ilustra os ciclos operacionais de um sensor usado no modo de leitura por rolagem ou durante a leitura do sensor
200. A leitura do quadro pode começar em e pode ser representada pela linha vertical 210. O período de leitura é representado pela linha diagonal ou inclinada 202. O sensor pode ser lido fileira por fileira, sendo que o topo da borda inclinada para baixo é a fileira superior do sensor 212 e sendo que o fundo da borda inclinada para baixo é a fileira inferior do sensor 214. O tempo entre a leitura da última fileira e o próximo ciclo de leitura pode ser chamado de tempo de supressão
216. Deve ser observado que algumas das fileiras de pixel do sensor podem ser cobertas com um protetor de luz (por exemplo, um revesti- mento metálico ou qualquer outra camada substancialmente de cor ne- gra de um outro tipo de material). Essas fileiras de pixel cobertas po- dem ser denominadas fileiras ópticas negras 218 e 220. As fileiras óp- ticas negras 218 e 220 podem ser usadas como entrada para algorit- mos de correção. Como mostrado na Figura 2A, essas fileiras ópticas negras 218 e 220 podem estar localizadas no topo da matriz de pixel ou no fundo da matriz de pixel ou no topo e no fundo da matriz de pixel. A Figura 2B ilustra um processo de controle da quantidade de radiação eletromagnética, por exemplo, luz, que é exposta a um pixel, sendo assim integrada ou acumulada pelo pixel. Será reconhecido que os fó- tons são partículas elementares de radiação eletromagnética. Os fó- tons são integrados, absorvidos ou acumulados por cada pixel e con- vertidos em uma carga ou corrente elétrica. Um obturador eletrônico ou obturador de rolagem (mostrado pela linha tracejada 222) pode ser usado para iniciar o tempo de integração pela reinicialização do pixel. A luz então integrará até a próxima fase de leitura. A posição do obtu- rador eletrônico 222 pode ser movimentada entre dois ciclos de leitura 202 para controlar a saturação de pixel para uma determinada quanti- dade de luz. Deve ser observado que essa técnica permite um tempo de integração constante entre duas linhas diferentes, mas introduz um atraso ao se movimentar das fileiras superiores para as inferiores. À Figura 2C ilustra o caso em que o obturador eletrônico 222 foi remo- vido. Nessa configuração, a integração da luz de entrada pode come- çar durante a leitura 202 e pode terminar no próximo ciclo de leitura 202, que também define o início da próxima integração. A Figura 2D mostra uma configuração sem um obturador eletrônico 222, mas com uma luz controlada e pulsada 230 durante o tempo de supressão 216. Isso garante que todas as fileiras vejam a mesma luz emitida do mesmo pulso de luz 230. Em outras palavras, cada fileira iniciará sua integração em um ambiente escuro, que pode ser na fileira óptica ne- gra traseira 220 do quadro de leitura (m) para uma largura máxima de pulso de luz e, então, receberá uma luz estroboscópica e terminará sua integração em um ambiente escuro, que pode ser na fileira óptica ne- gra frontal 218 do próximo quadro de leitura subsequente (m+1) para uma largura máxima de pulso de luz.
No exemplo da Figura 2D, a ima- gem gerada a partir do pulso de luz ficará unicamente disponível du- rante a leitura do quadro (m+1) sem qualquer interferência nos quadros (m) e (m+2). Deve ser observado que a condição para se ter um pulso de luz a ser lido somente em um quadro e não interferir nos quadros vizinhos é ter o dado pulso de luz disparado durante o tempo de su- pressão 216. Uma vez que as fileiras ópticas negras 218, 220 são in- sensíveis à luz, o tempo de quadro (m) das fileiras ópticas negras tra- seiras 220 e o tempo de quadro (m+1) das fileiras ópticas negras fron- tais 218 podem ser somados ao tempo de supressão 216 para deter- minar a faixa máxima do tempo de disparo do pulso de luz 230. Como ilustrado na Figura 2A, um sensor pode passar pelo ciclo muitas vezes para receber dados para cada cor pulsada ou comprimento de onda (por exemplo, vermelho, verde, azul, ou outro comprimento de onda no espectro eletromagnético). Cada ciclo pode ser cronometrado.
Em uma modalidade, os ciclos podem ser cronometrados para operar den- tro de um intervalo de 16,67 ms.
Em uma outra modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de 8,3 ms.
Será reconhecido que outros intervalos de tempo são contempla- dos pela descrição e têm como objetivo ficar dentro do escopo da pre- sente descrição.
[0107] A Figura 3 ilustra graficamente a operação de uma modali- dade de um emissor eletromagnético. Um emissor pode ser cronome- trado para corresponder aos ciclos de um sensor, de modo que radiação eletromagnética seja emitida dentro do ciclo de operação do sensor e/ou durante uma parte do ciclo de operação do sensor. A Figura 3 ilustra o Pulso 1 em 302, o Pulso 2 em 304 e o Pulso 3 em 306. Em uma moda- lidade, o emissor pode pulsar durante a parte de leitura 202 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar du- rante a parte de supressão 216 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar durante um período que ocorre du- rante partes de dois ou mais ciclos operacionais do sensor. Em uma modalidade, o emissor pode iniciar um pulso durante a parte de supres- são 216 ou durante a parte óptica negra 220 da parte de leitura 202, e terminar o pulso durante a parte de leitura 202, ou durante a parte óptica negra 218 da parte de leitura 202 do próximo ciclo subsequente. Ficará entendido que qualquer combinação do que foi exposto acima deverá permanecer dentro do escopo da presente descrição, contanto que o pulso do emissor e o ciclo do sensor correspondam.
[0108] A Figura 4 representa graficamente a variação da duração e a magnitude do pulso eletromagnético emitido (por exemplo, Pulso 1 em 402, Pulso 2 em 404 e Pulso 3 em 406) para controlar a exposição. Um emissor tendo uma magnitude de saída fixa pode ser pulsado du- rante quaisquer dos ciclos mencionados acima em relação às Figuras 2D e 3 para um intervalo para fornecer a energia eletromagnética ne- cessária para a matriz de pixel. Um emissor tendo uma magnitude de saída fixa pode ser pulsado em um intervalo de tempo maior, forne- cendo assim mais energia eletromagnética aos pixels ou o emissor pode ser pulsado em um intervalo de tempo menor, fornecendo assim menos energia eletromagnética. A necessidade de um intervalo de tempo mais longo ou mais curto depende das condições operacionais.
[0109] Em contraste ao ajuste do intervalo de tempo que o emissor pulsa uma magnitude de saída fixa, a própria magnitude da emissão pode ser aumentada para fornecer mais energia eletromagnética aos pixels. De modo similar, a redução da magnitude do pulso fornece me- nos energia eletromagnética aos pixels. Deve ser observado que uma modalidade do sistema pode ter a capacidade de ajustar simultanea- mente tanto a magnitude quanto a duração, se desejado. Adicional- mente, o sensor pode ser ajustado para aumentar sua sensibilidade e duração conforme desejado para uma qualidade de imagem ideal. A Fi- gura 4 ilustra a variação da magnitude e a duração dos pulsos. Na ilus- tração, o Pulso 1 em 402 tem uma maior magnitude ou intensidade do que o Pulso 2 em 404 ou o Pulso 3 em 406. Adicionalmente, o Pulso 1 em 402 tem uma duração menor do que o Pulso 2 em 404 ou o Pulso 3 em 406, de modo que a energia eletromagnética fornecida pelo pulso seja ilustrada pela área sob o pulso mostrado na ilustração. Na ilustra- ção, o Pulso 2 em 404 tem uma magnitude ou intensidade relativamente baixa e uma duração maior em comparação com o Pulso 1 em 402 ou com o Pulso 3 em 406. Por fim, na ilustração, o Pulso 3 em 406 tem uma magnitude ou intensidade e duração intermediárias em compara- ção com o Pulso 1 em 402 e com o Pulso 2 em 404.
[0110] A Figura 5 é uma representação gráfica de uma modalidade da descrição que combina os ciclos operacionais, o emissor eletromag- nético e os pulsos eletromagnéticos emitidos das Figuras 2 a 4 para de- monstrar o sistema de imageamento durante a operação de acordo com os princípios e ensinamentos da descrição. Como pode ser visto na fi- gura, o emissor eletromagnético pulsa as emissões principalmente du- rante o período de supressão 216 do sensor, de modo que os pixels se- rão carregados e estarão prontos para a leitura durante a parte de leitura 202 do ciclo de sensor. As porções em linha tracejada no pulso (da Figura 3) ilustram o potencial ou a capacidade de emitir energia eletromagnética durante as partes ópticas negras 220 e 218 do ciclo de leitura (ciclo de sensor) 200 se tempo adicional for necessário ou desejado para pulsar energia eletromagnética.
[0111] Agora com referência às Figuras 6 a 9A, a Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro com- pleto e luz de espectro particionado. Deve ser observado que os senso- res de cor possuem uma matriz de filtro de cor (CFA) para filtrar deter- minados comprimentos de onda de luz por pixel comumente usado para a recepção de luz de espectro completo. Um exemplo de uma CFA é um padrão Bayer. Uma vez que o sensor de cor pode compreender pixels dentro da matriz que são sensibilizados para uma única cor de dentro do espectro completo, o resultado é uma imagem com resolução reduzida, pois a matriz de pixel possui espaços de pixel dedicados a apenas uma única cor de luz dentro do espectro completo. Normal- mente, tal disposição é formada em um padrão do tipo tabuleiro de xa- drez ao longo de toda a matriz.
[0112] Em contraste, quando espectros particionados de luz são usa- dos, um sensor pode ser sensibilizado ou responsivo à magnitude de toda a energia de luz, pois a matriz de pixel será instruída que está detectando energia eletromagnética de uma partição predeterminada do espectro completo de energia eletromagnética em cada ciclo. Portanto, para formar uma imagem, o sensor precisa somente passar pelo ciclo com uma plura- lidade de partições de diferenciação de dentro do espectro completo de luz e, então, remontar a imagem para exibir uma mistura predeterminada de valores de cor para cada pixel ao longo da matriz. Consequentemente, uma imagem com maior resolução também é fornecida, pois há distâncias reduzidas em comparação com um sensor Bayer entre centros de pixel da mesma sensibilidade de cor para cada um dos pulsos de cor. Como resul- tado, a imagem colorida formada tem uma maior função de transferência de modulação (MTF - "modulation transfer function"). Uma vez que a ima- gem de cada ciclo de quadro de partição de cor tem uma maior resolução, a imagem resultante criada quando os quadros de luz particionada são combinados em um quadro de cores completas também tem uma maior resolução. Em outras palavras, uma vez que todos e cada um dos pixels dentro da matriz (em vez de, no máximo, cada segundo pixel em um sen- sor com filtro de cor) está detectando as magnitudes de energia de um determinado pulso e uma determinada cena, com apenas frações de tempo de separação, uma imagem com maior resolução é criada para cada cena, exigindo que menos dados derivados (menos preciso) sejam introduzidos.
[0113] Por exemplo, a luz visível branca ou de espectro completo é uma combinação de luz vermelha, verde e azul. Na modalidade mos- trada na Figura 6, pode ser visto que tanto no processo de espectro particionado 620 quanto no processo de espectro completo 610, o tempo para capturar uma imagem varia de t(0) a t(1). No processo de espectro completo 610, luz branca ou energia eletromagnética de es- pectro completo é emitida em 612. Em 614, a energia eletromagnética branca ou de espectro completo é detectada. Em 616, a imagem é pro- cessada e exibida. Assim, entre o tempo t(0) e t(1), a imagem foi pro- cessada e exibida. Contrariamente, no processo de espectro particio- nado 620, uma primeira partição é emitida em 622 e detectada em 624. Em 626, uma segunda partição é emitida e, então, detectada em 628. Em 630, uma terceira partição é emitida e detectada em 632. Em 634, a imagem é processada e exibida. Será reconhecido que qualquer sis- tema que utiliza um ciclo de sensor de imagem que é ao menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da descrição.
[0114] Como pode ser visto graficamente na modalidade ilustrada na Figura 6 entre os tempos t(0) e t(1), o sensor para o sistema de espectro particionado 620 passou pelo ciclo três vezes para cada um do sistema de espectro completo. No sistema de espectro particionado 620, o primeiro dos três ciclos de sensor é para um espectro verde 622 e 624, o segundo dos três é para um espectro vermelho 626 e 628, e o terceiro é para um espectro azul 630 e 632. Assim, em uma modalidade em que o dispositivo de exibição (painel de LCD) opera a 50-60 quadros por segundo, um sis- tema de luz particionada deve operar em 150-180 quadros por segundo para manter a continuidade e a integridade do vídeo exibido.
[0115] Em outras modalidades, pode haver diferentes taxas de cap- tura e exibição de quadro. Além disso, a taxa de captura média poderia ser qualquer múltiplo da taxa de exibição.
[0116] Em uma modalidade, pode ser desejado que nem todas as partições sejam representadas igualmente dentro da taxa de quadro do sistema. Em outras palavras, nem todas as fontes de luz precisam ser pulsadas com a mesma regularidade, de modo a enfatizar e desenfati- zar aspectos da cena gravada conforme desejado pelos usuários. Tam- bém deve ser compreendido que as partições não visíveis e visíveis do espectro eletromagnético podem ser pulsadas juntas dentro de um sis- tema com seu respectivo valor de dados sendo costuradas na saída de vídeo conforme desejado para exibição a um usuário.
[0117] Uma modalidade pode compreender um padrão de ciclo de pulso como segue: i. Pulso verde; ii. Pulso vermelho; iii. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso infravermelho (IV); viii. (Repetir)
[0118] Como pode ser visto no exemplo, uma partição infraverme- lha ou uma partição de comprimento de onda especializada (por exem- plo, 513 a 545 nm, 565 a 585 nm e/ou 900 a 100 nm) pode ser pulsada a uma taxa que difere das taxas dos outros pulsos de partição. Isso pode ser feito para enfatizar um determinado aspecto da cena, com os dados IV simplesmente sendo sobrepostos aos outros dados na saída de vídeo para realizar a ênfase desejada. Deve ser observado que a adição de uma partição eletromagnética no topo das partições VERMELHA, VERDE e AZUL não necessariamente exige que o sistema em série opere em quatro vezes a taxa de um sistema não serial de espectro completo, pois cada partição não precisa ser representada igualmente no padrão de pulso. Como visto na modalidade, a adição de um pulso de partição que é representado menos em um padrão de pulso (infra- vermelho em um exemplo acima), resultaria em um aumento menor que 20% da velocidade de ciclo do sensor a fim de acomodar a amostragem de partição irregular.
[0119] Em uma modalidade, pode ser emitida uma partição eletro- magnética que é sensível a corantes ou materiais que são usados para destacar aspectos de uma cena. Na modalidade, pode ser suficiente des- tacar a localização dos corantes ou materiais sem a necessidade de alta resolução. Nessa modalidade, a partição eletromagnética sensível a co- rante pode passar pelo ciclo de forma muito menos frequente do que as outras partições no sistema para incluir os dados enfatizados.
[0120] Em várias modalidades, o padrão de ciclo de pulso pode incluir qualquer um dos seguintes comprimentos de onda em qualquer ordem adequada. Esses comprimentos de onda podem ser particular- mente adequados para determinar dados de imagem multiespectral ou hiperespectral ou para determinar dados de imagem com base em uma emissão de relaxamento de reagente fluorescente:
1.465 +5 nm;
il. 533 + 4 nm; iii. 688 + 5 nm; iv. 780 + 5 nm; v. 805 +5 nm; vi. 975 +5 nm; vii. 577 + 2 nm; ou viii. 523 + 4 nm.
[0121] Os ciclos de partição podem ser divididos de modo a acomodar ou aproximar vários padrões de imageamento e vídeo. Em uma modali- dade, os ciclos de partição podem compreender pulsos de energia eletro- magnética no espectro Vermelho, Verde e Azul conforme mais bem ilus- trado nas Figuras 7A a 7D. Na Figura 7A, as diferentes intensidades de luz foram alcançadas modulando-se a largura ou a duração do pulso de luz dentro da faixa de trabalho mostrada pelas linhas tracejadas verticais cinza. Na Figura 7B, as diferentes intensidades de luz foram alcançadas modulando-se a potência da luz ou a potência do emissor eletromagnético que pode ser um emissor de laser ou LED, porém mantendo a largura ou a duração do pulso constantes. A Figura 7C mostra o caso em que tanto a potência de luz quanto a largura do pulso de luz estão sendo moduladas, levando a uma maior flexibilidade. Os ciclos de partição podem empregar CMY, IV e ultravioleta com o uso de uma fonte de pulso não visível mistu- rada com fontes de pulso visível e qualquer outro espaço de cor exigido para produzir uma imagem ou se aproximar de um padrão de vídeo dese- jado que é atualmente conhecido ou ainda por ser desenvolvido. Também deve ser compreendido que um sistema pode ser capaz de alternar entre os espaços de cor durante o progresso para fornecer a qualidade de emis- são de imagem desejada.
[0122] Em uma modalidade que utiliza espaços de cor Verde-Azul- Verde-Vermelho (conforme visto na Figura 7D), pode-se desejar pulsar os componentes de luminância mais frequentemente do que os com- ponentes de crominância, pois os usuários são, de modo geral, mais sensíveis às diferenças de magnitude da luz do que às diferenças de cor da luz. Esse princípio pode ser explorado com o uso de um sensor monocromático conforme ilustrado na Figura 7D. Na Figura 7D, a cor verde, que contém a maioria das informações de luminância, pode ser pulsada mais frequentemente ou com mais intensidade em um es- quema (G-B-G-R-G-B-G-R...) para se obter os dados de luminância. Essa configuração criaria uma transmissão de vídeo que tem percep- tivelmente mais detalhes, sem criar e transmitir dados imperceptíveis.
[0123] Em uma modalidade, a duplicação do pulso de uma partição mais fraca pode ser usada para produzir uma emissão que foi ajustada para o pulso mais fraco. Por exemplo, a luz laser azul é considerada fraca em relação à sensibilidade dos pixels baseados em silício e é difícil de se produzir em comparação com a luz vermelha ou verde e, portanto, pode ser pulsada mais frequentemente durante um ciclo de quadro para compensar a fraqueza da luz. Esses pulsos adicionais po- dem ser realizados em série no decorrer do tempo ou usando-se múl- tiplos lasers que pulsam simultaneamente para produzir o efeito de compensação desejado. Deve ser observado que ao pulsar durante um período de supressão (tempo durante o qual o sensor não está lendo a matriz de pixel), o sensor é insensível às diferenças/disparida- des entre lasers do mesmo tipo e simplesmente acumula a luz para a emissão desejada. Em uma outra modalidade, a faixa de máximo pulso de luz pode ser diferente de quadro para quadro. Isso é mostrado na Figura 7E onde os pulsos de luz são diferentes de quadro para quadro. O sensor pode ser construído para poder programar diferentes tempos de supressão com um padrão de repetição de 2 ou 3 ou 4 ou n quadros. Na Figura 7E, são ilustrados 4 diferentes pulsos de luz, e o Pulso 1 pode se repetir, por exemplo, após o Pulso 4 e pode ter um padrão de
4 quadros com diferentes tempos de supressão. Essa técnica pode ser usada para colocar a partição mais potente no menor tempo de supres- são e, portanto, permitir que a partição mais fraca tenha pulso mais largo em um dos próximos quadros sem a necessidade de aumentar a velocidade de leitura. O quadro reconstruído pode ter ainda um padrão regular de quadro para quadro, pois é constituído de muitos quadros pulsados.
[0124] Como pode ser visto na Figura 8, uma vez que cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Em 810, os dados obtidos do histograma de um qua- dro anterior podem ser analisados. Em 820, o sensor pode ser ajustado conforme mencionado abaixo. Adicionalmente, em 830, o emissor pode ser ajustado. Em 840, a imagem pode ser obtida do tempo de amostra ajustado a partir do sensor ou a imagem pode ser obtida com luz emitida ajustada (tanto aumentada quanto diminuída), ou uma combinação do acima mencionado. Por exemplo, uma vez que o espectro de luz ver- melha é mais prontamente detectado por um sensor dentro do sistema do que o espectro de luz azul, o sensor pode ser ajustado para ficar menos sensível durante o ciclo de partição vermelho e mais sensível durante o ciclo de partição azul devido à baixa Eficiência Quântica que a partição azul tem em relação ao silício (mais bem ilustrado na Figura 9). De modo similar, o emissor pode ser ajustado para fornecer uma partição ajustada (por exemplo, maior ou menor intensidade e duração). Além disso, ajustes podem ser feitos tanto ao nível do sensor quanto do emissor. O emissor pode também ser projetado para emitir em uma fre- quência específica ou pode ser alterado para emitir múltiplas frequên- cias de uma partição específica para ampliar o espectro de luz que está sendo emitido, se desejado, para uma aplicação em particular.
[0125] A Figura 10 mostra um esquema de um pixel 4T não com- partilhado. O sinal TX é usado para transferir cargas acumuladas do fotodiodo (PPD) para a difusão oscilante (FD). O sinal de reinicializa- ção é usado para reinicializar a FD para o barramento de reinicializa- ção. Se os sinais de reinicialização e TX estiver "ligados" ao mesmo tempo, o PPD é constantemente reinicializado (cada carga de foto ge- rada no PPD é diretamente coletada no barramento de reinicialização) e o PPD está sempre vazio. A implementação de matriz de pixel usual inclui uma linha de reinicialização horizontal que fixa os sinais de reini- cialização de todos os pixels dentro de uma fileira e uma linha TX ho- rizontal que fixa os sinais TX de todos os pixels dentro de uma fileira.
[0126] Em uma modalidade, o tempo de ajuste de sensibilidade do sensor é ilustrado e o ajuste de sensibilidade do sensor pode ser al- cançado usando-se um mecanismo de reinicialização global (ou seja, um meio de disparo de todos os sinais de reinicialização da matriz de pixel de uma vez) e um mecanismo de TX global (ou seja, meios de disparo de todos os sinais TX da matriz de pixel de uma vez). Isto é mostrado na Figura 11. Nesse caso, o pulso de luz é constante em termos de duração e amplitude, porém a luz integrada em todos os pixels começa com a transição de "ligado" para "desligado" do TX glo- bal e termina com o pulso de luz. Portanto, a modulação é realizada movendo-se a borda em queda do pulso TX global.
[0127] Por outro lado, o emissor pode emitir luz vermelha em uma menor intensidade do que a luz azul para produzir uma imagem corre- tamente exposta (mais bem ilustrada na Figura 12). Em 1210, os dados obtidos do histograma de um quadro anterior podem ser analisados. Em 1220, o emissor pode ser ajustado. Em 1230, a imagem pode ser obtida a partir da luz emitida ajustada. Adicionalmente, em uma modalidade, tanto o emissor quanto o sensor podem ser simultaneamente ajustados.
[0128] A reconstrução dos quadros de espectro particionado em um quadro de espectro completo para emissão posterior poderia ser tão simples quanto misturar os valores detectados para cada pixel na matriz em algumas modalidades. Adicionalmente, a blenda e a mistura de va- lores podem ser médias simples ou podem ser ajustadas em uma tabela de consulta (LUT - "lookup table") predeterminada de valores para emis- sões desejadas. Em uma modalidade de um sistema usando espectros de luz particionada, os valores detectados podem ser pós-processados ou adicionalmente refinados remotamente a partir do sensor por uma imagem ou processador secundário, e sendo pouco antes enviado para uma tela de exibição.
[0129] A Figura 13 ilustra um exemplo básico em 1300 de um ISP monocromático e como uma cadeia de ISP pode ser montada para fins de geração de sequências de imagem sRGB a partir de dados brutos do sensor gerados na presença do esquema de pulsação de luz G-R- G-B.
[0130] O primeiro estágio se refere à realização de correções (vide 1302, 1304 e 1306 na Figura 13) para levar em consideração quaisquer não idealidades na tecnologia de sensor para as quais é mais apropri- ado trabalhar no domínio de dados brutos (vide a Figura 21).
[0131] No próximo estágio, dois quadros (vide 1308 e 1310 na Fi- gura 13) seriam armazenados temporariamente uma vez que cada quadro final deriva dados de três quadros brutos. A reconstrução do quadro em 1314 continuaria por dados de amostragem do quadro atual e dos dois quadros armazenados temporariamente (1308 e/ou 1310). O processo de reconstrução resulta em quadros de cores completas em espaço de cor RGB linear.
[0132] Nesse exemplo, os coeficientes de equilíbrio de branco em 1318 e a matriz de correção de cor em 1320 são aplicados antes da conversão em espaço YCbCr em 1322 para subsequente intensifica- ção de borda em 1324. Após a intensificação de borda em 1324, as imagens são transformadas de volta em RGB linear em 1326 para al- teração de escala em 1328, se aplicável.
[0133] Por fim, a função de transferência gama em 1330 seria apli- cada para transladar os dados para o domínio SsRGB em 1332.
[0134] A Figura 14 é um exemplo de modalidade de hardware de fusão de cores. O hardware de fusão de cores recebe um fluxo de dados de vídeo RGBGRGBGRGBG em 1402 e o converte em um fluxo de da- dos de vídeo RGB paralelo em 1405. A largura de bit no lado de entrada pode ser, por exemplo, de 12 bits por cor. A largura de saída para esse exemplo seria de 36 bits por pixel. Outras modalidades podem ter dife- rentes larguras de bit iniciais e 3 vezes esse número para a largura de saída. O bloco escritor de memória assume como sua entrada a trans- missão de vídeo RGBG em 1402 e escreve cada quadro em seu buffer de memória de quadro correta em 1404 (o escritor de memória dispara o mesmo gerador de pulso 1410 que executa a fonte de luz laser). Como ilustrado em 1404, a escrita da memória segue o padrão, Vermelho, Verde 1, Azul, Verde 2, e então reinicia com Vermelho novamente. Em 1406, o leitor de memória lê três quadros de uma vez para construir um pixel RGB. Cada pixel tem três vezes a largura de bit de um componente de cor individual. O leitor também dispara o gerador de pulso de laser em 1410. O leitor espera até que os quadros Vermelho, Verde 1 e Azul tenham sido escritos, então passa a lê-los em paralelo enquanto o es- critor continua a escrever Verde 2 e reinicia em Vermelho. Quando o Vermelho termina, o leitor começa a ler a partir do Azul, Verde 2 e Ver- melho. Esse padrão continua indefinidamente.
[0135] Agora com referência às Figuras 15 e 16, a reconstrução pa- drão RG1BG2RG1BG?2 ilustrada na Figura 16 permite a saída de 60 fps com entrada de 120 fps em uma modalidade. Cada quadro consecutivo contém tanto um componente vermelho quanto um azul do quadro an- terior. Na Figura 16, cada componente de cor está disponível em 8,3 ms e o quadro reconstruído resultante tem um período de 16,67 ms. De modo geral, para esse esquema de pulsação, o quadro reconstruído tem um período de duas vezes aquele do quadro colorido de entrada como mostrado na Figura 15. Em outras modalidades, diferentes esquemas de pulsação podem ser empregados. Por exemplo, as modalidades po- dem ser baseadas no tempo de cada componente de cor ou quadro (T1) e em que o quadro reconstruído tem um período de duas vezes aquele do quadro de cor de entrada (2 x T1). Diferentes quadros dentro da se- quência podem ter diferentes períodos de quadro e a taxa média de captura poderia ser qualquer múltiplo da taxa de quadro final.
[0136] As Figuras 17 a 20 ilustram métodos de correção de cor e esquemas de hardware para uso com um sistema de luz particionada. É comum no imageamento digital manipular os valores dentro dos da- dos de imagem para corrigir a saída a fim de atender às expectativas do usuário ou destacar determinados aspectos do objeto imageado. Isso é mais comumente realizado em imagens de satélite que são sintonizadas e ajustadas para enfatizar um tipo de dados em relação a outro. Mais frequentemente, em dados adquiridos por satélite há o espectro com- pleto de energia eletromagnética disponível, uma vez que a fonte de luz não é controlada, ou seja, o sol é a fonte de luz. Em contraste, há con- dições de imageamento em que a luz é controlada e ainda fornecida por um usuário. Nessas situações, a calibração de dados de imagem ainda é desejável, pois sem calibração pode ser dada a indevida ênfase a de- terminados dados em relação a outros dados. Em um sistema em que a luz é controlada pelo usuário, é vantajoso fornecer emissões de luz que são conhecidas do usuário e que podem ser somente uma porção do espectro eletromagnético ou uma pluralidade de porções do espectro eletromagnético completo. A calibração continua sendo importante para atender às expectativas dos usuários e verificar falhas dentro do sis-
tema. Um método de calibração pode ser uma tabela de valores espe- rados para uma determinada condição de imageamento que podem ser comparados com os dados do sensor. Uma modalidade pode incluir uma cena de cor neutra tendo valores conhecidos que devem ser envi- ados pelo dispositivo de imageamento e o dispositivo pode ser ajustado para atender a esses valores conhecidos quando o dispositivo amostra a cena de cor neutra.
[0137] Em uso, e ao ser iniciado, o sistema pode amostrar uma cena de cor neutra em 1710 (como ilustrado na Figura 17) ao executar um ciclo completo de uma pluralidade de partições de espectro eletromag- nético em 1702. Uma tabela de valores 1708 pode ser formada para produzir um histograma para o quadro em 1704. Os valores do quadro podem ser comparados com os valores conhecidos ou esperados da cena de cor neutra em 1706. O dispositivo de imageamento pode ser então ajustado para atender a emissão desejada em 1712. Em uma mo- dalidade ilustrada na Figura 17, o sistema pode compreender um pro- cessador de sinal de imagem (ISP - "image signal processor") que pode ser ajustado para corrigir a cor do dispositivo de imageamento.
[0138] Deve ser observado que como cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Por exemplo, em uma modalidade, uma vez que o espectro de luz azul tem uma menor eficiência quântica do que o espectro de luz vermelha em relação aos imageadores baseados em silício, a responsi- vidade do sensor pode ser então ajustada para ficar menos responsiva durante o ciclo vermelho e mais responsiva durante o ciclo azul. Por outro lado, o emissor pode emitir luz azul em uma maior intensidade, devido à menor eficiência quântica da luz azul, do que luz vermelha para produzir uma imagem corretamente exposta.
[0139] Em uma modalidade ilustrada na Figura 18, sendo que a emis- sões de fonte de luz são fornecidas e controláveis pelo sistema, o ajuste dessas emissões de luz pode ser feito para corrigir a cor de uma imagem em 1800. Os ajustes podem ser feitos em qualquer aspecto da luz emitida, por exemplo, magnitude, duração (ou seja, tempo que permanece ligada) ou a faixa dentro da partição do espectro. Adicionalmente, tanto o emissor quanto o sensor podem ser ajustados simultaneamente em algumas mo- dalidades como mostrado na Figura 19.
[0140] Para reduzir a quantidade de ruído e artefatos dentro do fluxo ou vídeo de imagem enviada, ajustes fracionados podem ser realizados no sensor ou emissor dentro do sistema como pode ser visto na Figura 20. É ilustrado na Figura 20 um sistema 2000 em que tanto o emissor 2006 quanto o sensor 2008 podem ser ajustados, porém um dispositivo de ima- geamento em que o emissor ou o sensor é ajustado durante o uso ou du- rante uma parte do uso é também contemplado e está no escopo da pre- sente descrição. Pode ser vantajoso ajustar somente o emissor durante uma parte do uso e ajustar somente o sensor durante uma outra porção do uso, enquanto adicionalmente ainda se ajusta ambos simultaneamente durante uma parte do uso. Em quaisquer das modalidades acima, uma qualidade de imagem aprimorada pode ser obtida limitando-se os ajustes gerais que o sistema pode realizar entre ciclos de quadro. Em outras pa- lavras, uma modalidade pode ser limitada, de modo que o emissor possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. De modo semelhante, o sensor pode ser limi- tado, de modo que possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. Além disso, tanto o emissor quanto o sensor podem ser limitados, de modo que possa ser so- mente ajustados juntos em uma fração de suas respectivas faixas opera- cionais em qualquer momento entre os quadros em uma modalidade.
[0141] Em uma modalidade exemplificadora, um ajuste fracionado dos componentes dentro do sistema pode ser realizado, por exemplo, em cerca de 0,1 dB da faixa operacional dos componentes para corrigir a exposição do quadro anterior. O valor de 0,1 dB é meramente um exemplo e deve ser observado que, em outras modalidades, o ajuste permitido dos componentes pode ser qualquer porção de suas respec- tivas faixas operacionais. Os componentes do sistema podem ser alte- rados pelo ajuste de intensidade ou duração que é, de modo geral, regido pelo número de bits (resolução) enviados pelo componente. À resolução do componente pode estar tipicamente entre uma faixa de cerca de 10 a 24 bits, porém não deve ser limitada a essa faixa já que deve incluir resoluções para componentes que ainda devem ser de- senvolvidas, além daquelas que estão atualmente disponíveis. Por exemplo, após um primeiro quadro, é determinado que a cena é muito azul quando observada, então o emissor pode ser ajustado para redu- zir a magnitude ou a duração do pulso da luz azul durante o ciclo azul do sistema por meio de um ajuste fracionado conforme discutido acima, por exemplo, cerca de 0,1 dB.
[0142] Nessa modalidade exemplificadora, mais que 10 por cento pode ter sido necessário, porém o sistema se limitou ao ajuste de 0,1 dB da faixa operacional por ciclo do sistema. Consequentemente, durante o próximo ciclo de sistema, a luz azul pode ser então ajustada novamente, se necessário. O ajuste fracionado entre ciclos pode ter um efeito de aba- famento das imagens emitidas e reduzirá o ruído e artefatos ao operar os emissores e sensores em suas operações extremas. Pode ser determi- nado que qualquer quantidade fracionada da faixa operacional de ajuste dos componentes pode ser usada como um fator limitador, ou pode ser determinado que certas modalidades do sistema podem compreender componentes que podem ser ajustados ao longo de toda a sua faixa ope- racional.
[0143] Adicionalmente, a área óptica negra de qualquer sensor de imagem pode ser usada para auxiliar na correção da imagem e na redu- ção de ruído. Em uma modalidade, os valores lidos a partir da área óptica negra podem ser comparados com aqueles da região de pixel ativo de um sensor para estabelecer um ponto de referência a ser usado no pro- cessamento de dados de imagem. A Figura 21 mostra o tipo de proces- sos de correção de sensor que podem ser empregados em um sistema pulsado de cor. Os sensores de imagem CMOS têm tipicamente múltiplas não idealidades que têm um efeito prejudicial sobre a qualidade da ima- gem, particularmente em baixa luz. Os principais dentre eles são o ruído de padrão fixo e o ruído de linha. O ruído de padrão fixo é uma dispersão nos deslocamentos desses elementos de detecção. Tipicamente, a mai- oria dos FPN é uma dispersão de pixel para pixel que se origina, entre outras fontes, de variações aleatórias em corrente escura de fotodiodo para fotodiodo. Isso parece bastante anormal para o observador. Ainda mais notável é a coluna FPN, que resulta de deslocamentos na cadeia de leitura associada a colunas de pixels em particular. Isso resulta em faixas verticais perceptíveis dentro da imagem.
[0144] Ter o controle total da iluminação tem o benefício de que todos os quadros de dados negros podem ser periodicamente adquiri- dos e usados para corrigir os deslocamentos de pixel e coluna. No exemplo ilustrado, uma memória temporária de quadro único pode ser usada para obter uma média móvel de todo o quadro sem o uso de luz, por exemplo, suavização exponencial simples. Esse quadro médio ne- gro seria subtraído de cada quadro iluminado durante a operação re- gular.
[0145] Linha-Ruído é uma variação temporal estocástica nos desloca- mentos de pixels dentro de cada fileira. Por ser temporal, a correção deve ser computada novamente para cada linha e cada quadro. Para essa fina- lidade, existem geralmente muitos pixels opticamente cegos (OB - "opti-
cally blind") dentro de cada fileira na matriz, que deve ser primeiro amos- trado para avaliar o deslocamento de linha antes da amostragem dos pixels sensíveis à luz. O deslocamento de linha é, então, simplesmente subtraído durante o processo de correção de ruído de linha.
[0146] No exemplo da Figura 21, há outras correções relacionadas à obtenção dos dados na ordem adequada, monitorando e controlando o deslocamento de tensão no domínio analógico (clamp negro) e iden- tificando/corrigindo pixels defeituoso individuais.
[0147] As Figuras 22 e 23 ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada. Em uma modalidade, entradas de exposição podem ser introduzidas em diferentes níveis ao longo do tempo e se combinar para produzir maior faixa dinâmica. Como pode ser visto na Figura 22, um sistema de imageamento pode passar pelo ciclo em uma primeira intensidade para um primeiro ciclo em 2202 e, então, subse- quentemente passar pelo ciclo em uma segunda intensidade para um segundo ciclo em 2204 e, então, combinando esses primeiro e segundo ciclos em um único quadro em 2206, de modo que uma maior faixa di- nâmica possa ser alcançada. A maior faixa dinâmica pode ser especial- mente desejável devido ao espaço ambiente limitado no qual um dispo- sitivo de imageamento é usado. Em ambientes de espaço limitado que são deficientes de luz ou escuros, exceto pela luz fornecida pela fonte de luz, e onde a fonte de luz fica próxima do emissor de luz, a exposição tem uma relação exponencial com a distância. Por exemplo, objetos pró- ximos da fonte de luz e a abertura óptica do dispositivo de imageamento tendem a ser superexpostos, ao passo que objetos mais distantes ten- dem a ser extremamente subexpostos, pois há pouquíssima luz ambi- ente presente (se houver).
[0148] Como pode ser visto na Figura 23, os ciclos de um sistema tendo emissões de energia eletromagnética em uma pluralidade de partições podem passar pelo ciclo em série de acordo com as partições do espectro eletromagnético em 2300. Por exemplo, em uma modali- dade em que o emissor emite lasers em uma partição vermelha dis- tinta, em uma partição azul distinta e em uma partição verde distinta, os dois conjuntos de dados em ciclo que serão combinados podem estar na forma de: i. vermelho na intensidade um em 2302, ii. vermelho na intensidade dois em 2304, iii. azul na intensidade um em 2302, iv. azul na intensidade dois em 2304, v. verde na intensidade um em 2302, vi. verde na intensidade dois em 2304.
[0149] Alternativamente, o sistema pode passar pelo ciclo na forma de: i. vermelho na intensidade um em 2302, ii. azul na intensidade um em 2302, iii. verde na intensidade um em 2302, iv. vermelho na intensidade dois em 2304, v. azul na intensidade dois em 2304, vi. verde na intensidade dois em 2304.
[0150] Nessa modalidade, uma primeira imagem pode ser derivada dos valores da intensidade um, e uma segunda imagem pode ser derivada dos valores da intensidade dois e, então, combinadas ou processadas como conjuntos completos de dados de imagem em 2310 em vez de suas partes componentes.
[0151] É contemplado como dentro do escopo da presente descri- ção que qualquer número de partições de emissão pode ser usado em qualquer ordem. Conforme visto na Figura 23, "n" é usado como uma variável para denotar qualquer número de partições eletromagnéticas e "m" é usado para denotar qualquer nível de intensidade para das partições "n". Esse sistema pode passar pelo ciclo na forma de: i. n na intensidade m em 2306, ii. n+1 na intensidade m+1, iii. n+2 na intensidade m+2, iv. n+i na intensidade m+j em 2308.
[0152] Consequentemente, qualquer padrão de ciclos em série pode ser usado para produzir a correção de imagem desejada, sendo que "i" e "j" são valores adicionais dentro da faixa de operação do sis- tema de imageamento.
[0153] Câmeras digitais coloridas incorporam um estágio de pro- cessamento de imagem com a finalidade de aumentar a fidelidade da reprodução de cor. Isso é realizado por meio de uma matriz de 3 x 3 conhecida como Matriz de Correção de Cor (CCM - "Color Correction Matrix"): R R a bc G| =|G def lool 5
[0154] Os termos na CCM são ajustados usando-se um conjunto de cores de referência (por exemplo, de um gráfico Macbeth) para fornecer a melhor correspondência total com o espaço de cor padrão sRGB. Os ter- mos diagonais, a, e e /, são efetivamente ganhos de equilíbrio de branco. Tipicamente, no entanto, o equilíbrio de branco é aplicado separadamente, e as somas de fileiras horizontais são restringidas pela unidade, para que nenhum ganho líquido seja aplicado pelo próprio COM. Os termos fora da diagonal lidam eficientemente com interferência de cor nos canais de en- trada. Portanto, os sensores Bayer possuem maiores termos fora da dia- gonal do que câmeras com 3 circuitos integrados, uma vez que as matrizes de filtro de cor possuem bastante sobreposição de resposta entre canais.
[0155] Há uma penalidade de razão sinal/ruído para correção de cor que depende da magnitude dos termos fora da diagonal. Um sen-
sor hipotético com canais que correspondem perfeitamente aos com- ponentes sRGB teriam a matriz de identidade CCM: R R 100 G =|G 010
ELE
[0156] A razão sinal/ruído avaliada no canal verde para um sinal de foto branco perfeito de 10.000 e- por pixel (desprezando o ruído de leitura) para esse caso seria: SNR .—.—— =100
[0157] Qualquer desvio disso degrada a SNR. Toma-se, por exemplo, a seguinte CCM que possui valores que não seriam incomuns para um sensor CMOS Bayer: R R 26 14 -02 G =|G (0,3 1,6 03
LES E
[0158] Nesse caso, a SNR verde: sm - ROS IR a cora
[0159] A Figura 24 mostra o resultado de uma simulação de SNR total usando iluminação D65 para um típico sensor CCM Bayer para o caso de uso da matriz de identidade versus a CCM ajustada. A SNR ava- liada para o componente de luminância é cerca de 6dB pior como conse- quência da correção de cor.
[0160] O sistema descrito na presente descrição utiliza iluminação monocromática em uma pluralidade de comprimentos de onda discre- tos, portanto não há interferência de cor per se. As cruzes na Figura indicam as posições de três comprimentos de onda que estão dis- poníveis por meio de fontes de diodo a laser (465, 532 e 639 nm), com- parado com a gama sRGB que é indicada pelo triângulo.
[0161] Os termos fora da diagonal para a CCM são, nesse caso,
drasticamente reduzidos em comparação com sensores Bayer que for- necem uma significativa vantagem SNR.
[0162] A Figura 26 ilustra um sistema de imageamento tendo maior faixa dinâmica conforme fornecida pela configuração de pixel da matriz de pixel do sensor de imagem. Como pode ser visto na figura, os pixels adjacentes 2602 e 2604 podem ser configurados em diferentes sensibili- dades, de modo que cada ciclo inclua dados produzidos por pixels que são mais e menos sensíveis um em relação ao outro. Como uma plurali- dade de sensibilidades pode ser gravada em um único ciclo da matriz, a faixa dinâmica pode ser maior se gravada em paralelo, ao contrário da natureza em série dependente do tempo de outras modalidades.
[0163] Em uma modalidade, uma matriz pode compreender fileiras de pixels que podem ser colocados em fileiras com base em suas sen- sibilidades. Em uma modalidade, os pixels de diferentes sensibilidades podem alternar dentro de uma fileira ou coluna em relação aos seus pixels vizinhos mais próximos para formar um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz com base nessas sensibilidades. O descrito acima pode ser realizado através de qualquer disposição de compartilhamento de circuito de pixel ou em qualquer disposição de circuito de pixel independente.
[0164] Uma ampla faixa dinâmica pode ser obtida tendo-se múlti- plos TX global, cada TX disparando somente em um diferente conjunto de pixels. Por exemplo, em modo global, um sinal TX global 1 está dis- parando um conjunto 1 de pixels, um sinal TX global 2 está disparando um conjunto 2 de pixels.... um sinal TX global n está disparando um conjunto n de pixels.
[0165] Com base na Figura 11, a Figura 27A mostra um exemplo de temporização para 2 diferentes sensibilidades de pixel (sensibili- dade de pixel duplo) na matriz de pixel. Nesse caso, o sinal TX global 1 dispara metade dos pixels da matriz e o TX global 2 dispara a outra metade dos pixels. Uma vez que TX global 1 e TX global 2 possuem diferentes posições de borda "ligado" para "desligado", a luz integrada é diferente entre os pixels TX1 e os pixels TX2. A Figura 27B mostra uma modalidade diferente da temporização para sensibilidade de pixel duplo. Nesse caso, o pulso de luz é modulado duas vezes (duração e/ou amplitude do pulso). Os pixels TX1 integram o pulso P1 e os pixels TX?2 integram os pulsos P1+P2. A separação dos sinais de TX global pode ser realizada de diversas maneiras. Seguem exemplos: i. Diferenciação de linhas TX de cada fileira; e ii. Envio de múltiplas linhas TX por fileira, cada uma ende- reçada a um conjunto diferente de pixels.
[0166] Em uma implementação, é descrito um meio para fornecer vídeo de ampla faixa dinâmica, o qual explora o sistema de pulsação de cor descrito na presente descrição. A base disso é ter múltiplos flavors ("sabores") de pixels, ou pixels que podem ser ajustados de maneira diferente, dentro da mesma matriz monocromática que são capazes de integrar a luz incidente para diferentes durações dentro do mesmo qua- dro. Um exemplo da disposição de pixel na matriz desse sensor seria um padrão uniforme de tabuleiro de xadrez como um todo, com dois tempos de integração independentemente variáveis. Para esse caso, é possível fornecer informação tanto vermelha quanto azul dentro do mesmo quadro. De fato, é possível fazer isso ao mesmo tempo ao am- pliar a faixa dinâmica para o quadro verde, onde é mais necessária, uma vez que os dois tempos de integração podem ser ajustados quadro a quadro. O benefício é que os artefatos de movimentação de cor são um problema menor se todos os dados forem derivados de dois quadros em relação a três quadros. Há evidentemente uma perda subsequente de resolução espacial dos dados do vermelho e azul, mas que é de menor consequência para a qualidade da imagem em comparação com dados do verde, uma vez que o componente de luminância é dominado pelos dados do verde.
[0167] Uma propriedade inerente da matriz monocromática de ampla faixa dinâmica (WDR - "wide-dynamic range") é que os pixels que pos- suem o longo tempo de integração devem integrar um superconjunto da luz vista pelos pixels de curto tempo de integração. Para a operação re- gular da ampla faixa dinâmica nos quadros verdes, que é desejável. Para os quadros vermelho e azul, isso significa que a pulsação deve ser con- trolada em conjunto com os períodos de exposição para, por exemplo, fornecer luz azul desde o início da longa exposição e trocar para o ver- melho no ponto em que os pixels de curta exposição são ligados (ambos os tipos de pixel possuem suas cargas transferidas ao mesmo tempo).
[0168] No estágio de fusão de cor, os dois flavors ("sabores") de pixels são separados em duas memórias temporárias. Os pixels vazios são, en- tão, preenchidos ao utilizar, por exemplo, interpolação linear. Nesse ponto, uma memória temporária contém uma imagem completa de dados do azul e a outra do vermelho+azul. A memória temporária azul pode ser subtraída da segunda memória temporária para fornecer dados vermelhos puros.
[0169] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada, ou mantida constante, com um sensor de cor correspondente. Como pode ser visto na Figura 28A, um emissor de luz branca pode ser configurado para emitir um feixe de luz durante o período de supressão de um sensor correspondente para forne- cer uma fonte de luz controlada em um ambiente de luz controlada. A fonte de luz pode emitir um feixe em uma magnitude constante e variar a dura- ção do pulso conforme visto na Figura 28A, ou pode manter o pulso cons- tante com variação da magnitude para obter dados corretamente expostos como ilustrado na Figura 28B. É ilustrada na Figura 28C uma representa- ção gráfica de uma fonte de luz constante que pode ser modulada com corrente variável que é controlada por e sincronizada com um sensor.
[0170] Em uma modalidade, luz branca ou luz de múltiplo espectro pode ser emitida como um pulso, se desejado, para fornecer dados para uso dentro do sistema (mais bem ilustrado nas Figuras 28A a 28C). As emissões de luz branca, em combinação com partições do espectro ele- tromagnético, podem ser úteis para enfatizar e desenfatizar determina- dos aspectos dentro de uma cena. Essa modalidade deve utilizar um padrão de pulsação de: i. Pulso verde; ii. Pulso vermelho; iii, Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso de luz branca (múltiplos espectros); viii. (Repetir)
[0171] Qualquer sistema que utiliza um ciclo de sensor de imagem que é ao menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da descrição. Será reconhecido que qual- quer combinação de partições do espectro eletromagnético é contem- plada na presente invenção, seja do espectro visível ou do não visível do espectro eletromagnético completo.
[0172] As Figuras 29A e 29B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor monolítico 2900 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional de acordo com os ensinamentos e princípios da descrição. Essa implementação pode ser desejável para a captura de imagem tridimensional, sendo que as duas matrizes de pixel 2902 e 2904 podem ser deslocadas durante o uso. Em uma outra im- plementação, uma primeira matriz de pixel 2902 e uma segunda matriz de pixel 2904 pode ser dedicada a receber uma faixa predeterminada de comprimentos de onda de radiação eletromagnética, sendo que a primeira matriz de pixel é dedicada a uma faixa diferente de compri- mento de onda de radiação eletromagnética em relação à segunda ma- triz de pixel.
[0173] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sensor de imageamento 3000 construído sobre uma pluralidade de substratos. Como ilustrado, uma pluralidade de colunas de pixel 3004 que forma a matriz de pixel está localizada no primeiro substrato 3002 e uma plurali- dade de colunas de circuito 3008 está localizada em um segundo subs- trato 3006. São também ilustradas na figura a conexão elétrica e a comu- nicação entre uma coluna de pixels e sua coluna associada ou corres- pondente de circuito. Em uma implementação, um sensor de imagem, que pode ser de outra forma fabricado com sua matriz de pixel e circuitos de suporte em um único substrato/circuito integrado monolítico, pode ter a matriz de pixel separada de todos ou da maioria dos circuitos de su- porte. A descrição pode utilizar ao menos dois substratos/circuitos inte- grados, os quais serão empilhados usando-se tecnologia de empilha- mento tridimensional. O primeiro 3002 dos dois substratos/circuitos inte- grados pode ser processado usando-se um processo de imagem CMOS. O primeiro substrato/circuito integrado 3002 pode ser compreendido tanto de uma matriz de pixel exclusivamente ou de uma matriz de pixel circundada por circuitos limitados. O segundo ou subsequente subs- trato/circuito integrado 3006 pode ser processado usando-se qualquer processo e não precisa ser de um processo de imagem CMOS. O se- gundo substrato/circuito integrado 3006 pode ser, porém não está limi- tado a, um processo digital altamente denso para integrar uma variedade e número de funções em um espaço ou área muito limitado no subs- trato/circuito integrado, ou um processo de modo misto ou analógico para integrar, por exemplo, funções analógicas precisas, ou um processo de
RF para implementar capacidade sem fio, ou MEMS ("Micro-Electro-Me- chanical Systems" - Sistemas Micro-Eletro-Mecânicos) para integrar dis- positivos MEMS. O substrato/circuito integrado de imagem CMOS 3002 pode ser empilhado com o segundo ou subsequente substrato/circuito integrado 3006 com o uso de qualquer técnica tridimensional. O segundo substrato/circuito integrado 3006 pode suportar grande parte ou a maioria dos circuitos que de outra forma teriam sido implementados no primeiro circuito integrado de imagem CMOS 3002 (se implementados em um substrato/circuito integrado monolítico) como circuitos periféricos e, por- tanto, aumentaram a área total do sistema enquanto se mantém o tama- nho da matriz de pixel constante e otimizado ao máximo possível. A co- nexão elétrica entre os dois substratos/circuitos integrados pode ser rea- lizada através de interconexões 3003 e 3005 que podem ser ligações por fio, bump e/ou TSV (Through Silicon Via).
[0174] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento 3100 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional. O sensor de imagem tridi- mensional pode ser construído sobre uma pluralidade de substratos e pode compreender a pluralidade de matrizes de pixel e outros circuitos associados, sendo que uma pluralidade de colunas de pixel 3104a que formam a primeira matriz de pixel e uma pluralidade de colunas de pixel 3104b que formam uma segunda matriz de pixel estão localizadas em respectivos substratos 3102a e 3102b, respectivamente, e uma plurali- dade de colunas de circuito 3108a e 3108b está localizada em um subs- trato separado 3106. São também ilustradas as conexões elétricas e as comunicações entre colunas de pixels para a coluna de circuito associ- ada ou correspondente.
[0175] Será reconhecido que os ensinamentos e princípios da des- crição podem ser usados em uma plataforma de dispositivo reutilizável,
uma plataforma de dispositivo de uso limitado, uma plataforma de dis- positivo limitado a um número específico de usos, ou uma plataforma de dispositivo de uso único/descartável sem que se afaste do escopo da descrição. Será reconhecido que em uma plataforma de dispositivo reutilizável um usuário final é responsável pela limpeza e esterilização do dispositivo. Em uma plataforma de dispositivo de uso limitado, o dis- positivo pode ser usado por algumas quantidades especificadas de ve- zes antes de se tornar inoperante. Um típico dispositivo novo é entregue estéril, sendo que usos adicionais exigem que o usuário final o limpe e esterilize antes do uso adicional. Em uma plataforma de dispositivo limi- tado a um número específico de usos, um terceiro pode reprocessar (por exemplo, limpar, embalar e esterilizar) um dispositivo de uso único para usos adicionais a um custo menor do que uma unidade nova. Em uma plataforma de dispositivo de uso único/descartável, um dispositivo é fornecido estéril à sala de cirurgia e usado somente uma vez antes de ser descartado.
[0176] Uma modalidade de um emissor pode empregar um obtura- dor mecânico e filtros para criar luz de cor pulsada. É ilustrado na Figura 32 um método alternativo para produzir luz de cor pulsada com o uso de uma fonte de luz branca e um filtro mecânico de cor e um sistema de obturador 3200. A roda poderia conter um padrão de janelas de filtro de cor translúcida e seções opacas para obturação. As seções opacas não permitiriam a entrada de luz e criaria um período de escuridão no qual poderia ocorrer a leitura do sensor. A fonte de luz branca poderia ser ba- seada em qualquer tecnologia: laser, LED, xenônio, halogênio, haleto metálico, ou outra. A luz branca pode ser projetada através de uma série de filtros de cor 3207, 3209 e 3211 do padrão desejado de pulsos de luz colorida. Uma modalidade padrão poderia ser filtro Vermelho 3207, filtro Verde 3209, filtro Azul 3211, filtro Verde 3209. Os filtros e o sistema de obturador 3200 poderiam ser dispostos em uma roda que gira na frequên- cia exigida para ficar em sincronia com o sensor, de modo o conheci- mento do comprimento do arco e da taxa de rotação dos filtros mecânicos de cor 3207, 3209 e 3211 e do sistema de obturadores 3205 forneceria informação de temporização para a operação de um sensor de imagem monocromática correspondente.
[0177] Ilustrada na Figura 33, uma modalidade pode compreender um padrão somente de filtros de cor translúcida 3307, 3309 e 3311 em uma roda de filtro 3300. Na presente configuração, pode ser usado um obtura- dor diferente. O obturador poderia ser mecânico e poderia ajustar dinami- camente a duração do "pulso" variando-se o tamanho. Alternativamente, o obturador poderia ser eletrônico e incorporado no projeto do sensor. Um motor que gira a roda do filtro 3300 precisará se comunicar com ou ser controlado em conjunto com o sensor, de modo que o conhecimento do comprimento do arco e da taxa de rotação do sistema de filtros mecânicos de cor 3307, 3309 e 3311 forneça informações de temporização para a operação do sensor de imagem monocromática correspondente. O sis- tema de controle precisará saber o filtro de cor adequado para cada quadro capturado pelo sensor, de modo que a imagem colorida completa possa ser reconstruída adequadamente no ISP. Um padrão de cor de RGBG é mostrado, porém outras cores e/ou padrões poderiam ser usados se for vantajoso. O tamanho relativo das seções de cor é mostrado como sendo igual, mas poderia ser ajustado se for vantajoso. A estrutura mecânica do filtro é mostrada como um círculo que se movimenta rotacionalmente, mas que poderia ser retangular com um movimento linear, ou um formato dife- rente com um padrão de movimento diferente.
[0178] Como ilustrado na Figura 34, uma modalidade para pulsar luz colorida pode consistir em uma roda mecânica ou cilindro que contém os componentes eletrônicos e dissipadores de calor para LEDS Vermelhos, Verdes, Azuis ou Brancos. Os LEDs ficariam espaçados na distância que estaria relacionada à taxa de giro ou torção do cilindro ou roda para permitir a temporização de pulsação de luz consistente com outras modalidades na patente. A roda ou cilindro seria girada com o uso de um motor elétrico e uma braçadeira mecânica que fixa a roda ou cilindro ao motor elétrico. O motor seria controlado usando-se um microcontrolador, FPGA, DSP, ou outro dispositivo programável que conteria um algoritmo de controle para a temporização adequada conforme descrito na patente. Haveria uma abertura mecânica em um lado que seria opticamente acoplada a uma fi- bra óptica para transportar a fibra para o final dos escopos com os métodos descritos na patente. Esse acoplamento também poderia ter uma abertura mecânica que poderia abrir e fechar para controlar a quantidade de luz permitida através do cabo de fibra óptica. Esse seria um dispositivo de ob- turador mecânico que alternativamente poderia usar o obturador eletrônico que é projetado no sensor do tipo CMOS ou CCD. Seria difícil controlar e calibrar esse dispositivo em produção, mas seria uma outra forma de se obter luz pulsada dentro de nosso sistema.
[0179] É ilustrada na Figura 35 uma modalidade de um emissor 3502 que compreende um filtro linear 3504 e um mecanismo de obtu- rador para fornecer radiação eletromagnética pulsada. O filtro linear 3504 e o mecanismo de obturador sem movimentam horizontalmente em uma frequência exigida para filtrar os comprimentos de onda de luz apropriados.
[0180] É ilustrada na Figura 36 uma modalidade de um emissor 3602 que compreende um filtro de prisma 3604 e um mecanismo de obturador para fornecer radiação eletromagnética pulsada. O filtro de prisma 3604 filtra luz e libera uma emissão que pode incluir um obturador. O filtro de prisma 3604 se movimenta em uma frequência exigida para fornecer um padrão de emissão de cor correta.
[0181] Adicionalmente, os ensinamentos e princípios da descrição podem incluir todos e quaisquer comprimentos de onda de energia ele- tromagnética, incluindo os espectros visível e não visível, como infra- vermelho (IV), ultravioleta (UV) e raios X.
[0182] A Figura 37 é um diagrama esquemático que ilustra um sis- tema 3700 para fornecer iluminação a um ambiente deficiente de luz, como para imageamento endoscópico. O sistema 3700 pode ser usado em combinação com quaisquer dos sistemas, métodos ou dispositivos descritos na presente invenção. O sistema 3700 inclui uma fonte de luz 3702, um controlador 3704, um guia de onda de ponte 3706, um conec- tor de guia de onda 3708, um guia de onda de lúmen 3710, um lúmen 3712 e um sensor de imagem 3714 com componentes ópticos anexos (por exemplo, uma lente). A fonte de luz 3702 gera luz que se desloca através do guia de onda de ponte 3706 e do guia de onda de lúmen 3710 para iluminar uma cena em uma extremidade distal do lúmen
3712. A fonte de luz 3700 pode ser usada para emitir qualquer compri- mento de onda de energia eletromagnética incluindo comprimentos de onda visíveis, infravermelho, ultravioleta ou outros comprimentos de onda. O lúmen 3712 pode ser inserido no corpo de um paciente para imageamento, como durante um procedimento ou exame. A luz é forne- cida como ilustrado pelas linhas tracejadas 3716. Uma cena iluminada pela luz pode ser capturada com o uso do sensor de imagem 3714 e exibida para um médico ou outro pessoal médico. O controlador 3704 pode fornecer sinais de controle à fonte de luz 3702 para controlar quando a iluminação é fornecida a uma cena. Em uma modalidade, a fonte de luz 3702 e o controlador 3704 estão localizados dentro de uma unidade de controle de câmera (CCU - "camera control unit") ou console externo ao qual um endoscópio é conectado. Se o sensor de imagem 3714 incluir um sensor CMOS, a luz pode ser periodicamente fornecida para a cena em uma série de pulsos de iluminação entre os períodos de leitura do sensor de imagem 3714 durante o que é conhecido como um período de supressão. Dessa forma, a luz pode ser pulsada de maneira controlada para evitar a sobreposição em períodos de leitura dos pixels de imagem em uma matriz de pixel do sensor de imagem 3714.
[0183] Em uma modalidade, o guia de onda de lúmen 3710 inclui uma ou uma pluralidade de fibras ópticas. As fibras ópticas podem ser produzidas a partir de um material de baixo custo, como plástico, para permitir o descarte do guia de onda de lúmen 3710 e/ou de outras por- ções de um endoscópio. Em uma modalidade, uma fibra de vidro simples tendo um diâmetro de 500 mícrons pode ser usada. O guia de onda de ponte 3706 pode ser fixado de modo permanente à fonte de luz 3702. Por exemplo, um guia de onda de ponte 3706 pode receber luz de um emissor dentro da fonte de luz 3702 e fornecer essa luz para o guia de onda de lúmen 3710 no local do conector 3708. Em uma modalidade, o guia de onda de ponte 106 pode incluir uma ou mais fibras de vidro. O guia de onda de ponte pode incluir qualquer outro tipo de guia de onda para guiar a luz para o guia de onda de lúmen 3710. O conector 3708 pode acoplar seletivamente o guia de onda de ponte 3706 ao guia de onda de lúmen 3710 e permitir que a luz dentro do guia de onda de ponte 3706 passe para o guia de onda de lúmen 3710. Em uma modalidade, o guia de onda de lúmen 3710 pode ser acoplado diretamente a uma fonte de luz sem qualquer guia de onda de ponte interveniente 3706.
[0184] As Figuras 38 a 40 são diagrama de blocos esquemáticos que ilustram uma fonte de luz 3800 que tem uma pluralidade de emis- sores. Em relação à Figura 38, os emissores incluem um primeiro emis- sor 3802, um segundo emissor 3804 e um terceiro emissor 3806. Emis- sores adicionais podem ser incluídos, conforme discutido adicional- mente abaixo. Os emissores 3802, 3804 e 3806 podem incluir um ou mais emissores de laser que emitem luz com diferentes comprimentos de onda. Por exemplo, o primeiro emissor 3802 pode emitir um compri- mento de onda que é consistente com um laser azul, o segundo emissor
3804 pode emitir um comprimento de onda que é consistente com um laser verde e o terceiro emissor 3806 pode emitir um comprimento de onda que é consistente com um laser vermelho. Por exemplo, o primeiro emissor 3802 pode incluir um ou mais lasers azuis, o segundo emissor 3804 pode incluir um ou mais lasers verdes e o terceiro emissor 3806 pode incluir um ou mais lasers vermelhos. Os emissores 3802, 3804 e 3806 emitem feixes de laser em direção a uma região de coleta 3808, que pode ser o local de um guia de onda, lente ou outro componente óptico para coletar e/ou fornecer luz a um guia de onda, como o guia de onda de ponte 3706 ou guia de onda de lúmen 3710 da Figura 37.
[0185] Em uma implementação em que um paciente recebeu um reagente ou corante para auxiliar na identificação de determinados te- cidos, estruturas, reações químicas, processos biológicos etc., os emissores 3802, 3804, e 3806 podem emitir comprimento(s) de onda para apresentar fluorescência os reagentes ou corantes. Esse(s) com- primento(s) de onda pode(m) ser determinado(s) com base nos rea- gentes ou corantes administrados ao paciente. Nessa modalidade, os emissores podem precisar ser altamente precisos para emitir compri- mento(s) de onda desejado(s) para apresentar fluorescência ou ativar determinados reagentes ou corantes.
[0186] Na modalidade da Figura 38, os emissores 3802, 3804, 3806 fornecem, cada um, luz laser para a região de coleta 3808 em ângulos diferentes. A variação no ângulo pode levar a variações nas quais a energia eletromagnética está situada em um guia de onda de saída. Por exemplo, se a luz passa imediatamente para dentro de um feixe de fibras (de vidro ou de plástico) na região de coleta 3808, os ângulos variáveis podem fazer com que diferentes quantidades de luz entrem em diferentes fibras. Por exemplo, o ângulo pode resultar em variações de intensidade ao longo da região de coleta 3808. Além disso, a luz dos diferentes emissores pode não ser homogeneamente misturada, de modo que algumas fibras possam receber diferentes quantidades de luz de cores diferentes. A variação na cor ou intensi- dade de luz em diferentes fibras pode levar à iluminação não ideal de uma cena. Por exemplo, variações nas intensidades de luz ou luz libe- rada podem resultar na cena e em imagens capturadas.
[0187] Em uma modalidade, um elemento óptico interveniente pode ser colocado entre um feixe de fibras e os emissores 3802, 3804, 3806 para misturar as diferentes cores (comprimentos de onda) de luz antes da entrada nas fibras ou outro guia de onda. Exemplos de ele- mentos ópticos intervenientes incluem um difusor, uma haste de mis- tura, uma ou mais lentes ou outros componentes ópticos que misturam a luz de modo que uma dada fibra receba uma mesma quantidade de cada cor (comprimento de onda). Por exemplo, cada fibra do feixe de fibras pode ter uma mesma cor. Esta mistura pode levar à mesma cor em cada fibra, mas pode, em algumas modalidades, ainda resultar em um brilho total diferente aplicado a diferentes fibras. Em uma modali- dade, o elemento óptico interveniente pode também espalhar ou mesmo bloquear a luz sobre a região de coleta, de modo que cada fibra tenha a mesma quantidade total de luz (por exemplo, a luz pode ser espalhada em um perfil cartola). Um difusor ou haste de mistura pode causar a perda de luz.
[0188] Embora a região de coleta 3808 seja representada como um componente físico na Figura 38, a região de coleta 3808 pode simples- mente ser uma região onde a luz dos emissores 3802, 3804 e 3806 é libe- rada. Em alguns casos, a região de coleta 3808 pode incluir um compo- nente óptico, como um difusor, uma haste de mistura, uma lente ou qual- quer outro componente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída.
[0189] A Figura 39 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. A luz é for- necida a um ângulo substancialmente perpendicular à região de coleta
3808. A fonte de luz 3800 inclui uma pluralidade de espelhos dicroicos incluindo um primeiro espelho dicroico 3902, um segundo espelho di- croico 3904 e um terceiro espelho dicroico 3906. Os espelhos dicroicos 3902, 3904, 3906 incluem espelhos que refletem um primeiro compri- mento de onda de luz, mas que transmitem (ou são transparentes a) um segundo comprimento de onda de luz. Por exemplo, o terceiro espelho dicroico 3906 pode refletir luz laser azul fornecida pelo terceiro emissor, enquanto é transparente à luz vermelha e verde fornecidas pelo primeiro emissor 3802 e pelo segundo emissor 3804, respectivamente. O se- gundo espelho dicroico 3904 pode ser transparente à luz vermelha do primeiro emissor 3802, mas reflexivo à luz verde do segundo emissor
3804. Se outras cores ou comprimentos de onda forem incluídos, espe- lhos dicroicos podem ser selecionados para refletir luz correspondente para ao menos um emissor e ser transparentes a outros emissores. Por exemplo, o terceiro espelho dicroico 3906 reflete a luz do terceiro emis- sor 3806, mas para emissores "atrás" dele, por exemplo, do primeiro emissor 3802 e do segundo emissor 3804. Em modalidades em que de- zenas ou centenas de emissores estão presentes, cada espelho dicroico pode ser reflexivo para um emissor correspondente e emissores na sua frente enquanto é transparente a emissores atrás dele. Isso pode per- mitir que dezenas ou centenas de emissores emitam energia eletromag- nética à região de coleta 3808 em um ângulo substancialmente igual.
[0190] Devido ao fato de que os espelhos dicroicos permitem que ou- tros comprimentos de onda sejam transmitidos ou passem através deles, cada um dos comprimentos de onda pode chegar à região de coleta 3808 a partir de um mesmo ângulo e/ou com o mesmo centro ou ponto focal. Fornecer luz a partir do mesmo ângulo e/ou do mesmo ponto focal/central pode melhorar significativamente a recepção e a mistura de cores na re- gião de coleta 3808. Por exemplo, uma fibra específica pode receber as diferentes cores nas mesmas proporções que foram transmitidas/refletidas pelos emissores 3802, 3804, 3806 e os espelhos 3902, 3904, 3906. A mis- tura de luz pode ser significativamente aprimorada na região de coleta em comparação com a modalidade da Figura 38. Em uma modalidade, quais- quer componentes ópticos aqui discutidos podem ser usados na região de coleta 3808 para coletar luz antes de fornecê-la a uma fibra ou feixe de fibras.
[0191] A Figura 40 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que também fornecem luz para a re- gião de coleta 3808 em um ângulo igual ou substancialmente igual. Entre- tanto, a luz incidente na região de coleta 3808 é deslocada em relação à perpendicular. O ângulo 4002 indica o deslocamento de ângulo em relação à perpendicular. Em uma modalidade, os emissores de laser 3802, 3804, 3806 podem ter perfis de intensidade em seção transversal que são gau- ssianos. Conforme discutido anteriormente, a distribuição aprimorada de energia luminosa entre as fibras pode ser obtida mediante a criação de um perfil de intensidade com formato mais plano ou de cartola. Em uma mo- dalidade, à medida que o ângulo 4002 é aumentado, a intensidade através da região de coleta 3808 se aproxima de um perfil cartola. Por exemplo, um perfil cartola pode ser aproximado mesmo com um feixe de saída não plano mediante o aumento do ângulo 4002 até que o perfil seja suficiente- mente plano.
[0192] O perfil cartola pode também ser obtido com o uso de uma ou mais lentes, difusores, hastes de mistura ou qualquer outro compo- nente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída, fibra ou feixe de fibras ópticas.
[0193] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica 4102 emitindo por meio de um difusor 4104 em uma saída. Em uma modalidade, a fibra óptica 4102 pode ter um diâmetro de 500 mícrons e ter uma abertura numérica de, 65 e emitir um cone de luz 4106 de cerca de 70 ou 80 graus sem um difusor 4104. Com o difusor 4104, o cone de luz 4106 pode ter um ângulo de cerca de 110 ou 120 graus. O cone de luz 4106 pode ser uma parte principal de onde toda a luz parte e é uniformemente distribuída. O difusor 4104 pode permitir uma distribuição mais uniforme de energia eletromagnética de uma cena observada por um sensor de imagem.
[0194] Em uma modalidade, o guia de onda de lúmen 4102 pode in- cluir uma única fibra óptica plástica ou de vidro de cerca de 500 mícrons. A fibra plástica pode ser de baixo custo, mas a largura pode permitir que a fibra transporte uma quantidade suficiente de luz para uma cena, com aco- plamento, difusor ou outras perdas. Por exemplo, fibras menores podem não ser capazes de carregar tanta luz ou energia quanto uma fibra maior. O guia de onda de lúmen 3710 pode incluir uma única fibra ou uma plura- lidade de fibras ópticas. O guia de onda de lúmen 3702 pode receber luz diretamente da fonte de luz ou através de um guia de onda de ponte (por exemplo, consulte o guia de onda de ponte 3706 da Figura 37). Um difusor pode ser usado para ampliar a saída de luz 3706 para um campo de visão desejado do sensor de imagem 3714 ou outros componentes ópticos.
[0195] Embora três emissores sejam mostrados nas Figuras 38 a 40, emissores em número de um até centenas ou mais podem ser usa- dos em algumas modalidades. Os emissores podem ter diferentes com- primentos de onda ou espectros de luz que eles emitem, e que podem ser usados para cobrir contiguamente uma porção desejada do espectro eletromagnético (por exemplo, o espectro visível, bem como os espec- tros infravermelho e ultravioleta).
[0196] Em uma modalidade, uma fonte de luz com uma pluralidade de emissores pode ser usada para imageamento multiespectral ou hipe-
respectral em um ambiente deficiente de luz. Por exemplo, diferentes pro- dutos químicos, materiais ou tecidos podem ter diferentes respostas às diferentes cores ou comprimentos de onda de energia eletromagnética. Alguns tecidos possuem sua própria assinatura espectral (como eles res- pondem ou variam ao refletir comprimentos de onda de radiação eletro- magnética). Em uma modalidade, um tipo específico de tecido pode ser detectado com base em como ele responde a um comprimento de onda específico ou uma combinação específica de comprimentos de onda. Por exemplo, os tecidos de vasos sanguíneos podem absorver e refletir dife- rentes comprimentos de onda ou espectros de energia eletromagnética de uma maneira exclusiva para distingui-los de músculo, gordura, osso, nervo, ureter, ou outros tecidos ou materiais no corpo. Além disso, tipos específicos de músculo ou outros tipos de tecido podem ser distinguidos com base em sua resposta espectral. Estados de doença do tecido tam- bém podem ser determinados com base nas informações espectrais. Consulte a Patente US nº 8.289.503. Consulte, também, a Patente US nº
8.158.957.
[0197] Em uma modalidade, dados de imagem fluorescente e/ou da- dos de imagem multiespectral ou hiperespectral podem ser obtidos usando-se um ou mais filtros para filtrar toda a luz ou energia eletromag- nética, exceto no comprimento de onda ou espectro desejado. A Figura 42 é um diagrama de blocos que ilustra um filtro 4202 para filtrar comprimen- tos de onda indesejados antes que a luz 4208 (ou outra radiação eletro- magnética) encontre um sensor de imageamento 4204 ou outro meio de imageamento (por exemplo, um filme). Em uma modalidade, a luz branca 4208 passa através do filtro 4202 e a luz filtrada 4210 passa através de uma lente 4206 para ser focada no sensor de imageamento 4204 para captura e leitura da imagem. O filtro pode estar localizado em qualquer ponto no sistema ou pode ser um atributo da lente 4206 ou do sensor de imagem 4204.
[0198] Em um ambiente deficiente de luz, a luz 4208 pode incluir luz branca emitida por um emissor no ambiente deficiente de luz. O filtro 4202 pode ser selecionado para o exame desejado. Por exemplo, se for desejado detectar ou destacar um tecido específico, o filtro 4202 pode ser selecionado para permitir a passagem de comprimentos de onda correspondentes à resposta espectral do tecido específico ou à emissão de fluorescência de um reagente específico. O sensor de imagem 4204, que pode incluir um sensor de imagem monocromática, pode gerar uma imagem. Os pixels da imagem capturada que excedem um limiar ou fi- cam abaixo de um limiar podem ser, então, caracterizados como corres- pondentes ao tecido específico. Esses dados podem ser, então, usados para gerar uma imagem que indica a localização do tecido específico.
[0199] Em uma outra modalidade, um corante ou reagente de flu- orescência pode ser usado para imagear tipos de tecido específicos, vias, ou similares em um corpo. Por exemplo, um corante de fluores- cência pode ser administrado a um paciente e, então, uma imagem do corante pode ser capturada. Em uma modalidade, a fluorescência do corante pode ser iniciada usando-se um comprimento de onda de ener- gia eletromagnética específico. Por exemplo, o corante pode somente apresentar fluorescência quando a energia eletromagnética estiver presente.
[0200] Entretanto, ambos os filtros e corantes de fluorescência signifi- cativamente restringem o exame. Por exemplo, se um filtro for usado, a resposta espectral desejada que pode ser detectada, e assim o material ou tecido que pode ser detectado, é limitada pelos filtros disponíveis. Além disso, os filtros podem precisar ser trocados ou substituídos. Com relação a corantes, o corante deve ser administrado antes do imageamento e pode haver conflitos entre a administração de diferentes corantes para diferen- tes finalidades durante o mesmo exame. Assim, os exames usando filtros e corantes podem levar muito tempo e podem exigir muitos diferentes exa- mes para se obter a informação desejada.
[0201] Em uma modalidade, o imageamento multiespectral ou hipe- respectral em um ambiente deficiente de luz pode ser realizado com o uso de um sensor de imagem monocromático e emissores que emitem uma pluralidade de diferentes comprimentos de onda ou espectros de energia eletromagnética. Em uma modalidade, uma fonte de luz ou ou- tra fonte eletromagnética (como uma fonte de luz 3800 em quaisquer das Figuras 38 a 40) pode incluir uma pluralidade de emissores para cobrir os espectros desejados.
[0202] A Figura 43 ilustra uma porção do espectro eletromagnético 4300 dividida em vinte diferentes subespectros. O número de subes- pectros é apenas ilustrativo. Em ao menos uma modalidade, o espec- tro 4300 pode ser dividido em centenas de subespectros, cada um com uma pequena banda de ondas. O espectro pode se estender desde o espectro infravermelho 4302, passando pelo espectro visível 4304, chegando até o espectro ultravioleta 4306. Cada um dos subespectros possui uma banda de ondas 4308 que abrange uma porção do espec- tro 4300. Cada banda de ondas pode ser definida por um comprimento de onda superior e um comprimento de onda inferior.
[0203] Em uma modalidade, ao menos um emissor (como um emissor de laser) pode ser incluído em uma fonte de luz (como as fon- tes de luz 3702, 3800 nas Figuras 37 a 40) para cada subespectro a fim de fornecer cobertura completa e contígua de todo o espectro 4300. Por exemplo, uma fonte de luz para fornecer cobertura dos subespec- tros ilustrados pode incluir ao menos 20 diferentes emissores, ao me- nos um para cada subespectro. Em uma modalidade, cada emissor pode cobrir um espectro que cobre 40 nanômetros. Por exemplo, um emissor pode emitir luz dentro de uma banda de ondas de 500 nm a 540 nm, enquanto outro emissor pode emitir luz dentro de uma banda de ondas de 540 nm a 580 nm. Em uma outra modalidade, os emisso- res podem cobrir outros tamanhos de bandas de ondas, dependendo dos tipos de emissores disponíveis ou das necessidades de imagea- mento. Por exemplo, uma pluralidade de emissores pode incluir um primeiro emissor que cobre uma banda de ondas de 500 a 540 nm, um segundo emissor que cobre uma banda de ondas de 540 nm a 640 nm, e um terceiro emissor que cobre uma banda de ondas de 640 nm a 650 nm. Cada emissor pode cobrir uma fatia diferente do espectro eletro- magnético variando de infravermelho distante, infravermelho interme- diário, infravermelho próximo, luz visível, ultravioleta próximo e/ou ul- travioleta extremo. Em alguns casos, uma pluralidade de emissores do mesmo tipo ou comprimento de onda pode ser incluída para fornecer potência de emissão suficiente para o imageamento. O número de emissores necessários para uma banda de ondas específica pode de- pender da sensibilidade de um sensor monocromático à banda de on- das e/ou da capacidade de emissão de energia dos emissores naquela banda de ondas.
[0204] As larguras e cobertura de banda de ondas fornecidas pelos emissores podem ser selecionadas para fornecer qualquer combinação desejada de espectros. Por exemplo, a cobertura contígua de um espec- tro usando larguras muito pequenas de banda de ondas (por exemplo, 10 nm ou menos) pode permitir um imageamento hiperespectral altamente seletivo. Uma vez que os comprimentos de onda são provenientes de emissores que podem ser seletivamente ativados, pode-se obter uma ex- trema flexibilidade ao determinar respostas espectrais de um material du- rante um exame. Assim, muito mais informações sobre a resposta espec- tral podem ser obtidas em menos tempo e dentro de um único exame, o que ao contrário teria exigido diversos exames, gerado atrasos devido à administração de corantes ou manchas, ou similares. Em uma modali-
dade, um sistema pode capturar dados de imagem hiperespectral e pro- cessar esses dados para identificar qual tipo de tecido existe em cada pixel.
[0205] A Figura 44 é um diagrama esquemático que ilustra um dia- grama de temporização 4400 para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modalidade. A linha contínua representa períodos de leitura (picos 4402) e de supres- são (vales) para capturar uma série de quadros 4404-4414. A série de quadros 4404-4414 pode incluir uma series repetitiva de quadros que po- dem ser usados para gerar dados hiperespectrais para um fluxo de alimen- tação de vídeo. A série de quadros inclui um primeiro quadro 404, um se- gundo quadro 4406, um terceiro quadro 4408, um quarto quadro 4410, um quinto quadro 4412 e um enésimo quadro 4426.
[0206] Em uma modalidade, cada quadro é gerado com base em ao menos um pulso de energia eletromagnética. O pulso de energia eletro- magnética é refletido e detectado por um sensor de imagem e, então, lido em uma leitura subsequente (4402). Assim, cada período de su- pressão e leitura resulta em um quadro de imagem para um espectro específico de energia eletromagnética. Por exemplo, o primeiro quadro 404 pode ser gerado com base em um espectro de um primeiro dentre um ou mais pulsos 4416, um segundo quadro 4406 pode ser gerado com base em um espectro de um segundo dentre um ou mais pulsos 4418, um terceiro quadro 4408 pode ser gerado com base em um es- pectro de um terceiro dentre um ou mais pulsos 4420, um quarto quadro 4410 pode ser gerado com base em um espectro de um quarto dentre um ou mais pulsos 4422, um quinto quadro 4412 pode ser gerado com base em um espectro de um quinto dentre um ou mais pulsos 4424, e um enésimo quadro 4426 pode ser gerado com base em um espectro de um enésimo dentre um ou mais pulsos 4426.
[0207] Os pulsos 4416 a 4426 podem incluir energia de um único emissor ou de uma combinação de dois ou mais emissores. Por exemplo, o espectro incluído em um único período de leitura ou dentro da plurali- dade de quadros 4404 a 4414 pode ser selecionado para um exame ou detecção desejado de um tecido ou condição específico. De acordo com uma modalidade, um ou mais pulsos podem incluir luz do espectro visível para gerar uma imagem colorida ou em preto e branco, enquanto um ou mais pulsos adicionais são usados para obter resposta espectral para classificar um tipo de tecido. Por exemplo, o pulso 4416 pode incluir luz vermelha, o pulso 4418 pode incluir luz azul e o pulso 4420 pode incluir luz verde, enquanto os pulsos remanescentes 4422 a 4426 podem incluir comprimentos de onda e espectros para detectar um tipo específico de tecido. Como um exemplo adicional, os pulsos para um único período de leitura podem incluir um espectro gerado a partir de múltiplos diferentes emissores (por exemplo, diferentes fatias do espectro eletromagnético) que podem ser usados para detectar um tipo específico de tecido. Por exemplo, se a combinação de comprimentos de onda resultar em um pixel tendo um valor que excede ou fica abaixo de um limiar, aquele pixel pode ser classificado como correspondente a um tipo específico de te- cido. Cada quadro pode ser usado para estreitar adicionalmente o tipo de tecido que está presente naquele pixel (por exemplo, cada pixel na ima- gem) para fornecer uma classificação muito específica do tecido e/ou um estado do tecido (doente/saudável) com base na resposta espectral.
[0208] A pluralidade de quadros 4404 a 4414 é mostrada tendo com- primentos variáveis em períodos de leitura e pulsos tendo diferentes com- primentos ou intensidades. O período de supressão, o comprimento ou a intensidade do pulso, ou similares podem ser selecionados com base na sensibilidade de um sensor monocromático ao comprimento de onda es- pecífico, a capacidade de emissão de energia do(s) emissor(es) e/ou a capacidade de transporte do guia de onda.
[0209] Uma imagem hiperespectral ou dados de imagem hiperespec- tral obtidos da maneira ilustrada na Figura 44, pode resultar em uma plu- ralidade de quadros, cada um baseado em um diferente espectro ou em combinação de espectros. Em alguns casos, dezenas ou centenas de di- ferentes quadros podem ser obtidos. Em outros casos, por exemplo, para as transmissões de vídeo, o número de quadros pode ser limitado para fornecer uma taxa de quadro visualizável. Uma vez que combinações de diferentes espectros podem ser fornecidas em um único período de leitura, informações espectrais úteis e dinâmicas ainda podem ser obtidas mesmo em uma transmissão de vídeo.
[0210] Em uma modalidade, um vídeo ou outra imagem pode incluir uma imagem em preto e branco ou colorida sobreposta com informações derivadas da resposta espectral para cada pixel. Por exemplo, os pixels que correspondem a um tecido ou estado específico podem ser mostrados em uma cor verde brilhante ou outra cor para auxiliar um médico ou outro especialista clínico durante um exame.
[0211] Em uma modalidade, sensores de imagem duplos podem ser usados para a obtenção de imagens tridimensionais ou fluxos de alimentação de vídeo. Um exame tridimensional pode permitir uma me- lhor compreensão de uma estrutura tridimensional da região exami- nada, bem como um mapeamento dos diferentes tipos de tecido ou material dentro da região.
[0212] Em uma modalidade, o imageamento multiespectral ou hipe- respectral pode ser usado para visualização através de materiais ou subs- tâncias. Por exemplo, os comprimentos de onda infravermelho podem atravessar alguns tecidos, como músculo ou gordura, enquanto refletem vasos sanguíneos. Em uma modalidade, as ondas infravermelhas podem penetrar 5, 8 ou 10 mm ou mais dentro de um tecido. A obtenção de uma série de quadros que incluem ao menos um quadro infravermelho pode permitir que um exame forneça informações sobre a localização de vasos sanguíneos abaixo da superfície. Isso pode ser extremamente útil para procedimentos cirúrgicos em que pode ser desejável realizar incisões que evitem vasos sanguíneos. Em uma modalidade, uma imagem colorida ou em escala de cinza pode ser sobreposta com uma cor verde que indica a localização de vasos sanguíneos abaixo da superfície. De modo similar, uma resposta espectral de sangue conhecida pode ser usada para olhar através do sangue e visualizar os tecidos ou estruturas de interesse em um exame.
[0213] O conjunto dos subquadros em um quadro único para exi- bição em um monitor ou outro dispositivo de exibição pode ocorrer após a captura da série de quadros 4404 a 4414. Uma imagem colorida ou em escala de cinza pode ser gerada a partir de um ou mais dos quadros e informações de sobreposição de pixels podem ser determi- nadas com base em todos os quadros ou nos quadros remanescentes. A imagem colorida ou em escala de cinza pode ser combinada com as informações de sobreposição para gerar um único quadro. O quadro único pode ser exibido como uma imagem única ou como uma imagem em uma transmissão de vídeo.
[0214] Em uma modalidade, os dados hiperespectrais obtidos con- forme ilustrado na Figura 44 podem ser fornecidos para análise por um algoritmo de terceiros para classificar um tecido ou material capturado na imagem. Em uma modalidade, o algoritmo de terceiros pode ser usado para selecionar os espectros ou bandas de ondas a serem usa- dos durante o imageamento, de modo que possa ser realizada uma aná- lise de resposta espectral desejada. Em uma modalidade, a análise de resposta espectral pode ser realizada em tempo real durante um proce- dimento de imageamento médico ou outro procedimento médico. Os da- dos espectrais podem ser sobrepostos em uma imagem RGB ou em preto e branco, de modo que um usuário possa prontamente diferenciar determinados tipos de tecidos, órgãos, processos químicos, doenças etc. Em uma modalidade, os dados espectrais podem ser fornecidos a um sistema operado por computador, como um sistema de robótica, para automação do imageamento médico ou de procedimentos médi- cos.
[0215] A Figura 45 é um diagrama esquemático de um sistema de imageamento 4500 tendo um único filtro cortado. O sistema 4500 inclui um endoscópio 4506 ou outro dispositivo de imageamento adequado tendo uma fonte de luz 4508 para uso em um ambiente deficiente de luz. O endoscópio 4506 inclui um sensor de imagem 4504 e um filtro 4502 para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética antes de atingir o sensor de imagem 4504. À fonte de luz 4508 transmite luz que pode iluminar a superfície 4512 em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. À luz 4510 é refletida a partir da superfície 4512 e passa através do filtro 4502 antes de atingir o sensor de imagem 4504.
[0216] O filtro 4502 pode ser usado em uma implementação em que um reagente ou corante fluorescente foi administrado. Nessa modali- dade, o filtro 4502 é configurado para filtrar toda a luz que não um ou mais comprimentos de onda ou bandas espectrais de luz desejados ou outra radiação eletromagnética. Em uma modalidade, o filtro 4502 é configurado para filtrar um comprimento de onda de excitação de radia- ção eletromagnética que faz um reagente ou corante fluorescer, de modo que somente o comprimento de onda de relaxamento esperado do reagente ou corante fluorescido seja permitido passar através do fil- tro 4502 e atingir o sensor de imagem 4504. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 770 nm e 790 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente flu- orescente entre 795 nm e 815 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente flu- orescente entre 770 nm e 790 nm e entre 795 nm e 815 nm. Nessas modalidades, o filtro 4502 filtra o comprimento de onda de excitação do reagente e permite que somente o comprimento de onda de relaxa- mento do reagente fluorescido seja lido pelo sensor de imagem 4504. O sensor de imagem 4504 pode ser um sensor de imagem agnóstico em termos de comprimento de onda e o filtro 4502 pode ser configurado para permitir que o sensor de imagem 4504 receba apenas o compri- mento de onda de relaxamento do reagente fluorescido e não receba o comprimento de onda de excitação emitido para o reagente. Os dados determinados pelo sensor de imagem 4504 podem, então, indicar a pre- sença de uma estrutura corporal de importância crítica, tecido, processo biológico ou processo químico conforme determinado por uma localiza- ção do reagente ou corante.
[0217] O filtro 4502 pode ser adicionalmente usado em uma imple- mentação onde um reagente ou corante fluorescente não foi administrado. O filtro 4502 pode ser selecionado para permitir que comprimentos de onda correspondentes a uma resposta espectral desejada passem e se- jam lidos pelo sensor de imagem 4504. O sensor de imagem 4504 pode ser um sensor de imagem monocromática, de modo que os pixels da ima- gem capturada que excedem um limiar ou ficam abaixo de um limiar pos- sam ser caracterizados como correspondentes a uma determinada res- posta espectral ou emissão de fluorescência. A resposta espectral ou emissão de fluorescência, conforme determinada pelos pixels capturados pelo sensor de imagem 4504, pode indicar a presença de um determinado tecido ou estrutura corporal, uma determinada condição, um determinado processo químico etc.
[0218] Em uma modalidade, a fonte de luz 4508 transmite luz branca que entra em contato com a superfície 4512 e é refletida de volta onde é filtrada pelo filtro 4502 antes de atingir o sensor de imagem 4504. Em uma modalidade, a fonte de luz 4508 transmite luz branca que passa pelo filtro 4502, de modo que a luz filtrada de somente um ou mais compri- mentos de onda desejados surja do filtro 4502 para ser refletida a partir da superfície 4512 e lida pelo sensor de imagem 4504. Por exemplo, em uma modalidade, o filtro 4502 permite que somente luz tendo um compri- mento de onda de 795 nm passe através do filtro 4502 e entre em contato com o sensor de imagem 4504. Adicionalmente em uma modalidade, o filtro 4502 permite que somente determinados comprimentos de onda de luz sejam refletidos de volta para o sensor de imagem 4504 do endoscó- pio 4506 ou outro dispositivo de imageamento. O filtro 4502 pode estar localizado em qualquer ponto no sistema 4500 ou pode ser um atributo de uma lente ou do sensor de imagem 4504. O filtro 4502 pode estar localizado na frente de e/ou atrás do sensor de imagem 4504. Em uma modalidade, a luz emitida pela fonte de luz 4508 é filtrada antes de atingir a superfície 4512 e a luz refletida é filtrada por um filtro adicional antes de ser lida pelo sensor de imagem 4504.
[0219] A fonte de luz 4508 pode ser um emissor que pode ser con- figurado para emitir luz branca ou radiação eletromagnética de um ou mais comprimentos de onda específicos. A fonte de luz 4508 pode in- cluir uma pluralidade de lasers configurados para emitir ou pulsar luz de comprimentos de onda especificados. Em uma modalidade, a fonte de luz 4508 emite luz branca e o filtro 4502 é selecionado para filtrar toda a luz indesejada que não um ou mais comprimentos de onda de- sejados de luz ou outra radiação eletromagnética. O filtro 4502 pode ser selecionado para um exame ou finalidade específico, por exemplo, para destacar um tipo de tecido ou estrutura corporal, ou para destacar uma determinada condição ou processo químico.
[0220] A Figura 46 é um diagrama esquemático de um sistema de imageamento 4600 tendo múltiplos filtros cortados. O sistema 4600 in-
clui um endoscópio 4606 ou outro dispositivo de imageamento ade- quado tendo uma fonte de luz 4608 para uso em um ambiente deficiente de luz. O endoscópio 4606 inclui um sensor de imagem 4604 e dois filtros 4602a, 4602b. Deve ser reconhecido que, em modalidades alter- nativas, o sistema 4600 pode incluir qualquer número de filtros, e o nú- mero e tipo de filtros podem ser selecionados para uma determinada finalidade, por exemplo, para coletar informações de imageamento de um tecido corporal em particular, condição corporal, processo químico etc. Os filtros 4602a, 4602b são configurados para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética. Os filtros 4602a, 4602b podem ser configurados para filtrar comprimentos de onda indesejados de luz branca ou outra radiação eletromagnética que podem ser emitidos pela fonte de luz 4608. A luz filtrada pode atingir a superfície 4612 (por exemplo, tecido corporal) e ser refletida de volta ao sensor de imagem 4604.
[0221] Além da descrição relacionada à Figura 45, os filtros 460229, 4602b podem ser usados em uma implementação onde um reagente ou corante fluorescente foi administrado. Os filtros 4602a, 4602b po- dem ser configurados para bloquear um comprimento de onda de ex- citação emitido para o reagente ou corante e permitir que o sensor de imagem 4604 somente leia o comprimento de onda de relaxamento do reagente ou corante. Adicionalmente, os filtros 4602a, 4602b podem ser usados em uma implementação em que um reagente ou corante fluorescente não foi administrado. Nessa implementação, os filtros 4602a, 4602b podem ser selecionados para permitir que comprimentos de onda correspondentes a uma resposta espectral desejada passem e sejam lidos pelo sensor de imagem 4604.
[0222] Os múltiplos filtros 4602a, 4602b podem ser individualmente configurados para filtrar uma faixa diferente de comprimentos de onda do espectro eletromagnético. Por exemplo, um filtro pode ser configu- rado para filtrar comprimentos de onda maiores que uma faixa desejada de comprimento de onda e o filtro adicional pode ser configurado para filtrar comprimentos de onda menores que a faixa desejada de compri- mento de onda. A combinação dos dois ou mais filtros pode resultar na leitura de somente um determinado comprimento de onda ou banda de comprimentos de onda pelo sensor de imagem 4604.
[0223] Em uma modalidade, os filtros 4602a, 4602b são personali- zados, de modo que a radiação eletromagnética entre 513 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 565 nm e 585 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são per- sonalizados, de modo que a radiação eletromagnética entre 900 nm e 1000 nm entre em contato com o sensor de imagem 4604. Em uma mo- dalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 425 nm e 475 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 520 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 625 nm e 645 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética en- tre 760 nm e 795 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 795 nm e 815 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromag-
nética entre 370 nm e 420 nm entre em contato com o sensor de ima- gem 4604. Em uma modalidade, os filtros 4602a, 4602b são personali- zados, de modo que a radiação eletromagnética entre 600 nm e 670 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são configurados para permitir que somente uma determinada emissão de relaxamento de fluorescência passe pelos fil- tros 4602a, 4602b e entre em contato com o sensor de imagem 4604.
[0224] Em uma modalidade, o sistema 4600 inclui múltiplos sensores de imagem 4604 e pode particularmente incluir dois sensores de imagem para uso na geração de uma imagem tridimensional. O(s) sensor(es) de imagem 4604 pode(m) ser agnóstico(s) em termos de cor/comprimento de onda e configurado(s) para ler qualquer comprimento de onda de ra- diação eletromagnética que for refletido a partir da superfície 4612. Em uma modalidade, os sensores de imagem 4604 são, cada um, depen- dentes da cor ou dependentes do comprimento de onda e configurados para ler radiação eletromagnética de um comprimento de onda em parti- cular que é refletido a partir da superfície 4612 e de volta aos sensores de imagem 4604. Alternativamente, o sensor de imagem 4604 pode in- cluir um único sensor de imagem com uma pluralidade de diferentes sen- sores de pixel configurados para ler diferentes comprimentos de onda ou cores de luz, como uma matriz de filtro de cor de filtro Bayer. Alternativa- mente, o sensor de imagem 4604 pode incluir um ou mais sensores de imagem agnósticos em termos de cor que podem ser configurados para ler diferentes comprimentos de onda de radiação eletromagnética de acordo com um cronograma de pulsação como aqueles ilustrados nas Figuras 5 a 7E e 15 a 16, por exemplo.
[0225] A Figura 47 é um diagrama esquemático que ilustra um sis- tema 4700 para mapear uma superfície e/ou rastrear um objeto em um ambiente deficiente de luz. Em uma modalidade, um endoscópio 4702 em um ambiente deficiente de luz pulsa uma matriz de grade 4706 (que pode ser denominada um padrão de mapa de laser) sobre uma superfície 4704. A matriz de grade 4706 pode incluir picote vertical 4708 e picote horizontal 4710 em uma modalidade conforme ilustrada na Figura 47. Deve ser re- conhecido que a matriz de grade 4706 pode incluir qualquer matriz ade- quada para mapear uma superfície 4704, incluindo, por exemplo, uma grade do tipo raster (padrão de escaneamento horizontal) de pontos dis- cretos, um mapa de grade de ocupação, uma matriz de pontos etc. Adici- onalmente, o endoscópio 4702 pode pulsar múltiplas matrizes de grade 4706 e pode, por exemplo, pulsar uma ou mais matrizes de grade indivi- duais em cada um de uma pluralidade de objetos ou estruturas dentro do ambiente deficiente de luz.
[0226] Em uma modalidade, o sistema 4700 pulsa uma matriz de grade 4706 que pode ser usada para determinar uma superfície tridimen- sional e/ou rastrear um local de um objeto, por exemplo, uma ferramenta ou outro dispositivo em um ambiente deficiente de luz. Em uma modali- dade, o sistema 4700 pode fornecer dados a um sistema ou algoritmo de computador de terceiros para determinar as dimensões e configurações da superfície por meio de mapeamento de detecção e variação de luz (LIDAR - "light detection and ranging"). O sistema 4700 pode pulsar qual- quer comprimento de onda de luz ou radiação eletromagnética adequado na matriz de grade 4706, incluindo, por exemplo, luz ultravioleta, luz visí- vel e/ou luz infravermelha ou próxima do infravermelho. A superfície 4704 e/ou os objetos dentro do ambiente podem ser mapeados e rastreados em altíssima resolução e com altíssima exatidão e precisão.
[0227] Em uma modalidade, o sistema 4700 inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um con- junto de lentes tendo um elemento óptico correspondente ao um ou mais sensores de imagem. O sistema 4700 pode incluir um mecanismo de luz tendo uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite o um ou mais pulsos de radia- ção eletromagnética em uma ponta distal de um endoscópio em um ambi- ente deficiente de luz, por exemplo, uma cavidade corporal. Em uma mo- dalidade, ao menos uma porção do um ou mais pulsos de radiação eletro- magnética inclui um padrão de mapa de laser que é emitido sobre uma superfície dentro do ambiente deficiente de luz, como uma superfície de tecido corporal e/ou uma superfície de ferramentas ou outros dispositivos dentro da cavidade corporal. O endoscópio 4702 pode incluir uma câmera bidimensional, tridimensional ou n-dimensional para mapear e/ou rastrear a superfície, as dimensões e as configurações dentro do ambiente defici- ente de luz.
[0228] Em uma modalidade, o sistema 4700 inclui um processador para determinar uma distância de um endoscópio ou ferramenta em rela- ção a um objeto, por exemplo, a superfície 4704. O processador pode adi- cionalmente determinar um ângulo entre o endoscópio ou ferramenta e o objeto. O processador pode adicionalmente determinar informações de área superficial sobre o objeto, incluindo, por exemplo, o tamanho de fer- ramentas cirúrgicas, o tamanho de estruturas, o tamanho de estruturas anatômicas, informações de localização e outros dados e métricas de po- sição. O sistema 4700 pode incluir um ou mais sensores de imagem que fornecem dados de imagem que são fornecidos a um sistema de controle para determinar uma distância de um endoscópio ou ferramenta em rela- ção a um objeto, por exemplo, a superfície 4704. Os sensores de imagem podem enviar informações a um sistema de controle para determinar um ângulo entre o endoscópio ou ferramenta e o objeto. Adicionalmente, os sensores de imagem podem enviar informações a um sistema de controle para determinar informações de área superficial sobre o objeto, o tamanho das ferramentas cirúrgicas, o tamanho de estruturas, o tamanho de estru- turas anatômicas, informações de localização e outros dados e métricas de posição.
[0229] Em uma modalidade, a matriz de grade 4706 é pulsada por uma fonte de iluminação do endoscópio 4702 a uma velocidade sufici- ente para que a matriz de grade 4706 não seja visível a um usuário. Em várias implementações, pode ser um fator de distração que um usuário veja a matriz de grade 4706 durante um procedimento de ima- geamento endoscópico e/ou procedimento cirúrgico endoscópico. À matriz de grade 4706 pode ser pulsada por períodos suficientemente breves, de modo que a matriz de grade 4706 não possa ser detectada pelo olho humano. Em uma modalidade alternativa, o endoscópio 4702 pulsa a matriz de grade 4706 a uma frequência recorrente suficiente para que a matriz de grade 4706 possa ser visualizada por um usuário. Nessa modalidade, a matriz de grade 4706 pode ser sobreposta em uma imagem da superfície 4704 em uma tela de exibição. A matriz de grade 4706 pode ser sobreposta em uma imagem em preto e branco ou RGB da superfície 4704, de modo que a matriz de grade 4706 possa ser visível por um usuário durante o uso do sistema 4700. Um usuário do sistema 4700 pode indicar se a matriz de grade 4706 deve ser so- breposta em uma imagem da superfície 4704 e/ou se a matriz de grade 4706 deve ser visível ao usuário. O sistema 4700 pode incluir uma tela de exibição que fornece medições em tempo real de uma distância desde o endoscópio 4702 até a superfície 4704 ou outro objeto dentro do ambiente deficiente de luz. A tela de exibição pode adicionalmente fornecer informações de área superficial em tempo real sobre a super- fície 4704 e/ou quaisquer objetos, estruturas ou ferramentas dentro do ambiente deficiente de luz. A exatidão das medições pode ter exatidão menor que um milímetro.
[0230] O endoscópio 4702 pode pulsar radiação eletromagnética de acordo com um cronograma de pulsação como aquele ilustrado nas Fi- guras 5 a 7E e 15 a 16, por exemplo, que pode incluir adicionalmente a pulsação da matriz de grade 4706 com a pulsação de luz Vermelha,
Verde e Azul para gerar uma imagem RGB e adicionalmente gerar uma matriz de grade 4706 que pode ser sobreposta na imagem RGB e/ou usada para mapear e rastrear a superfície 4704 e objetos dentro do am- biente deficiente de luz.
[0231] Em uma modalidade, o endoscópio 4702 inclui um ou mais sensores de imagem agnósticos em termos de cor. Em uma modalidade, o endoscópio 4702 inclui dois sensores de imagem agnósticos em termos de cor para gerar uma imagem tridimensional ou mapa do ambiente de- ficiente de luz. Os sensores de imagem podem gerar uma imagem RGB do ambiente deficiente de luz de acordo com um cronograma de pulsação como descrito na presente invenção. Adicionalmente, os sensores de imagem podem determinar dados para mapear o ambiente deficiente de luz e rastrear um ou mais objetos dentro do ambiente deficiente de luz com base nos dados determinados quando a matriz de grade 4706 é pul- sada. Adicionalmente, os sensores de imagem podem determinar dados espectrais ou hiperespectrais com dados de imageamento por fluores- cência de acordo com um cronograma de pulsação que pode ser modifi- cado por um usuário para adequação às necessidades em particular de um procedimento de imageamento. Em uma modalidade, um crono- grama de pulsação inclui pulsos Vermelhos, Verdes e Azuis com pulsa- ção de uma matriz de grade 4706 e/ou pulsação para gerar dados de imagem hiperespectral e/ou dados de imagem de fluorescência. Em vá- rias implementações, o cronograma de pulsação pode incluir qualquer combinação adequada de pulsos de radiação eletromagnética de acordo com as necessidades de um usuário. A frequência recorrente dos dife- rentes comprimentos de onda de radiação eletromagnética pode ser de- terminada com base, por exemplo, na energia de um determinado pulso, as necessidades do usuário, se determinados dados (por exemplo, dados hiperespectrais e/ou dados de imageamento por fluorescência) precisam ser continuamente atualizados ou podem ser atualizados menos frequen- temente etc.
[0232] O cronograma de pulsação pode ser modificado de qual- quer maneira adequada, e determinados pulsos de radiação eletro- magnética podem ser repetidos em qualquer frequência adequada de acordo com as necessidades de um usuário ou programa implemen- tado por computador para um determinado procedimento de imagea- mento. Por exemplo, em uma modalidade em que os dados de rastre- amento de superfície gerados com base na matriz de grade 4706 são fornecidos a um programa implementado por computador para uso em, por exemplo, um procedimento cirúrgico robótico, a matriz de grade 4706 pode ser pulsada mais frequentemente do que se os dados de rastreamento de superfície fossem fornecidos a um usuário que está visualizando a cena durante o procedimento de imageamento. Nessa modalidade em que os dados de rastreamento de superfície são usa- dos para um procedimento cirúrgico robótico, os dados de rastrea- mento de superfície podem precisar ser atualizados mais frequente- mente ou podem precisar ser excessivamente exatos para que o pro- grama implementado por computador possa executar o procedimento cirúrgico robótico com precisão e exatidão.
[0233] Em uma modalidade, o sistema 4700 é configurado para gerar um mapa de grade de ocupação que compreende uma matriz de células divididas em grades. O sistema 4700 é configurado para armazenar valo- res de altura para cada uma das respectivas células de grade para deter- minar um mapeamento de superfície de um ambiente tridimensional em um ambiente deficiente de luz.
[0234] A Figura 48 é um diagrama de fluxo esquemático para um método 4800 para imageamento hiperespectral em um ambiente defi- ciente de luz. O método 4800 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilus- trado na Figura 37.
[0235] O método 4800 inclui a emissão em 4802 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática. Os pulsos podem ser emitidos em 4802 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emi- tem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que cobrem um espectro desejado. Um sensor de imagem monocromática lê em 4804 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros. Cada quadro pode incluir um con- teúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emissores da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma res- posta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4806 uma resposta espectral de um tecido para um ou mais pixels com base na pluralidade de quadros. Por exemplo, os valores de pixel e o conhecimento das frequências de luz emi- tida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4808 uma imagem com- binada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a resposta espectral para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação específico são mostrados em verde brilhante.
[0236] A Figura 49 é um diagrama de fluxo esquemático para um método 4900 para imageamento por fluorescência em um ambiente deficiente de luz. O método 4900 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilus- trado na Figura 37.
[0237] O método 4900 inclui a emissão em 4902 de uma pluralidade de pulsos de banda estreita durante períodos de leitura de um sensor de imagem monocromática. Os pulsos podem ser emitidos em 4902 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que cobrem um espectro desejado. Um sensor de imagem monocromática lê em 4904 os dados de pixel a partir do sensor de imagem monocromática após os períodos de leitura para gerar uma pluralidade de quadros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emissores da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4906 uma emissão de relaxamento de fluorescência de um reagente para um ou mais pixels com base na pluralidade de quadros. Por exem- plo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4908 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a emissão de relaxa- mento de fluorescência para o um ou mais pixels. Por exemplo, a ima- gem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels correspondentes a um tecido ou classificação especií- fico são mostrados em verde brilhante. Exemplos
[0238] Os exemplos a seguir referem-se a modalidades adicionais:
[0239] O Exemplo 1 é um sistema endoscópico para uso em um am- biente deficiente de luz. O sistema inclui um dispositivo de imageamento. O dispositivo de imageamento inclui um tubo, um ou mais sensores de imagem e um conjunto de lentes que compreende ao menos um elemento óptico correspondente ao sensor de imagem. O sistema inclui uma tela de exibição para que um usuário visualize uma cena e um controlador de pro- cessamento de sinal de imagem. O sistema inclui um mecanismo de luz. O mecanismo de luz inclui uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética. O mecanismo de luz inclui adicional- mente um lúmen que transmite um ou mais pulsos de radiação eletromag- nética em uma ponta distal de um endoscópio, sendo que ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um com- primento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
[0240] O Exemplo 2 é um sistema endoscópico como no Exemplo 1, que compreende adicionalmente um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm.
[0241] O Exemplo 3 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 2, que compreende adicionalmente um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
[0242] O Exemplo 4 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 3, que compreende adicionalmente um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm e um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
[0243] O Exemplo 5 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 4, sendo que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela de exibição.
[0244] O Exemplo 6 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 5, sendo que uma cor visível é atribuída à ima- gem única para uso na tela de exibição; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0245] O Exemplo 7 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 6, sendo que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela de exibição.
[0246] O Exemplo 8 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 7, sendo que uma cor visível é atribuída à imagem de sobreposição para uso na tela de exibição; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0247] O Exemplo 9 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 8, que compreende um ou mais filtros que per- mitem que radiação eletromagnética entre 790 nm e 800 nm e acima de 815 nm passe através do um ou mais filtros até o sensor de imagem.
[0248] O Exemplo 10 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 9, sendo que o sensor de imagem detecta um ou mais comprimentos de onda de radiação eletromagnética que irra-
diam do um ou mais reagentes de fluorescência para fornecer uma ima- gem de uma ou mais estruturas de importância crítica em um corpo hu- mano.
[0249] O Exemplo 11 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 10, sendo que as estruturas de importância crí- tica em um corpo humano incluem um ou mais entre um nervo, um ure- ter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo e um tumor.
[0250] O Exemplo 12 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 11, sendo que a uma ou mais estruturas de importância crítica são células de câncer, e em que o sistema recebe radiação eletromagnética com fluorescência de uma ou mais molécu- las que fixam um ou mais fluoróforos que produzem fluorescência quando expostos à radiação eletromagnética tendo um comprimento de onda entre 770 nm e 790 nm e/ou entre 795 nm e 815 nm a uma ou mais das células de câncer.
[0251] O Exemplo 13 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 12, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela de exibição.
[0252] O Exemplo 14 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 13, sendo que uma cor visível é atribuída à ima- gem única para uso na tela de exibição; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0253] O Exemplo 15 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 14, sendo que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela de exibição.
[0254] O Exemplo 16 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 15, sendo que uma cor visível é atribuída à imagem de sobreposição para uso na tela de exibição; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0255] O Exemplo 17 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 16, sendo que o dispositivo de imageamento compreende um primeiro sensor de imagem e um segundo sensor de imagem para produzir uma imagem tridimensional.
[0256] O Exemplo 18 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 17, sendo que o primeiro sensor de imagem recebe radiação eletromagnética acima de 815 nm.
[0257] O Exemplo 19 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 18, sendo que o segundo sensor de imagem recebe radiação eletromagnética entre 785 nm e 800 nm.
[0258] O Exemplo 20 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 19, sendo que o primeiro sensor de imagem compreende um ou mais filtros que filtram a radiação eletromagnética entre 770 nm e 815 nm e o segundo sensor de imagem compreende um ou mais filtros que filtram a radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagnética entre 800 nm e 850 nm.
[0259] O Exemplo 21 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 20, sendo que o sistema compreende um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 815 nm.
[0260] O Exemplo 22 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 21, sendo que o sistema compreende um se- gundo filtro que filtra radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagnética entre 800 nm e 850 nm.
[0261] O Exemplo 23 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 22, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem, de modo que uma pluralidade de pulsos resulte em uma plu- ralidade de quadros de exposição que são criados em série como qua- dros de exposição sequenciais.
[0262] O Exemplo 24 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 23, sendo que o mecanismo de luz compreende um filtro de polarização.
[0263] O Exemplo 25 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 24, sendo que o filtro de polarização está localizado em uma trajetória da radiação eletromagnética.
[0264] O Exemplo 26 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 25, sendo que o filtro de polarização está localizado em uma extremidade proximal do lúmen.
[0265] O Exemplo 27 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 26, sendo que o filtro de polarização está localizado em uma extremidade distal do lúmen.
[0266] O Exemplo 28 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 27, sendo que o conjunto de lentes compreende um filtro de radiação eletromagnética.
[0267] O Exemplo 29 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 28, sendo que o conjunto de lentes compreende um filtro de polarização.
[0268] O Exemplo 30 é um sistema endoscópico como em quaisquer dos Exemplos 1 a 29, sendo que cada pulso de radiação eletromagnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são alimentados a um sistema cor- respondente que fornecerá a localização de estruturas de tecido de impor- tância crítica.
[0269] O Exemplo 31 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 30, sendo que a localização de estruturas de importância crítica é recebida pelo sistema endoscópico e sobreposta em uma tela de exibição, sendo que as estruturas de importância crí- tica são codificadas em qualquer cor selecionada tanto por um algo- ritmo quanto por um usuário.
[0270] Será reconhecido que vários recursos descritos na presente invenção fornecem vantagens significativas e avanços na técnica. As reivindicações a seguir são exemplificadores de alguns desses recur- sos.
[0271] Na Descrição Detalhada da Descrição acima, diversos recur- sos da descrição são agrupados em uma única modalidade com o pro- pósito de simplificar a descrição. Esse método da descrição não deve ser interpretado como reflexo de uma intenção de que descrição reivin- dicada exige mais recursos do que aqueles expressamente menciona- dos em cada reivindicação. Em vez disso, os aspectos da invenção se baseiam em menos que todos os recursos de uma única modalidade anteriormente descrita.
[0272] Deve-se compreender que todas as disposições acima des- critas são apenas ilustrativas da aplicação dos princípios da descrição. Diversas modificações e disposições alternativas podem ser concebidas pelos versados na técnica sem que se afaste do espírito e escopo da descrição e as reivindicações anexas têm como objetivo abranger essas modificações e disposições.
[0273] Assim, embora a descrição tenha sido mostrada nos dese- nhos e descrita acima com particularidade e detalhes, ficará evidente aos versados na técnica que várias modificações, incluindo, mas não se limitando a, variações de tamanho, materiais, formato, forma, fun- ção e modo de operação, montagem e uso, podem ser feitas sem que se afaste dos princípios e conceitos definidos na presente invenção.
[0274] Além disso, quando apropriado, as funções descritas na pre- sente invenção podem ser realizadas em um ou mais entre: hardware, sof- tware, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser programados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindi- cações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0275] A descrição supracitada foi apresentada para propósitos ilustrativos e de descrição. Essa descrição não pretende ser exaustiva nem limitar a descrição à forma precisa descrita. Diversas modifica- ções e variações são possíveis à luz do ensinamento acima. Além disso, deve ser observado que todas e quaisquer implementações al- ternativas anteriormente mencionadas podem ser usadas em qualquer combinação desejada para formar implementações híbridas adicionais da descrição.
[0276] Além disso, embora implementações específicas da descrição tenham sido descritas e ilustradas, a descrição não deve ser limitada às formas ou disposições específicas de partes assim descritas e ilustradas. O escopo da descrição deve ser definido pelas reivindicações anexas, quaisquer reivindicações futuras aqui apresentadas e em diferentes pedi- dos de patente e seus equivalentes.

Claims (31)

REIVINDICAÇÕES
1. Sistema endoscópico para uso em um ambiente deficiente de luz, caracterizado por compreender: um dispositivo de imageamento que compreende: um tubo; um ou mais sensores de imagem; e um conjunto de lentes que compreende ao menos um ele- mento óptico correspondente ao sensor de imagem; uma tela de exibição para que um usuário visualize uma cena; um controlador de processamento de sinal de imagem; e um mecanismo de luz, em que o mecanismo de luz compre- ende: uma fonte de iluminação que gera um ou mais pulsos de radi- ação eletromagnética; e um lúmen que transmite um ou mais pulsos de radiação eletro- magnética em uma ponta distal de um endoscópio, em que ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um com- primento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
2. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm.
3. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
4. Sistema endoscópico, de acordo com a reivindicação 1,
caracterizado por compreender adicionalmente um primeiro filtro que filtra radiação eletromagnética entre 770 nm e 790 nm e um segundo filtro que filtra radiação eletromagnética entre 795 nm e 815 nm.
5. Sistema endoscópico, de acordo com a reivindicação 4, ca- racterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela de exibição.
6. Sistema endoscópico, de acordo com a reivindicação 5, caracterizado por a única imagem ser atribuída a uma cor visível para uso na tela de exibição; em que a cor visível é de 8 bits ou 16 bits ou n bits.
7. Sistema endoscópico, de acordo com a reivindicação 4, ca- racterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela de exibição.
8. Sistema endoscópico, de acordo com a reivindicação 7, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso na tela de exibição; em que a cor visível é de 8 bits ou 16 bits ou n bits.
9. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por compreender um ou mais filtros que permitem que a radiação eletromagnética entre 790 nm e 800 nm e acima de 815 nm passe através do um ou mais filtros até o sensor de imagem.
10. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sensor de imagem detectar um ou mais compri- mentos de onda de radiação eletromagnética que irradiam do um ou mais reagentes de fluorescência para fornecer uma imagem de uma ou mais estruturas de importância crítica em um corpo humano.
11. Sistema endoscópico, de acordo com a reivindicação 10, caracterizado por as estruturas de importância crítica em um corpo humano incluífem um ou mais dentre um nervo, um ureter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo e um tumor.
12. Sistema endoscópico, de acordo com a reivindicação 10, caracterizado por a uma ou mais estruturas de importância crítica serem células de câncer, e em que o sistema recebe radiação eletro- magnética com fluorescência de uma ou mais moléculas que fixam um ou mais fluoróforos que apresentam fluorescência quando expostos à radiação eletromagnética tendo um comprimento de onda entre 770 nm e 790 nm e/ou entre 795 nm e 815 nm a uma ou mais das células de câncer.
13. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela de exibição.
14. Sistema endoscópico, de acordo com a reivindicação 12, caracterizado por a única imagem ser atribuída a uma cor visível para uso na tela de exibição; em que a cor visível é de 8 bits ou 16 bits ou n bits.
15. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são exibidos a um usuário como uma ima- gem de sobreposição na tela de exibição.
16. Sistema endoscópico, de acordo com a reivindicação 14, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso na tela de exibição; em que a cor visível é de 8 bits ou 16 bits ou n bits.
17. Sistema endoscópico, de acordo com a reivindicação 1,
caracterizado por o dispositivo de imageamento compreender um pri- meiro sensor de imagem e um segundo sensor de imagem para pro- duzir uma imagem tridimensional.
18. Sistema endoscópico, de acordo com a reivindicação 16, caracterizado por o primeiro sensor de imagem receber radiação eletro- magnética acima de 815 nm.
19. Sistema endoscópico, de acordo com a reivindicação 17, caracterizado por o segundo sensor de imagem receber radiação ele- tromagnética entre 785 nm e 800 nm.
20. Sistema endoscópico, de acordo com a reivindicação 17, caracterizado por o primeiro sensor de imagem compreender um ou mais filtros que filtram a radiação eletromagnética entre 7/0 nn e 815 nmeo segundo sensor de imagem compreende um ou mais filtros que filttam a radiação eletromagnética entre 760 nm e 785 nm e radiação eletromagné- tica entre 800 nm e 850 nm.
21. Sistema endoscópico, de acordo com a reivindicação 16, caracterizado por o sistema compreender um primeiro filtro que filtra radi- ação eletromagnética entre 770 nm e 815 nm.
22. Sistema endoscópico, de acordo com a reivindicação 16, caracterizado por o sistema compreender um segundo filtro que filtra radiação eletromagnética entre 760 nm e 785 nm e radiação eletromag- nética entre 800 nm e 850 nm.
23. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem, de modo que uma pluralidade de pulsos resulte em uma pluralidade de quadros de exposição que são criados em série como quadros de exposição se- quenciais.
24. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o mecanismo de luz compreender um filtro de polarização.
25. Sistema endoscópico, de acordo com a reivindicação 23, caracterizado por o filtro de polarização estar localizado em uma trajetória da radiação eletromagnética.
26. Sistema endoscópico, de acordo com a reivindicação 24, caracterizado por o filtro de polarização estar localizado em uma extremi- dade proximal do lúmen.
27. Sistema endoscópico, de acordo com a reivindicação 24, caracterizado por o filtro de polarização estar localizado em uma extremidade distal do lúmen.
28. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o conjunto de lentes compreender um filtro de radiação eletromagnética.
29. Sistema endoscópico, de acordo com a reivindicação 1, ca- racterizado por o conjunto de lentes compreender um filtro de polarização.
30. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; em que um ou mais quadros de exposição são alimentados a um sistema correspon- dente que fornecerá a localização de estruturas de tecido de importân- cia crítica.
31. Sistema endoscópico, de acordo com a reivindicação 29, caracterizado por a localização de estruturas de importância crítica ser recebida pelo sistema endoscópico e sobreposta em uma tela de exibição, em que as estruturas de importância crítica são codificadas em qualquer cor selecionada tanto por um algoritmo quanto por um usuário.
BR112020012999-2A 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz BR112020012999A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762610888P 2017-12-27 2017-12-27
US62/610,888 2017-12-27
US201862723989P 2018-08-28 2018-08-28
US62/723,989 2018-08-28
PCT/US2018/067727 WO2019133737A1 (en) 2017-12-27 2018-12-27 Fluorescence imaging in a light deficient environment

Publications (1)

Publication Number Publication Date
BR112020012999A2 true BR112020012999A2 (pt) 2020-12-01

Family

ID=66949640

Family Applications (6)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Family Applications Before (2)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa

Family Applications After (3)

Application Number Title Priority Date Filing Date
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Country Status (8)

Country Link
US (8) US11803979B2 (pt)
EP (6) EP3731725A4 (pt)
JP (6) JP2021508546A (pt)
KR (6) KR20200104371A (pt)
CN (6) CN111526776A (pt)
BR (6) BR112020012682A2 (pt)
IL (6) IL275563B1 (pt)
WO (6) WO2019133741A1 (pt)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
KR102118310B1 (ko) * 2012-07-26 2020-06-04 디퍼이 신테스 프로덕츠, 인코포레이티드 단색 센서를 사용한 넓은 동적범위
MX2018006791A (es) 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10565701B2 (en) 2015-11-16 2020-02-18 Applied Materials, Inc. Color imaging for CMP monitoring
US11557048B2 (en) 2015-11-16 2023-01-17 Applied Materials, Inc. Thickness measurement of substrate using color metrology
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11573124B2 (en) * 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
US11100628B2 (en) * 2019-02-07 2021-08-24 Applied Materials, Inc. Thickness measurement of substrate using color metrology
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11134832B2 (en) * 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11172811B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11986160B2 (en) * 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11221414B2 (en) * 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200400566A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11903563B2 (en) * 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11071443B2 (en) 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
DE102019134473A1 (de) 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung
WO2021229900A1 (ja) * 2020-05-13 2021-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
CN112596230B (zh) * 2020-12-16 2022-09-20 航天科工微电子系统研究院有限公司 用于光电跟踪主动层析照明的光路系统
WO2022140291A1 (en) * 2020-12-21 2022-06-30 Singular Genomics Systems, Inc. Systems and methods for multicolor imaging
US11671775B2 (en) * 2020-12-30 2023-06-06 Knowles Electronics, Llc Microphone assembly with transducer sensitivity drift compensation and electrical circuit therefor
US11963727B2 (en) * 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image
CN113393539B (zh) * 2021-06-08 2023-05-26 北方工业大学 化学反应溶液颜色突变识别方法
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
WO2024013303A1 (de) * 2022-07-14 2024-01-18 Karl Storz Se & Co. Kg Beleuchtungsvorrichtung, bildgebungsvorrichtung mit einer beleuchtungsvorrichtung, bildgebungssystem, verfahren zur erzeugung von beleuchtungslicht und verfahren zum betrieb einer bildgebungsvorrichtung
CN116725467B (zh) * 2023-03-31 2024-03-01 苏州宇懋医学科技有限公司 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3844047A (en) 1973-01-29 1974-10-29 R Carson Electronic micrometers employing digital processing techniques
JPS5940830A (ja) 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
US5318024A (en) * 1985-03-22 1994-06-07 Massachusetts Institute Of Technology Laser endoscope for spectroscopic imaging
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JPH04158205A (ja) * 1990-10-23 1992-06-01 Toshiba Corp 形状計測内視鏡装置
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5363387A (en) 1992-11-18 1994-11-08 Rare Earth Medical, Inc. Variable pulsewidth lasers
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5902246A (en) * 1996-03-26 1999-05-11 Lifespex, Incorporated Method and apparatus for calibrating an optical probe
DE19612536A1 (de) * 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
NL1005068C2 (nl) * 1997-01-23 1998-07-27 Ct Rrn Academisch Ziekenhuis U Cathetersysteem en een daarvan deel uitmakende catheter.
US6937885B1 (en) * 1997-10-30 2005-08-30 Hypermed, Inc. Multispectral/hyperspectral medical instrument
WO1999037204A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6110106A (en) 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
DE60024059T2 (de) 1999-01-26 2006-07-20 Newton Laboratories, Inc., Woburn Vorrichtung zur autofluoreszensbildgebung für ein endoskop
US20050270528A1 (en) * 1999-04-09 2005-12-08 Frank Geshwind Hyper-spectral imaging methods and devices
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP3850192B2 (ja) * 1999-12-09 2006-11-29 株式会社ニデック 眼底撮影装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
AU2001251164B2 (en) 2000-03-28 2006-11-02 Board Of Regents, The University Of Texas System Methods and apparatus for diagnostic multispectral digital imaging
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6748259B1 (en) 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10107586A1 (de) * 2001-02-10 2002-08-14 Biotronik Mess & Therapieg Endoskopischer Katheter
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
JP2002315721A (ja) * 2001-04-20 2002-10-29 Mitaka Koki Co Ltd 癌組織摘出手術用の立体視システム
CN1316427C (zh) 2001-07-12 2007-05-16 杜莱布斯公司 产生与装置链的装置的缺陷相关的格式化信息的方法和系统
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US6995841B2 (en) 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
US6985622B2 (en) 2001-09-21 2006-01-10 Hewlett-Packard Development Company, L.P. System and method for color correcting electronically captured images by determining input media types using color correlation matrix
US20040092958A1 (en) * 2001-11-15 2004-05-13 Limonadi Farhad M. Stereotactic wands, endoscopes and methods using such wands and endoscopes
WO2003068064A1 (en) 2002-02-12 2003-08-21 Science & Engineering Associates, Inc. Cancer detection and adaptive dose optimization treatment system
WO2003070098A2 (en) 2002-02-19 2003-08-28 Biophan Technologies, Inc. Magnetic resonance imaging capable catheter assembly
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
GB0217570D0 (en) 2002-07-30 2002-09-11 Univ Birmingham Method and apparatus for quantifying material or object properties
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
EP1680024A2 (en) 2003-10-21 2006-07-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
US20050205758A1 (en) 2004-03-19 2005-09-22 Almeida Leo A Method and apparatus for multi-spectral photodetection
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2008514970A (ja) 2004-09-24 2008-05-08 オプティスキャン ピーティーワイ リミテッド 走査装置
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US7826878B2 (en) * 2004-12-07 2010-11-02 Research Foundation Of City University Of New York Optical tomography using independent component analysis for detection and localization of targets in turbid media
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
EP2703871A3 (en) 2005-05-25 2014-09-03 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2006325973A (ja) * 2005-05-26 2006-12-07 Olympus Medical Systems Corp 画像生成装置
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
US20070086495A1 (en) * 2005-08-12 2007-04-19 Sprague Randall B Method and apparatus for stable laser drive
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4677636B2 (ja) * 2005-12-13 2011-04-27 日本電信電話株式会社 オプティカル・コヒーレンス・トモグラフィー装置及びこれに用いる可変波長光発生装置
JP4744288B2 (ja) 2005-12-21 2011-08-10 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20090303317A1 (en) * 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP4769952B2 (ja) 2006-02-22 2011-09-07 国立大学法人九州工業大学 レーザー光による指先血流測定を利用した個人認証方法及び個人認証装置
US7990524B2 (en) 2006-06-30 2011-08-02 The University Of Chicago Stochastic scanning apparatus using multiphoton multifocal source
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US20080090220A1 (en) 2006-08-28 2008-04-17 Vincent Freeman Modular virtual learning system and method
DE102006046925A1 (de) * 2006-09-28 2008-04-03 Jenlab Gmbh Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
AU2008207265B2 (en) * 2007-01-19 2013-08-01 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US20080177140A1 (en) 2007-01-23 2008-07-24 Xillix Technologies Corp. Cameras for fluorescence and reflectance imaging
JP2008259595A (ja) * 2007-04-10 2008-10-30 Hamamatsu Photonics Kk 蛍光観察装置
EP2207595A4 (en) * 2007-10-19 2012-10-24 Lockheed Corp SYSTEM AND METHOD FOR THE TREATMENT OF ANIMAL TISSUE USING LASER LIGHT
WO2009064746A2 (en) * 2007-11-12 2009-05-22 Cornell University Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods
EP3869205B1 (en) 2008-01-21 2023-11-22 Nexus Dx, Inc. Thin-film layered centrifuge device and analysis method using the same
JP5165400B2 (ja) 2008-01-23 2013-03-21 オリンパス株式会社 光源装置
US9052384B2 (en) * 2008-05-22 2015-06-09 The Trustees Of Dartmouth College System and method for calibration for image-guided surgery
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
US8506478B2 (en) 2008-06-04 2013-08-13 Fujifilm Corporation Illumination device for use in endoscope
GB0812712D0 (en) * 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20120273470A1 (en) 2011-02-24 2012-11-01 Zediker Mark S Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits
AU2009303690B2 (en) * 2008-09-26 2014-06-19 Tocagen Inc. Gene therapy vectors and cytosine deaminases
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP2010125284A (ja) * 2008-12-01 2010-06-10 Fujifilm Corp 撮像システム
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Ｈｏｙａ株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US8986302B2 (en) 2009-10-09 2015-03-24 Ethicon Endo-Surgery, Inc. Surgical generator for ultrasonic and electrosurgical devices
JP5795599B2 (ja) 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
WO2011091283A1 (en) * 2010-01-22 2011-07-28 Board Of Regents, The University Of Texas System Systems, devices and methods for imaging and surgery
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US9044142B2 (en) * 2010-03-12 2015-06-02 Carl Zeiss Meditec Ag Surgical optical systems for detecting brain tumors
JP2011206227A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP5919258B2 (ja) 2010-04-22 2016-05-18 プリサイス ライト サージカル インコーポレイテッド フラッシュ蒸発手術システム
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置
JP2012016545A (ja) 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP5544231B2 (ja) * 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
DE102010050227A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
JP5292379B2 (ja) * 2010-11-09 2013-09-18 富士フイルム株式会社 内視鏡装置
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
JP5526000B2 (ja) * 2010-11-15 2014-06-18 富士フイルム株式会社 内視鏡及び内視鏡用光源装置
WO2012116339A1 (en) * 2011-02-24 2012-08-30 Olive Medical Corporation Imaging sensor providing improved visualization for surgical scopes
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
CN102279048B (zh) * 2011-04-12 2013-01-23 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
US9979949B2 (en) * 2011-07-13 2018-05-22 Viking Systems, Inc Method and apparatus for obtaining stereoscopic 3D visualization using commercially available 2D endoscopes
GB201113138D0 (en) * 2011-07-29 2011-09-14 Univ East Anglia Method, system and device for detecting insects and other pests
JP5709691B2 (ja) * 2011-08-23 2015-04-30 富士フイルム株式会社 内視鏡装置
US8827990B2 (en) 2011-09-29 2014-09-09 Biolase, Inc. Methods for treating eye conditions
WO2013101669A2 (en) 2011-12-27 2013-07-04 Parasher Vinod METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES
US9103528B2 (en) 2012-01-20 2015-08-11 Lumencor, Inc Solid state continuous white light source
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US8986199B2 (en) * 2012-02-17 2015-03-24 Ethicon Endo-Surgery, Inc. Apparatus and methods for cleaning the lens of an endoscope
EP2719317A4 (en) 2012-03-30 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE
JP5965726B2 (ja) 2012-05-24 2016-08-10 オリンパス株式会社 立体視内視鏡装置
US10953241B2 (en) 2012-05-25 2021-03-23 Ojai Retinal Technology, Llc Process for providing protective therapy for biological tissues or fluids
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
MX2018006791A (es) * 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
WO2014134314A1 (en) 2013-03-01 2014-09-04 The Johns Hopkins University Light sources, medical devices, and methods of illuminating an object of interest
US9456752B2 (en) * 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
WO2014152757A2 (en) 2013-03-15 2014-09-25 Stryker Corporation Endoscopic light source and imaging system
JP5695808B1 (ja) 2013-04-19 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
US10165972B2 (en) 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
US20150030542A1 (en) 2013-07-26 2015-01-29 Sunil Singhal Methods for medical imaging
WO2015016172A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、内視鏡システムの作動方法
CN105377111B (zh) * 2013-08-01 2017-08-04 奥林巴斯株式会社 内窥镜系统
JP5891208B2 (ja) 2013-08-13 2016-03-22 Hoya株式会社 内視鏡用照明光学系
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6129731B2 (ja) * 2013-12-24 2017-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102014002514B4 (de) * 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015167929A1 (en) * 2014-04-28 2015-11-05 Cardiofocus, Inc. System and method for visualizing tissue with an icg dye composition during ablation procedures
CN103989459B (zh) * 2014-05-20 2021-05-18 曾堃 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜
US9696200B2 (en) * 2014-05-23 2017-07-04 Abl Ip Holding Llc Combinatorial light device for general lighting and lighting for machine vision
US10684224B2 (en) 2014-06-05 2020-06-16 Universität Heidelberg Method and means for multispectral imaging
JP6253527B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6251888B2 (ja) 2014-06-25 2017-12-27 パナソニックＩｐマネジメント株式会社 投影システム
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US9547165B2 (en) 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
AU2015327665B2 (en) * 2014-09-29 2018-09-27 Stryker European Operations Limited Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10473916B2 (en) 2014-09-30 2019-11-12 Washington University Multiple-view compressed-sensing ultrafast photography (MV-CUP)
CN204207717U (zh) * 2014-10-13 2015-03-18 佛山市南海区欧谱曼迪科技有限责任公司 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
JP6456129B2 (ja) * 2014-12-15 2019-01-23 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに光量制御方法
JP6657224B2 (ja) * 2014-12-16 2020-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 波長帯選択による画像化を用いた尿管検出
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
DE102015003019A1 (de) 2015-03-06 2016-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
JP2016202726A (ja) * 2015-04-27 2016-12-08 ソニー株式会社 光線力学診断装置及び光線力学診断方法
US10397489B2 (en) * 2015-05-15 2019-08-27 Sony Corporation Light source control device, method of controlling light source, and image capture system
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
CN114674825A (zh) 2015-09-17 2022-06-28 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
WO2017066493A1 (en) * 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
TWI537762B (zh) * 2016-01-12 2016-06-11 Application of hyperfamily imaging to identification of cancerous lesions
US9939231B2 (en) * 2016-01-20 2018-04-10 Raytheon Company Dual-band semi-active laser system
WO2017127929A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies Inc. Configurable platform
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
US10690904B2 (en) * 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
WO2017201093A1 (en) 2016-05-17 2017-11-23 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
JPWO2017221336A1 (ja) 2016-06-21 2019-04-11 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6660823B2 (ja) * 2016-06-24 2020-03-11 富士フイルム株式会社 内視鏡装置
US10709333B2 (en) 2016-07-25 2020-07-14 PhotoSound Technologies, Inc. Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use
CN115778543A (zh) 2016-09-09 2023-03-14 直观外科手术操作公司 同时带有白光和高光谱光的成像系统
JP6364050B2 (ja) * 2016-09-13 2018-07-25 パナソニック株式会社 内視鏡システム
US10386489B2 (en) 2017-02-01 2019-08-20 Jeffrey Albelo Beam scanner for autonomous vehicles
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
WO2019123796A1 (ja) 2017-12-22 2019-06-27 オリンパス株式会社 内視鏡システム
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
CN111526776A (zh) 2020-08-11
BR112020012682A2 (pt) 2020-11-24
EP3731724A4 (en) 2021-10-13
KR20200104379A (ko) 2020-09-03
EP3731728A4 (en) 2021-08-25
US11803979B2 (en) 2023-10-31
KR20200104371A (ko) 2020-09-03
JP2021508546A (ja) 2021-03-11
US20190191978A1 (en) 2019-06-27
US20190191974A1 (en) 2019-06-27
EP3731727A1 (en) 2020-11-04
US20240054666A1 (en) 2024-02-15
WO2019133741A1 (en) 2019-07-04
JP2021508560A (ja) 2021-03-11
IL275579A (en) 2020-08-31
IL275564A (en) 2020-08-31
US11900623B2 (en) 2024-02-13
EP3731725A1 (en) 2020-11-04
US20190191975A1 (en) 2019-06-27
KR20200104377A (ko) 2020-09-03
WO2019133739A1 (en) 2019-07-04
CN111526774A (zh) 2020-08-11
US11574412B2 (en) 2023-02-07
BR112020012708A2 (pt) 2020-11-24
EP3731725A4 (en) 2021-10-13
JP2021508547A (ja) 2021-03-11
IL275565A (en) 2020-08-31
KR20200104373A (ko) 2020-09-03
WO2019133753A1 (en) 2019-07-04
WO2019133736A1 (en) 2019-07-04
US20190191976A1 (en) 2019-06-27
KR20200104372A (ko) 2020-09-03
EP3731724A1 (en) 2020-11-04
IL275571A (en) 2020-08-31
BR112020012744A2 (pt) 2020-12-01
EP3731723A1 (en) 2020-11-04
US20190197712A1 (en) 2019-06-27
EP3731726A4 (en) 2021-10-27
BR112020012741A2 (pt) 2020-12-01
JP2021508542A (ja) 2021-03-11
JP2021509337A (ja) 2021-03-25
EP3731726A1 (en) 2020-11-04
CN111601536A (zh) 2020-08-28
WO2019133750A1 (en) 2019-07-04
BR112020012594A2 (pt) 2020-11-24
CN111526777A (zh) 2020-08-11
IL275574A (en) 2020-08-31
IL275563B1 (en) 2024-03-01
CN111565620A (zh) 2020-08-21
WO2019133737A1 (en) 2019-07-04
US20230186497A1 (en) 2023-06-15
CN111526775A (zh) 2020-08-11
JP2021508543A (ja) 2021-03-11
EP3731727A4 (en) 2021-10-20
US20190191977A1 (en) 2019-06-27
KR20200104375A (ko) 2020-09-03
EP3731728A1 (en) 2020-11-04
US11823403B2 (en) 2023-11-21
EP3731723A4 (en) 2021-10-20
IL275563A (en) 2020-08-31
CN111601536B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
BR112020012999A2 (pt) imageamento por fluorescência em um ambiente deficiente de luz
CN114128243A (zh) 在缺光环境中利用拓扑激光扫描进行超光谱和荧光成像
CN114175609A (zh) 缺光环境中的超光谱成像
US20200397222A1 (en) Fluorescence imaging in a light deficient environment
US20200404129A1 (en) Fluorescence imaging in a light deficient environment
US20200397302A1 (en) Fluorescence imaging in a light deficient environment

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]