CN114007482A - 激光标测成像系统中的脉冲照明 - Google Patents
激光标测成像系统中的脉冲照明 Download PDFInfo
- Publication number
- CN114007482A CN114007482A CN202080044877.4A CN202080044877A CN114007482A CN 114007482 A CN114007482 A CN 114007482A CN 202080044877 A CN202080044877 A CN 202080044877A CN 114007482 A CN114007482 A CN 114007482A
- Authority
- CN
- China
- Prior art keywords
- exposure
- electromagnetic radiation
- pulse
- laser
- pulses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 108
- 238000005286 illumination Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 title abstract description 96
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 158
- 230000005284 excitation Effects 0.000 claims description 25
- 206010028980 Neoplasm Diseases 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 13
- 241000023320 Luma <angiosperm> Species 0.000 claims description 12
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 7
- 238000010304 firing Methods 0.000 claims description 7
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 210000000626 ureter Anatomy 0.000 claims description 3
- 210000001367 artery Anatomy 0.000 claims description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 2
- 230000017531 blood circulation Effects 0.000 claims 1
- 230000002950 deficient Effects 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 89
- 238000001228 spectrum Methods 0.000 description 62
- 235000019557 luminance Nutrition 0.000 description 56
- 230000008569 process Effects 0.000 description 49
- 210000001519 tissue Anatomy 0.000 description 44
- 239000003795 chemical substances by application Substances 0.000 description 35
- 238000003491 array Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 25
- 238000005192 partition Methods 0.000 description 23
- 239000000835 fiber Substances 0.000 description 22
- 239000000758 substrate Substances 0.000 description 22
- 238000003860 storage Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 17
- 239000000975 dye Substances 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 17
- 206010021143 Hypoxia Diseases 0.000 description 15
- 230000001146 hypoxic effect Effects 0.000 description 15
- OOYIOIOOWUGAHD-UHFFFAOYSA-L disodium;2',4',5',7'-tetrabromo-4,5,6,7-tetrachloro-3-oxospiro[2-benzofuran-1,9'-xanthene]-3',6'-diolate Chemical compound [Na+].[Na+].O1C(=O)C(C(=C(Cl)C(Cl)=C2Cl)Cl)=C2C21C1=CC(Br)=C([O-])C(Br)=C1OC1=C(Br)C([O-])=C(Br)C=C21 OOYIOIOOWUGAHD-UHFFFAOYSA-L 0.000 description 13
- 230000004927 fusion Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 239000000872 buffer Substances 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 11
- 238000000701 chemical imaging Methods 0.000 description 11
- 238000002156 mixing Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 230000010354 integration Effects 0.000 description 8
- 239000013307 optical fiber Substances 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001311 chemical methods and process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000012876 topography Methods 0.000 description 6
- 230000031018 biological processes and functions Effects 0.000 description 5
- 239000007850 fluorescent dye Substances 0.000 description 5
- 238000001429 visible spectrum Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000002432 robotic surgery Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000003530 single readout Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002211 ultraviolet spectrum Methods 0.000 description 2
- 206010003402 Arthropod sting Diseases 0.000 description 1
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012976 endoscopic surgical procedure Methods 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 208000024335 physical disease Diseases 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000011012 sanitization Methods 0.000 description 1
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
- G01J3/4406—Fluorescence spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/125—Colour sequential image capture, e.g. using a colour wheel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
- G01J2003/104—Monochromatic plural sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
- G01J2003/106—Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
- G01J2003/423—Spectral arrangements using lasers, e.g. tunable
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/124—Sensitivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了在缺光环境中的脉冲激光标测成像。本发明公开了一种系统,该系统包括用于发射电磁辐射脉冲的发射器和包括用于感测反射的电磁辐射的像素阵列的图像传感器。该系统包括控制器,该控制器被配置成能够同步发射器和图像传感器的定时。该系统使得由发射器发射的电磁辐射脉冲的至少一部分包括激光标测图案。
Description
技术领域
本公开涉及数字成像,并且具体地涉及缺光环境中的激光标测成像。
背景技术
科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于观察多种身体系统和部分,诸如胃肠道、呼吸道、尿道、腹腔等。内窥镜还可用于外科规程,诸如整形外科规程、在关节或骨上进行的规程、在神经系统上进行的规程、在腹腔内进行的规程,等等。
在内窥镜成像的一些情况下,以彩色方式查看空间可能是有益的或必要的。数字彩色图像包括累积形成具有一定范围的色调的图像的至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常,数字彩色图像包括红色、绿色和蓝色光谱带的颜色通道(这可称为红绿蓝或RGB图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。将单独的红色、绿色和蓝色层的亮度信息组合以产生彩色图像。因为彩色图像由单独的层构成,所以常规的数字相机图像传感器包括颜色滤光器阵列,该颜色滤光器阵列允许红色、绿色和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝色波长敏感,并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成RGB图像。至少三种不同类型的像素传感器占据大量的物理空间,使得完整的像素阵列无法适配在内窥镜的小远侧端部中。
因为传统的图像传感器无法适配在内窥镜的远侧端部中,所以图像传感器传统上位于内窥镜的手持件单元中,该手持件单元由内窥镜操作者保持并且不放置在体腔内。在此类内窥镜中,光沿着内窥镜的长度从手持件单元传输到内窥镜的远侧端部。该配置具有显著限制。具有该配置的内窥镜是精密的,并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低图像的质量,并且内窥镜需要频繁修理或更换。
具有放置在手持件单元中的图像传感器的传统内窥镜进一步限于仅捕获彩色图像。然而,在一些具体实施中,除了彩色图像数据之外,还可能期望用激光标测图像数据捕获图像。激光标测成像可捕获对象和全景的表面形状并测量场景内对象之间的距离。在一些具体实施中,可能期望在内窥镜成像规程期间测量体腔内的距离和表面形状。
然而,本领域已知的激光标测技术的应用通常需要高度专业化的设备,该设备对于多种应用可能是不可用的。此外,激光标测技术提供有限的环境视野,并且通常必须与多个独立的系统结合使用。在内窥镜医学成像规程的上下文中,所有传感器必须适配于体腔内的小物理区域内。在一些情况下,地理区域可能特别小并且可能仅容纳内窥镜的非常小的末端。因此,本领域已知的医学内窥镜必然较小,并且不能容纳多个不同的成像和测距系统。因此,期望开发出能够在诸如体腔的小空间中生成激光标测数据的内窥镜成像系统。
根据前述内容,本文描述了用于在缺光环境中进行激光标测成像的系统、方法和装置。此类系统、方法和装置可提供多个数据集,用于识别身体内的关键结构并提供关于体腔的精确且有价值的信息。
附图说明
参考以下附图描述了本公开的非限制性和非完全性的具体实施,其中除非另外指明,否则在各个视图中类似的附图标号指示类似的部分。参照以下说明和附图将更好地理解本公开的优点,其中:
图1是具有成对的发射器和像素阵列的用于在缺光环境中进行数字成像的系统的示意图;
图2为用于向缺光环境提供照明以用于内窥镜成像的系统;
图2A为互补系统硬件的示意图;
图3A至图3D为用于构建曝光帧的传感器的操作循环的图示;
图4A为电磁发射器的实施方案的操作的图示;
图4B为改变所发射电磁脉冲的持续时间和量值以提供曝光控制的图示;
图5为将图3A至图4B的传感器的操作循环、电磁发射器和所发射电磁脉冲组合的本公开的实施方案的图示,其示出了操作期间的成像系统;
图6A为用于在t(0)至t(1)的时间段内记录具有全光谱光的视频的方法的示意图;
图6B为用于通过在t(0)至t(1)的时间段内脉冲分段的光谱光来记录视频的过程的示意图;
图7A至图7E示出了在一定的时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的方法的示意图;
图8示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成YCbCr图像帧的多个像素;
图9示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成YCbCr图像帧的多个像素;
图10示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成YCbCr图像帧的多个像素;
图11示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成RGB图像帧的多个像素;
图12示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成YCbCr图像帧的多个像素;
图13示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成RGB图像帧的多个像素;
图14示出了图像传感器的像素阵列,该像素阵列包括用于感测离散曝光帧以生成YCbCr图像帧的多个像素;
图15为用于应用校正算法并且用于将帧重建应用于多个曝光帧以用于生成上面叠加有激光标测数据的YCbCr图像帧的处理流程的示意图;
图16为用于将校正算法和帧重建应用于多个曝光帧以用于生成上面叠加有激光标测数据的RGB图像帧的处理流程的示意图;
图17为颜色融合硬件的示意图;
图18示出了用长曝光像素和短曝光像素捕获的曝光帧的区域的黑校正信号的两个对应的直方图;
图19A为用于Y-Cb-Y-Cr脉冲图案的曝光帧流水线的示意图;
图19B为用于生成视频流的120Hz帧捕获速率的曝光帧流水线的示意图;
图20是用于通过脉冲光的分区光谱生成上面叠加有激光标测数据的RGB图像的图案重建过程的示意图;
图21A至图21C示出了具有多个发射器的光源;
图22示出了在输出处经由漫射器输出以照明缺光环境中的场景的单根光纤;
图23示出了根据本公开的原理和教导内容的被分成可由光源的发射器发射的多个不同子光谱的电磁光谱的一部分;
图24为示出了用于生成图像帧的发射和读出的时序的示意图,该图像帧包括由脉冲光的不同分区产生的多个曝光帧;
图25示出了包括用于过滤多个波长的电磁辐射的单个截止滤光器的成像系统;
图26示出了包括用于过滤多个波长的电磁辐射的多个截止滤光器的成像系统;
图27示出了可由成像系统脉冲的示例性激光标测图案;
图28A和图28B示出了根据本公开的原理和教导内容的具有用于产生三维图像的多个像素阵列的具体实施;
图29A和图29B分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图,其中形成像素阵列的多个像素列位于第一基板上,并且多个电路列位于第二基板上,并且示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信;并且
图30A和图30B分别示出了具有用于产生三维图像的多个像素阵列的成像传感器的具体实施的透视图和侧视图,其中多个像素阵列和图像传感器构建在多个基板上。
具体实施方式
本文公开了可主要适用于医学应用诸如医学内窥镜成像的用于数字成像的系统、方法和装置。本公开的一个实施方案是一种用于在缺光环境中进行激光标测和彩色成像的内窥镜系统。本文所公开的此类方法、系统和基于计算机的产品提供用于医学机器人应用,诸如用于执行成像规程、外科规程等的机器人的使用的成像或诊断能力。
常规内窥镜被设计成使得图像传感器被放置在手持件单元内的装置的近侧端部处。该配置要求入射光通过精确耦合的光学元件行进内窥镜的长度。精确的光学元件在正常使用期间可容易地不对准,并且这可导致图像失真或图像丢失。本公开的实施方案将图像传感器放置在内窥镜本身的远侧端部中的空间高度受限的环境内。当与本领域中已知的具体实施相比时,这提供了更大的光学简单性。然而,该方法的可接受的解决方案并不简单,而是带来了一系列工程挑战。
当最小化图像传感器的总体尺寸使得图像传感器可适配在内窥镜的远侧末端内时,可存在显著的图像质量损失。可通过减少像素数量和/或每个单独像素的感测区域来减小图像传感器的像素阵列的面积。这些修改中的每一种修改都影响所得图像的分辨率、灵敏度和动态范围。传统的内窥镜成像系统旨在借助于分段像素阵列(诸如拜耳图案阵列)来感测稳定的宽带照明并且提供颜色信息。根据与分段像素阵列相关联的缺陷,本文公开了使用不包括单独的像素滤光器的单色(可称为“颜色不定的”)像素阵列的另选系统和方法。在本文所公开的实施方案中,通过用不同波长的电磁辐射对发射器进行脉冲来提供颜色信息。本文所公开的脉冲成像系统可生成上面叠加有激光标测成像数据的彩色图像。
在一个实施方案中,通过响应于不同波长的电磁辐射脉冲捕获独立的曝光帧来确定颜色信息。另选脉冲可包括红色、绿色和蓝色波长,用于生成由红色曝光帧、绿色曝光帧和蓝色曝光帧组成的RGB图像帧。在另选的具体实施中,另选脉冲可包括用于生成由亮度数据、红色色度数据和蓝色色度数据组成的YCbCr图像帧的光的亮度(“Y”)、红色色度(“Cr”)和蓝色色度(“Cb”)脉冲。彩色图像帧还可包括来自叠加在RGB或YCbCr图像帧上的激光标测曝光帧的数据。激光标测脉冲可包括一个或多个用于测量场景的距离、尺寸或三维拓扑的光脉冲。激光标测脉冲可包括任何合适的脉冲方案,包括例如网格阵列、点阵列、包含多个传感器和发射器的工具跟踪系统等。使脉冲电磁辐射的波长交替允许利用全像素阵列并且避免拜耳图案像素阵列引入的伪影。
在一些情况下,希望生成具有多种数据类型或彼此重叠的多个图像的内窥镜成像。例如,可能期望生成彩色(红绿蓝“RGB”)图像,该彩色图像还包括叠加在RGB图像上的激光标测成像数据。这种性质的叠加图像可使得执业医生或计算机程序能够基于激光标测数据来识别场景的尺寸和拓扑。激光标测数据可以字词、数字、形貌图等叠加在彩色图像上。历史上,这将需要使用多个传感器系统,该多个传感器系统包括用于彩色成像的图像传感器和用于激光标测成像的一个或多个另外的图像传感器。在此类系统中,多个图像传感器将具有多种类型的像素传感器,这些像素传感器各自对不同范围的电磁辐射敏感。在本领域已知的系统中,这包括用于生成RGB彩色图像的三种单独类型的像素传感器,以及用于在不同波长的电磁光谱下生成激光标测图像数据的另外的像素传感器。这些多个不同的像素传感器占据过大的物理空间,并且无法位于内窥镜的远侧末端处。在本领域已知的系统中,一个或多个相机不放置在内窥镜的远侧末端处,而是放置在内窥镜手持件或机器人单元中。这造成了许多缺点并且导致内窥镜非常精密。当内窥镜在使用期间发生碰撞或冲击时,精密的内窥镜可能被损坏并且图像质量可能降低。考虑到前述内容,本文所公开的是用于在缺光环境中进行内窥镜成像的系统、方法和装置。本文所公开的系统、方法和装置提供了用于在单个成像过程中采用多种成像技术同时允许一个或多个图像传感器设置在内窥镜的远侧末端中的装置。
激光标测成像
在一个实施方案中,本文所公开的系统、方法和装置提供了用于利用内窥镜成像系统生成激光标测数据的装置。激光标测数据可用于确定场景的精确测量和地形轮廓。在一个具体实施中,激光标测数据用于确定例如体腔中的结构或器官、体腔中的装置或工具和/或体腔中的关键结构之间的精确测量。如本文所讨论的,术语“激光标测”可涵盖称为激光标测、激光扫描、形貌扫描、三维扫描、激光跟踪、工具跟踪等的技术。如本文所讨论的激光标测曝光帧可包括场景的形貌数据、场景内的对象或结构之间的尺寸、场景内的工具或对象的尺寸或距离等。
激光标测通常包括激光束的受控偏转。在三维对象扫描领域内,激光标测将激光束的受控转向与激光测距仪组合。通过在每个方向上进行距离测量,激光测距仪可快速捕获对象、工具和全景的表面形状。全三维拓扑的构造可包括组合从不同视角获得的多个表面模型。存在于本领域的各种测量系统和方法用于考古学、地理学、大气物理学、自动驾驶车辆等中的应用。一种此类系统包括光检测和测距(LIDAR),该LIDAR是三维激光标测系统。LIDAR已应用于导航系统诸如飞机或卫星中,以确定与其他系统和传感器结合的传感器的位置和取向。LIDAR使用有源传感器来照明对象并且检测从对象反射并回到传感器的能量。
如本文所讨论的,术语“激光标测”包括激光跟踪。激光跟踪或使用激光进行工具跟踪通过确定相对于这些对象保持的光学目标的位置来测量对象。激光跟踪器可在几米的距离内精确到0.025mm量级。在一个实施方案中,内窥镜成像系统脉冲光以与激光跟踪系统结合使用,使得可跟踪和测量场景内的位置或工具。在此类实施方案中,内窥镜成像系统可在由内窥镜成像系统成像的场景内的工具、对象或其他结构上脉冲激光跟踪图案。可将目标放置在场景内的工具、对象或其他结构上。内窥镜成像系统和目标之间的测量可在选定点处触发和获取,使得内窥镜成像系统可跟踪目标(以及附连目标的工具、对象或其他结构)的位置。
脉冲成像
本公开的一些具体实施包括传感器和系统组合设计的各个方面,该设计能够在受限的照明环境中以减少的像素数生成高清晰度图像。这通过以下方式来实现:逐帧地脉冲单色波长,并且使用受控光源结合高帧捕获速率和特别设计的对应单色传感器在单个不同颜色波长之间切换或交替每个帧。另外,可以发射光脉冲图案以产生激光标测数据。像素可以是颜色不定的,使得每个像素生成针对每个电磁辐射脉冲的数据,该每个电磁辐射脉冲包括红色、绿色和蓝色可见光波长以及用于激光标测成像的其他图案的脉冲。
本公开的系统为一种在缺光环境中使用的内窥镜成像系统。该系统包括内窥镜,该内窥镜包括图像传感器,其中该图像传感器被配置成能够感测反射的电磁辐射以用于生成多个曝光帧,该多个曝光帧可被组合以生成上面叠加有激光标测数据的RGB图像帧。该系统包括用于发射电磁辐射脉冲的发射器。该系统包括与图像传感器和发射器电子通信的控制器(可另选地称为“控制电路”)。该控制器响应于对应于发射器的占空比的信号来控制发射器的占空比。图像传感器包括可发送和接收信息的双向焊盘。图像传感器的双向焊盘在被分成三个限定状态的帧周期中操作,该三个限定状态包括滚动读出状态、服务项目状态和配置状态。该系统包括设置在控制器中的振荡器和连接到控制器的频率检测器。该频率检测器响应于来自控制器的对应于振荡器频率的信号来控制图像传感器的时钟频率。该系统使得时钟信号数据在服务项目阶段和配置阶段期间从图像传感器的双向焊盘传输到控制器。该系统使得曝光帧在不使用输入时钟或数据传输时钟的情况下同步。
为了促进对根据本公开的原理的理解的目的,现在将参考附图中所示的实施方案,并且将使用特定的语言来描述这些实施方案。然而,应当理解,因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改,以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。
在公开和描述用于在缺光环境中产生图像的结构、系统和方法之前,应当理解,本公开不限于本文所公开的特定结构、配置、工艺步骤和材料,因为此类结构、配置、工艺步骤和材料可一定程度地变化。另外应当理解,本文所用的术语只是为了描述具体实施方案的目的,并不旨在进行限制,因为本发明的范围将仅由所附权利要求书及其等同形式来限定。
在描述及对本公开的主题提出权利要求时,将根据下列定义使用以下术语。
应当指出的是,如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物,除非上下文中明确表示其它含义。
如本文所用,术语“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语,不排除额外的、未述及的要素或方法步骤。
如本文所用,短语“由……组成”及其语法同等成分排除未载入权利要求书的任何要素或步骤。
如本文所用,短语“主要由……组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。
如本文所用,术语“近侧”广义上是指靠近起始点的部分的概念。
如本文所用,术语“远侧”一般是指与近侧相反,因此根据上下文其是指距离起始点较远的部分或最远的部分的概念。
如本文所用,颜色传感器或多光谱传感器是那些已知具有颜色滤光器阵列(CFA)的传感器,在其上以便将入射电磁辐射过滤为其单个分量。在电磁光谱的可见范围中,此类CFA可以基于拜尔模板或其修改形式,以便分离光线中的绿色、红色和蓝色光谱分量。
如本文所用,单色传感器是指无过滤功能的成像传感器。因为像素是颜色不定的,所以其有效空间分辨率明显高于传统单传感器相机中的像素颜色(通常采用拜耳图案过滤)对等物。因为单个像素之间浪费的入射光子更少,因此单色传感器也可具有更高的量子效率。
如本文所用,发射器是能够生成和发射电磁脉冲的装置。发射器的各种实施方案可被配置成能够发射脉冲并且具有来自整个电磁频谱内的非常特定的频率或频率范围。脉冲可包括可见范围和不可见范围的波长。发射器可循环打开和关闭以产生脉冲,或者可以用快门机构产生脉冲。发射器可具有可变功率输出电平,或者可以用辅助装置诸如光圈或滤光器来控制。发射器可发射可通过颜色过滤或快门动作产生脉冲的宽光谱或全光谱电磁辐射。发射器可包括单独地或协同起作用的多个电磁源。
应当指出,如本文所用,术语“光”既是粒子又是波长,并且旨在表示可被像素阵列122检测的电磁辐射,并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围,其小于整个光谱,或者换句话讲,构成电磁光谱的某一部分的波长。如本文所用,发射器是关于所发射的电磁光谱的一部分可控制的光源,或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光,并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用,电磁发射器是电磁能量爆发源,并且其包括光源,诸如激光、LED、白炽光、或可进行数字控制的任何光源。
现在参见附图,图1示出了用于在缺光环境中进行顺序脉冲成像的系统100的示意图。系统100可被部署为生成RGB图像,其中激光标测数据叠加在RGB图像上。系统100包括发射器102和像素阵列122。发射器102在缺光环境112中脉冲电磁辐射的分区,并且像素阵列122感测反射的电磁辐射的实例。发射器102和像素阵列122按顺序工作,使得电磁辐射的分区的一个或多个脉冲产生由像素阵列122感测的图像数据。
应当指出,如本文所用,术语“光”既是粒子又是波长,并且旨在表示可被像素阵列122检测的电磁辐射,并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围,其小于整个光谱,或者换句话讲,构成电磁光谱的某一部分的波长。如本文所用,发射器是关于所发射的电磁光谱的一部分可控制的光源,或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光,并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用,电磁发射器是电磁能量爆发源,并且其包括光源,诸如激光、LED、白炽光、或可进行数字控制的任何光源。
图像传感器的像素阵列122可与发射器102以电子方式配对,使得发射器102和像素阵列122在操作期间被同步用于接收发射和系统内所进行的调节。发射器102可被调谐成发射激光形式的电磁辐射,该电磁辐射可被脉冲以照明缺光环境112。发射器102可以对应于像素阵列122的操作和功能的间隔脉冲。发射器102可脉冲多个电磁分区中的光,使得像素阵列接收电磁能量并且产生与每个特定电磁分区在时间上对应的数据集。例如,图1示出了具体实施,其中发射器102发射四个不同分区的电磁辐射,包括红色104波长、绿色106波长、蓝色108波长和激光标测110脉冲方案。激光标测110脉冲方案可包括用于在缺光环境112中识别场景的拓扑120并且进一步用于测量场景内的尺寸和距离的网格图案。激光标测110脉冲方案是可用于生成激光标测图像数据的任何合适的脉冲方案或图案。激光标测成像数据包括通过称为激光标测、激光扫描、形貌扫描、三维扫描、激光跟踪、工具跟踪等的技术生成的数据。
在图1中未示出的可供选择的实施方案中,光的脉冲发射包括亮度(“Y”)发射、红色色度(“Cr”)发射和蓝色色度(“Cb”)发射,而不是脉冲的红色104发射、脉冲的绿色106发射和脉冲的蓝色108发射。在一个实施方案中,控制器或发射器102根据颜色变换系数来将电磁辐射脉冲模块化以提供亮度和/或色度信息,这些颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、红色色度和蓝色色度光能空间。光的脉冲发射还可包括调制的蓝色色度(“λY+Cb”)脉冲和/或调制的红色色度(“δY+Cr”)脉冲。
缺光环境112包括反射红色114、绿色116和/或蓝色118光的组合的结构、组织和其他元件。被感知为红色114的结构将反射回脉冲的红色104光。从红色结构反射离开导致在脉冲的红色104发射之后由像素阵列122感测的红色105。由像素阵列122感测的数据产生红色曝光帧。被感知为绿色116的结构将反射回脉冲的绿色106光。从绿色结构反射离开导致在脉冲的绿色106发射之后由像素阵列122感测的绿色107。由像素阵列122感测的数据产生绿色曝光帧。被感知为蓝色118的结构将反射回脉冲的蓝色108光。从蓝色结构反射离开导致在脉冲的蓝色108发射之后由像素阵列122感测的蓝色109。由像素阵列122感测的数据产生蓝色曝光帧。
当结构为颜色的组合时,结构将反射回脉冲的红色104发射、脉冲的绿色106发射和/或脉冲的蓝色108发射的组合。例如,被感知为紫色的结构将反射回来自脉冲的红色104发射和脉冲的蓝色108发射的光。由像素阵列122感测的所得数据将指示光在脉冲的红色104发射和脉冲的蓝色108发射之后在相同区域中被反射。当所得红色曝光帧和蓝色曝光帧组合而形成RGB图像帧时,RGB图像帧将指示结构为紫色。
在缺光环境112包括荧光试剂或染料或包括一个或多个荧光结构、组织或其他元件的实施方案中,脉冲方案可包括某些荧光激发波长的发射。可选择某些荧光激发波长来使已知的荧光试剂、染料或其他结构发荧光。荧光结构将对荧光激发波长敏感并且将发射荧光弛豫波长。在荧光激发波长的发射之后,荧光弛豫波长将由像素阵列122感测。由像素阵列122感测的数据产生荧光曝光帧。荧光曝光帧可与多个其他曝光帧组合以形成图像帧。荧光曝光帧中的数据可叠加在RGB图像帧上,该RGB图像帧包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据。
在其中缺光环境112包括对电磁波谱的某些分区发出光谱响应的结构、组织或其他材料的实施方案中,脉冲方案还可包括电磁辐射的超光谱分区的发射,以用于引发来自存在于缺光环境112中的结构、组织或其他材料的光谱响应。该光谱响应包括某些波长的电磁辐射的发射或反射。该光谱响应可由像素阵列122感测并且产生超光谱曝光帧。超光谱曝光帧可与多个其他曝光帧组合以形成图像帧。超光谱曝光帧中的数据可叠加在RGB图像帧上,该RGB图像帧包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据。
在一个实施方案中,脉冲方案包括激光标测110图案的发射。在激光标测110图案的发射之后由像素阵列122感测到的反射的电磁辐射产生包括感测激光标测111数据的激光标测曝光帧。激光标测曝光帧中的数据可被提供给对应的系统以识别例如在缺光环境112中存在的工具之间的距离、缺光环境112中的场景的三维表面拓扑、场景内的结构或对象的距离、尺寸或位置、场景内的工具的距离、尺寸或位置等。该数据可叠加在RGB图像帧上或以其他方式提供给系统的用户。
发射器102可以是激光发射器,该激光发射器能够发射脉冲的红色104光以用于生成用于识别缺光环境112内的红色114元件的感测的红色105数据。发射器102还能够发射脉冲的绿色106光,以用于生成用于识别缺光环境内的绿色116元件的感测的绿色107数据。发射器102还能够发射脉冲的蓝色108光,以用于生成用于识别缺光环境内的蓝色118元件的感测的蓝色109数据。发射器102还能够发射激光标测110脉冲方案,以用于标测缺光环境112内的场景的拓扑120。发射器102能够以任何期望的顺序发射脉的冲红色104、脉冲的绿色106、脉冲的蓝色108和脉冲的激光标测110脉冲方案。
像素阵列122感测反射的电磁辐射。感测的红色105、感测的绿色107、感测的蓝色109和感测的激光标测111数据中的每一者可称为“曝光帧”。为每个曝光帧分配特定的颜色或波长分区,其中该分配基于来自发射器102的脉冲的颜色或波长分区的定时。曝光帧与所分配的特定颜色或波长分区的组合可被称为数据集。即使像素122不是专用颜色,也可基于关于发射器的先验信息为任何给定数据集分配颜色。
例如,在操作期间,在脉冲的红色104光在缺光环境112中脉冲之后,像素阵列122感测反射的电磁辐射。反射的电磁辐射产生曝光帧,并且曝光帧被归类为感测的红色105数据,因为它在时间上与脉冲的红色104光相对应。曝光帧连同其在时间上与脉冲的红色104光对应的指示为“数据集”。对于由发射器102发射的电磁辐射的每次分配,重复该过程。由像素阵列122创建的数据包括感测红色105曝光帧,该感测红色曝光帧识别缺光环境中的红色114分量并且在时间上与脉冲红色104光对应。该数据还包括识别缺光环境中的绿色116分量并且在时间上与脉冲的绿色106光相对应的感测的绿色107曝光帧。该数据还包括识别缺光环境中的蓝色118分量并且在时间上与脉冲的蓝色108光相对应的感测的蓝色109曝光帧。该数据还包括感测的激光标测111曝光帧,该感测的激光标测曝光帧识别拓扑120并且在时间上与激光标测110脉冲方案对应。
在一个实施方案中,将表示红色、绿色和蓝色电磁脉冲的三个数据集组合以形成单个图像帧。因此,红色曝光帧、绿色曝光帧和蓝色曝光帧中的信息被组合以形成单个RGB图像帧。表示其他波长分区的一个或多个附加数据集可以叠加在单个RGB图像帧上。该一个或多个另外的数据集可表示例如激光标测数据、荧光成像数据和/或超光谱成像数据。
应当理解,在不脱离本公开的范围的情况下,本公开不限于任何特定的颜色组合或任何特定的电磁分区,并且任何颜色组合或任何电磁分区均可用于代替RED、GREEN和BLUE,诸如青色、洋红色和黄色;紫外线;红外线;前述的任何组合或任何其它颜色组合,包括所有可见波长和不可见波长。在图中,待成像的缺光环境112包括红色114部分、绿色116部分和蓝色118部分,并且还包括可被感测并标测到三维渲染中的拓扑120。如图所示,来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集然后可用于通过在126处组合数据集来重建图像。多个曝光帧(即,多个数据集)中的每个曝光帧中的信息可以由控制器124、控制单元、相机控制单元、图像传感器、图像信号处理流水线或一些其他计算资源组合,这些计算资源可被配置成能够在126处处理多个曝光帧并且组合数据集。数据集可被组合以在内窥镜单元自身内或由一些其他处理资源在场外生成单个图像帧。
图2为用于向缺光环境(诸如用于内窥镜成像)提供照明的系统200。系统200可与本文所公开的系统、方法或装置中的任一者结合使用。系统200包括发射器202、控制器204、跳线波导206、波导连接器208、内腔波导210、内腔212和具有附带的光学部件(诸如透镜)的图像传感器214。发射器202(可以统称为“光源”)生成行进穿过跳线波导206和内腔波导210的光以照明内腔212的远侧端部处的场景。发射器202可用于发射任何波长的电磁能量,包括可见波长、红外、紫外、超光谱、荧光激发或其他波长。可将内腔212插入患者体内以进行成像,诸如在手术或检查期间。如虚线216所示输出光。可使用图像传感器214捕获由光照明的场景并且向医生或一些其他医学人员显示该场景。控制器204可向发射器202提供控制信号以控制何时向一个场景提供照明。在一个实施方案中,发射器202和控制器204位于内窥镜所连接的相机控制单元(CCU)或外部控制台内。如果图像传感器214包括CMOS传感器,则可在所谓的消隐周期期间以图像传感器214的读出周期之间的一系列照明脉冲周期性地向该场景提供光。因此,光可以受控方式被脉冲,以避免重叠到图像传感器214的像素阵列中的图像像素的读出周期中。
在一个实施方案中,内腔波导210包括一根或多根光纤。这些光纤可由低成本材料(诸如塑料)制成,以允许内腔波导210和/或内窥镜的其他部分的处理。在一个实施方案中,内腔波导210是直径为500微米的单根玻璃纤维。跳线波导206可永久性地附接到发射器202。例如,跳线波导206可从发射器202内的发射器接收光,并且在连接器208的位置处向内腔波导210提供光。在一个实施方案中,跳线波导106包括一个或多个玻璃光纤。跳线波导可包括用于将光引导至内腔波导210的任何其他类型的波导。连接器208可将跳线波导206选择性地耦合到内腔波导210,并且允许跳线波导206内的光传递到内腔波导210。在一个实施方案中,内腔波导210直接被耦合到光源,而无需任何居间跳线波导206。
图像传感器214包括像素阵列。在一个实施方案中,图像传感器214包括用于生成三维图像的两个或更多个像素阵列。图像传感器214可构成另外两个图像传感器,这两个图像传感器各自具有独立的像素阵列并且可彼此独立地操作。图像传感器214的像素阵列包括有源像素和光学黑色(“OB”)或光学盲像素。有源像素可以是能够感测任何波长的电磁辐射的成像数据的透明“颜色不定的”像素。当像素阵列被“重置”或校准时,在像素阵列的消隐周期期间读取光学黑色像素。在一个实施方案中,当正在读取光学黑色像素时,光在像素阵列的消隐周期期间脉冲。在已读取光学黑色像素之后,在像素阵列的读出周期期间读取有源像素。有源像素可由在消隐周期期间脉冲的电磁辐射充电,使得有源像素准备好在像素阵列的读出周期期间由图像传感器读取。
图2A是互补系统硬件诸如专用或通用计算机的示意图。在本公开范围内的具体实施也可包括用于承载或存储计算机可执行指令和/或数据结构的物理及其他非暂态计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质为传输介质。因此,以举例而非限制性的方式,本公开的具体实施可包括至少两种明显不同种类的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态硬盘(“SSD”)(例如,基于RAM)、闪存存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储器装置、或任何其他可用于存储期望的呈计算机可执行指令或数据结构的形式的程序代码工具并且可通过通用或专用计算机来访问的介质。
“网络”是指一个或多个数据链路,其能够使电子数据在计算机系统和/或模块和/或其它电子装置之间进行传输。在一个具体实施中,传感器与相机控制单元可网络化,以便彼此通信,以及与通过它们所连接网络进行连接的其它部件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时,计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路,该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并且可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。
另外,在到达各种计算机系统部件时,呈计算机可执行指令或数据结构的形式的程序代码工具,其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如,“NIC”)内的RAM中,然后最终传送至计算机系统RAM和/或计算机系统的非易失性计算机存储介质(装置)中。RAM还可包括固态硬盘(SSD或基于PCIx的实时存储器分层存储装置,诸如FusionIO)。因此,应当理解,计算机存储介质(装置)可包括在计算机系统部件中,该计算机系统部件还(或甚至主要)利用了传输介质。
计算机可执行指令包括(例如)在由一个或多个处理器执行时使通用计算机、专用计算机或专用处理装置执行某些功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题,然而应当理解,随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说,上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。
本领域的技术人员应当理解,本公开可在网络计算环境中实现,该网络计算环境具有多种类型的计算机系统配置,包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持设备、手持件、多处理器系统、基于微处理器的或可编程的电子消费品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、传呼机、路由器、交换机、各种存储设备等等。应当指出的是,任意上述计算设备都可由实体机构提供或位于实体机构内。本公开也可在分布式系统环境中实现,其中本地和远程计算机系统通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合),两者均可执行任务。在分布式系统环境中,程序模块可位于本地和远程存储器存储装置二者中。
另外,在适当的情况下,本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如,可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解,部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。
图2A为示出示例性计算装置250的框图。计算装置250可用于执行各种程序,诸如本文所讨论的那些程序。计算装置250可用作服务器、客户端或任何其他计算实体。计算装置250可执行本文所讨论的各种监测功能,并且可执行一个或多个应用程序,诸如本文所述的应用程序。计算装置250可以为各种计算装置中的任何一种,诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑,等等。
计算装置250包括一个或多个处理器252、一个或多个存储器装置254、一个或多个接口256、一个或多个大容量存储装置258、一个或多个输入/输出(I/O)装置260,以及显示装置280,所有器件均耦合到总线262。处理器252包括一个或多个处理器或控制器,该一个或多个处理器或控制器执行存储在存储器装置254和/或大容量存储装置258中的指令。处理器252还可以包括各种类型的计算机可读介质,诸如高速缓存存储器。
存储器装置254包括各种计算机可读介质,诸如易失性存储器(例如,随机存取存储器(RAM)264)和/或非易失性存储器(例如,只读存储器(ROM)266)。存储器装置254还可包括可重写ROM,诸如闪存存储器。
大容量存储装置258包括各种计算机可读介质,诸如磁带、磁盘、光盘、固态存储器(例如,闪存存储器)等。如图2中所示,特定的大容量存储装置为硬盘驱动器274。各种驱动器也可包括在大容量存储装置258中以能够从各种计算机可读介质中进行读取和/或写入其中。大容量存储装置258包括可移动介质276和/或不可移动介质。
I/O装置260包括允许向计算装置250输入或从计算装置检索数据和/或其他信息的各种装置。示例性I/O装置260包括数字成像装置、电磁传感器和发射器、光标控制装置、键盘、小键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、CCD或其他图像捕获装置,等等。
显示装置280包括能够向计算装置250的一个或多个用户显示信息的任何类型的装置。显示装置280的示例包括监视器、显示终端、视频投影装置等等。
接口256包括允许计算装置250与其他系统、装置或计算环境进行交互的各种接口。示例性接口256可包括任何数量的不同网络接口270,诸如连接局域网(LAN)、广域网(WAN)、无线网和互联网的接口。其他接口包括用户接口268和外围装置接口272。接口256还可包括一个或多个用户接口元件268。接口256还可包括一个或多个外围接口,诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。
总线262允许处理器252、存储器装置254、接口256、大容量存储装置258和I/O装置260彼此通信,并且与耦合到总线262的其他装置或部件通信。总线262表示若干类型的总线结构(诸如系统总线、PCI总线、IEEE 1394总线、USB总线,等等)中的一种或多种。
出于示例性目的,本文所示的程序和其他可执行程序器件为分立块体,但应当理解,此类程序和部件可在各个时间驻留在计算装置250的不同存储部件中,并且由(一个或多个)处理器252执行。或者,本文所述的系统和程序可通过硬件来实现,或通过硬件、软件和/或固件的组合来实现。例如,可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。
图3A示出了在滚动读出模式下或在传感器读出300期间使用的传感器的操作循环。帧读出可在竖直线310处开始并且可由该竖直线表示。读出周期由对角线或斜线302表示。图像传感器的像素阵列的有源像素可逐行读出,向下倾斜边缘的顶部为传感器顶行312,向下倾斜边缘的底部为传感器底行314。在最后一行读出和下一读出循环之间的时间可被称为消隐周期316。应当指出,传感器像素行中的一些可覆盖有光屏蔽件(例如,金属涂层或另一种材料类型的任何其它大体上黑色的层)。这些被覆盖的像素行可被称为光学黑色行318和320。光学黑色行318和320可用作校正算法的输入。如图3A所示,这些光学黑色行318和320可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。
图3B示出了控制曝光至像素从而被像素集成或聚积的电磁辐射(例如,光)的量的方法。应当理解,光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(点划线322所示)可用于通过复位像素来开始集成时间。然后光将集成直到下一读出阶段为止。电子快门322的位置可在两个读出循环302之间移动,以便控制给定量的光的像素饱和度。应当指出,该技术允许在两个不同行之间的集成时间恒定,但在从顶行移动到底行时引入延迟。
图3C示出了电子快门322已被移除的情况。在该配置中,入射光的集成可在读出302期间开始,并且可在下一读出循环302处结束,该下一读出循环也限定下一集成的开始。
图3D示出了没有电子快门322但在消隐周期316期间具有受控和脉冲光330的配置。这确保所有行看到的光是从相同的光脉冲330发出的相同的光。换句话讲,每一行将在黑暗环境中开始其集成,该黑暗环境可位于读出帧(m)的光学黑色后行320以获得最大的光脉冲宽度,然后将接收光通并且将结束其在黑暗环境中的集成,该黑暗环境可位于下一后续读出帧(m+1)的光学黑色前行318以获得最大的光脉冲宽度。在例如图3D中,由光脉冲生成的图像将仅在帧(m+1)读出期间可用,而不会干扰帧(m)和帧(m+2)。应当指出,使光脉冲仅在一个帧中读出并且不干扰相邻帧的条件是在消隐周期316期间击发给定的光脉冲。因为光学黑色行318、320对光不敏感,所以可将帧(m)的光学黑色后行320时间和帧(m+1)的光学黑色前行318时间添加至消隐周期316,以确定光脉冲330的击发时间的最大范围。
如图3A所示,传感器可循环多次以接收每种脉冲颜色或波长(例如,电磁光谱上的红色、绿色、蓝色或其他波长)的数据。每个循环可以是定时的。在一个实施方案中,循环可定时以在16.67ms的间隔内操作。在另一个实施方案中,循环可定时以在8.3ms的间隔内操作。应当理解,本公开设想了其它的定时间隔,并且旨在落入本公开的范围内。
图4A以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环,使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图4A示出了402处的脉冲1、404处的脉冲2和406处的脉冲3。在一个实施方案中,发射器可在传感器操作循环的读出周期302期间脉冲。在一个实施方案中,发射器可在传感器操作循环的消隐部分316期间脉冲。在一个实施方案中,发射器可脉冲持续时间,该持续时间在两个或更多个传感器操作循环的部分期间。在一个实施方案中,发射器可在消隐部分316期间或在读出周期302的光学黑色部分320期间开始脉冲,并且在读出周期302期间或下一后续循环的读出周期302的光学黑色部分318期间结束脉冲。应当理解,只要发射器的脉冲和传感器的循环相对应,上述的任何组合旨在落入本公开的范围内。
图4B以图形方式表示改变发射的电磁脉冲(例如,在412处的脉冲1、在414处的脉冲2、在416处的脉冲3)的持续时间和量值以控制曝光。具有固定输出量值的发射器可在上文结合图3D和图4A所述的任何循环期间脉冲一定间隔,以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内脉冲,从而为像素提供更多的电磁能量,或者发射器可在较短的时间间隔脉冲,从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。
与调节发射器脉冲固定输出量值的时间间隔相比,可增大发射量值本身以便向像素提供更多的电磁能量。类似地,减小脉冲的量值可为像素提供较少的电磁能量。应当指出,如果需要的话,系统的实施方案可具有同时调节量值和持续时间的能力。另外,可调节传感器以根据最佳图像质量的需要来增加其灵敏度和持续时间。图4B示出了改变脉冲的量值和持续时间。在图示中,412处的脉冲1具有比414处的脉冲2或416处的脉冲3更高的量值或强度。另外,412处的脉冲1具有比在414处的脉冲2或416处的脉冲3更短的持续时间,使得由该脉冲提供的电磁能量由图示中所示脉冲下的面积示出。在图示中,当与412处的脉冲1或416处的脉冲3相比时,414处的脉冲2具有相对低的量值或强度和较长的持续时间。最后,在图示中,当与412处的脉冲1和414处的脉冲2相比时,416处的脉冲3具有中间量值或强度和持续时间。
图5为根据本公开的原理和教导内容的组合图3A至图3D和图4A的操作循环、电磁发射器和发射的电磁脉冲以在操作期间显示成像系统的本公开的实施方案的图示。如在图中可见,电磁发射器主要在图像传感器的消隐周期316期间脉冲辐射,使得像素将被充电并且在图像传感器循环的读出周期302期间准备读取。图5中的虚线表示电磁辐射的脉冲(来自图4A)。电磁辐射脉冲主要在图像传感器的消隐周期316期间发射,但可与图像传感器的读出周期302叠层。
曝光帧包括在读出周期302期间由图像传感器的像素阵列读取的数据。曝光帧可与在读出周期302之前由发射器发射的脉冲的类型的指示组合。曝光帧和脉冲类型的指示的组合可被称为数据集。可组合多个曝光帧以生成黑白或RGB彩色图像。另外,超光谱、荧光和/或激光标测成像数据可叠加在黑白或RGB图像上。
在一个实施方案中,曝光帧是在消隐周期316之后发生的读出周期302期间由像素阵列感测的数据。电磁辐射的发射在消隐周期316期间发射。在一个实施方案中,电磁辐射的发射的一部分与读出周期316重叠。消隐周期316在像素阵列的光学黑色像素正在被读取时发生,并且读出周期302在像素阵列的有源像素正在被读取时发生。消隐周期316可与读出周期302重叠。
图6A和图6B示出了用于记录图像帧的过程。可将多个图像帧串在一起以生成视频流。单个图像帧可包括来自多个曝光帧的数据,其中曝光帧是在电磁辐射的发射之后由像素阵列感测的数据。图6A示出了通常用彩色图像传感器实现的传统过程,该彩色图像传感器具有颜色滤光器阵列(CFA)以针对每个像素滤除某些波长的光。图6B是本文所公开的过程,并且可利用接收所有波长的电磁辐射的单色“颜色不定的”图像传感器来实现。
图6A所示的过程在时间t(0)至时间t(1)期间发生。该过程从白光发射602开始并且感测白光604。在606处,基于604处的感测来处理并且显示图像。
图6B所示的过程在时间t(0)至时间t(1)期间发生。该过程从绿光612的发射开始,并且在绿光612的发射之后感测反射的电磁辐射614。该过程继续红光616的发射,并且在红光616的发射之后感测反射的电磁辐射618。该过程继续蓝光620的发射,并且在蓝光620的发射之后感测反射的电磁辐射622。该过程继续进行激光标测624脉冲方案的一次或多次发射,并且在激光标测624脉冲方案的该一次或多次发射中的每一者之后感测反射的电磁能量626。在628处基于所感测的反射电磁能量实例614、618、622和626中的每个实例来处理和显示图像。
图6B所示的过程提供了较高分辨率的图像并且提供了用于生成还包括激光标测数据的RGB图像的装置。当使用光的分区光谱时(如图6B所示),可使传感器对所有波长的电磁能量敏感。在图6B所示的过程中,指示单色像素阵列在每个循环中感测来自电磁能量全光谱的预先确定的分区的电磁能量。因此,为了形成图像,传感器仅需以全光谱光内不同的多个分区进行循环。基于多个循环来组合最终图像。因为来自每个颜色分区帧循环的图像(与CFA像素阵列相比)具有较高的分辨率,所以当分区的光帧被组合时产生的所得图像也具有较高的分辨率。换句话讲,因为阵列内的每个像素(而不是至多,具有CFA的传感器中的每隔一个像素)感测给定脉冲和给定场景的能量的幅值,仅相隔一段时间,因此针对每个场景产生较高分辨率的图像。
如在图6A至图6B中所示的实施方案中在时间t(0)和t(1)之间可从图形看出,用于图6B中的分区光谱系统的传感器对图6A中的全光谱系统中的每个全光谱系统循环了至少四次。在一个实施方案中,显示装置(LCD面板)以每秒50至60帧的速度工作。在此类实施方案中,图6B中的分区光系统可以200帧/秒至240帧/秒的速率操作,以保持所显示视频的连续性和平滑性。在其它实施方案中,可存在不同的捕获和显示帧速率。此外,平均捕获速率可以是显示速率的任何倍数。
在一个实施方案中,可能期望并非所有分区在系统帧速率内均相等地表示。换句话讲,并非所有光源都必须以相同的规律性脉冲,以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解,电磁频谱的不可见分区和可见分区可在系统内脉冲到一起,其中它们的相应数据值被接合(stitch)到视频输出中,以用于向用户显示。
实施方案可包括如下脉冲循环图案:
i.绿色脉冲;
ii.红色脉冲;
iii.蓝色脉冲;
iv.绿色脉冲;
v.红色脉冲;
vi.蓝色脉冲;
vii.激光标测脉冲;
viii.(重复)
实施方案可包括如下脉冲循环图案:
i.亮度脉冲;
ii.红色色度脉冲;
iii.亮度脉冲;
iv.蓝色色度脉冲;
v.激光标测脉冲;
vi.(重复)
实施方案可包括如下脉冲循环图案:
i.亮度脉冲;
ii.红色色度脉冲;
iii.亮度脉冲;
iv.蓝色色度脉冲;
v.亮度脉冲;
vi.红色色度脉冲;
vii.亮度脉冲;
viii.蓝色色度脉冲;
ix.激光标测脉冲;
x.(重复)
如在该示例中可见,激光标测分区可以与其他分区脉冲的速率不同的速率脉冲。这样做可强调场景的某个方面,其中激光标测数据仅与视频输出中的其他数据重叠以做出期望的强调。应当指出,在红色分区、绿色分区和蓝色分区的顶部上方添加激光标测分区并不一定要求序列化的系统以全光谱非串行系统的速率的四倍操作,因为每个分区不必在脉冲图案中相等地表示。如在该实施方案中所见,添加在脉冲图案(上述示例中的激光标测)中表示较少的分区脉冲将导致小于传感器的循环速度的20%的增加,以适应不规则的分区取样。
可将分区循环划分为适应或近似各种成像和视频标准。在一个实施方案中,分区循环包括如下如图7A至图7D中最佳地示出的红色、绿色和蓝色光谱中的电磁能量的脉冲。由发射器进行的电磁辐射脉冲的发射与像素阵列的读出之间的定时关系在图7A至图7D中进一步示出。
在图7A中,已通过在由竖直灰色虚线所示的工作范围内调制光脉冲宽度或持续时间来实现不同的光强度。图7A示出了四帧循环内、三个波长的脉冲混合与图像传感器的像素阵列的读出循环之间的一般定时关系。在一个实施方案中,在控制器的控制下存在三个单色脉冲光源。例如用R-G-B-G脉冲图案捕获单色红色、单色绿色和单色蓝色曝光帧的周期性序列,并且由图像信号处理器链组合成sRGB图像帧。
在图7B中,已通过调制光功率或电磁发射器(其可为激光器或LED发射器)的功率,但保持脉冲宽度或持续时间恒定来实现不同的光强度。
图7C示出了光功率和光脉冲宽度均被调制从而得到更大灵活性的情况。分区循环可使用青色洋红色黄色(CMY)、红外线、紫外线、高光谱和荧光,使用与可见脉冲源混合的不可见脉冲源以及产生图像所需的任何其他色彩空间或近似于当前已知或尚未开发的期望的视频标准。还应当理解,系统能够在运行中的色彩空间之间切换以提供所需图像输出质量。
在使用色彩空间绿色-蓝色-绿色-红色(如图7D中所示)的实施方案中,可能期望比色度分量更频繁地脉冲亮度分量,因为用户通常对光量值差异比对光色差更敏感。可使用如图7D中所示的单色图像传感器来利用该原理。在图7D中,包含最多亮度信息的绿色可在(G-B-G-R-G-B-G-R......)方案中更频繁地脉冲或具有更大强度以获得亮度数据。此类配置将创建具有可察觉的更多细节的视频流,而不创建和传输不可察觉的数据。
在一个实施方案中,所有三个光源与被调制为在相同的曝光帧中提供纯亮度信息的光能一致地脉冲。可根据从RGB颜色空间转换为YCbCr颜色空间的颜色转换系数来调制光能。应当理解,颜色转换可根据任何合适的标准诸如ITU-R BT.709HD标准、ITU-R BT.601标准、ITU-R BT.2020标准或任何其他合适的标准或公式来实现。该转换可根据ITU-RBT.709HD标准如下执行:
除了亮度信息的调制之外,全彩图像还需要红色色度分量和蓝色色度分量。然而,应用于亮度分量的算法不能直接应用于色度分量,因为该算法是带符号的,如一些RGB系数为负的事实中所反映的。在一个实施方案中,提高亮度的程度,使得所有最终脉冲能量均为正值。只要图像信号处理器中的颜色融合过程知道色度曝光帧的组成,它们就可以通过从相邻帧中减去适当量的亮度来解码。脉冲能量比例由下式给出:
Y=0.183·R+0.614·G+0.062·B
Cb=λ·Y-0.101·R-0.339·G+0.439·B
Cr=δ·Y+0.439·R-0.399·G-0.040·B
其中
如果λ因子等于0.552,则抵消红色分量和绿色分量。在这种情况下,蓝色色度信息可提供有纯蓝光。类似地,如果δ因子等于0.650,则抵消蓝色分量和绿色分量,并且红色色度信息可提供有纯红光。该实施方案是数字帧重建的方便的近似。
在照明域中执行白平衡的实施方案中,除了白平衡调制之外,还施加调制。
在一个实施方案中,复制较弱分区的脉冲可用于产生已针对较弱脉冲进行调节的输出。例如,认为蓝色激光相对于硅基像素的灵敏度弱,并且与红光或绿光相比,蓝色激光难以产生,因此可在帧循环期间更频繁地脉冲以补偿光的弱性。这些附加脉冲可随时间推移连续地完成,或者通过使用多个激光器同时脉冲以产生所需补偿效果。应当注意,通过在消隐周期(在此期间传感器不读出像素阵列的时间)期间脉冲,传感器对同一种类的激光器之间的差异/失配不敏感,并且简单地聚积光以用于期望的输出。在另一个实施方案中,最大光脉冲范围可能从帧到帧是不同的。这示出于图7E,其中光脉冲从帧到帧是不同的。传感器可被构建成能够以两帧或三帧或四帧或n帧的重复图案对不同消隐周期进行编程。
在图7E中,示出了四个不同的光脉冲,并且脉冲1可例如在脉冲4之后重复,并且可具有消隐周期不同的四帧的图案。该技术可用于将最大功率的分区放置于最小消隐周期上,并且因此允许最弱的分区在后续帧中的一帧上具有更宽的脉冲而无需增加读出速度。重建帧仍可具有帧到帧的规则图案,因为其由许多脉冲帧构成。
图8示出了图像传感器的像素阵列800。像素阵列800包括以网格状图案布置的多个像素。像素被描绘为图8至图14中的离散正方形。像素阵列800被配置用于感测反射的电磁辐射以基于多个独立的曝光帧来生成图像帧。图像帧可以包括来自亮度曝光帧、蓝色色度曝光帧和红色色度曝光帧的信息,并且还可以包括来自超光谱曝光帧、荧光曝光帧和/或激光标测曝光帧中的一者或多者的信息。在图8中,像素阵列800被示出随时间推移具有四种不同的配置,包括用于第一曝光帧802、第二曝光帧804、第三曝光帧806和第四曝光帧808的配置。第一曝光帧802、第二曝光帧804、第三曝光帧806和第四曝光帧808可以组合以生成单个YCbCr图像帧。一个或多个附加的曝光帧可以与YCbCr图像帧组合或叠加在其上,包括例如超光谱曝光帧、荧光曝光帧和/或激光标测或工具跟踪曝光帧。在一些情况下,当与RGB图像帧组合时,来自超光谱曝光帧架、荧光曝光帧和/或激光标测或工具跟踪曝光帧中的一者或多者的信息被转换为数值信息、颜色叠层或一些其他形式。
当像素阵列800被配置用于第一曝光帧802时,像素被操作为感测亮度(“Y”)信息。第一曝光帧802的像素配置仅包括亮度像素810。当像素阵列800被配置用于第二曝光帧804时,像素被操作为感测蓝色色度(“Cb”)信息。第二曝光帧804的像素配置仅包括蓝色色度像素812。当像素阵列800被配置用于第三曝光帧806时,像素被操作为再次感测亮度信息。第三曝光帧806的像素配置仅包括亮度像素810。当像素阵列800被配置用于第四曝光帧808时,像素被操作为感测红色色度(“Cr”)信息。第四曝光帧808的像素配置仅包括红色色度像素814。
图9示出了类似于图8和图10至图14中所示的图像传感器的像素阵列900。图像传感器被配置用于基于由像素阵列900捕获的多个独立的曝光帧生成YCbCr图像帧。像素阵列900被示出随时间推移处于四种不同的配置,包括用于第一曝光帧902、第二曝光帧904、第三曝光帧906和第四曝光帧908的配置。第一曝光帧902的像素的配置包括亮度像素910。用于第二曝光帧904的像素的配置包括以棋盘图案布置的蓝色色度像素912和红色色度像素914。第三曝光帧906的像素的配置包括亮度像素910。第四曝光帧908的像素的配置包括蓝色色度像素912和红色色度像素914。在一个实施方案中,用于第二曝光帧904和第四曝光帧908的像素配置感测调制的蓝色色度(“λΥ+Cb”)和调制的红色色度(“δΥ+Cr”)。
图10示出了类似于图8至图9和图11至图14中所示的图像传感器的像素阵列1000。图像传感器被配置用于基于由像素阵列1000捕获的多个独立的曝光帧生成YCbCr图像帧。像素阵列1000被示出随时间推移具有四种不同的配置,包括用于第一曝光帧1002、第二曝光帧1004、第三曝光帧1006和第四曝光帧1008的配置。由像素阵列1000针对多个曝光帧1002、1004、1006、1008感测的数据可被组合以生成单个YCbCr图像帧。第一曝光帧1002的像素的配置包括以棋盘图案布置的亮度短曝光像素(“YS”)1016和亮度长曝光像素(“YL”)1018。第二曝光帧1004的像素的配置包括蓝色色度像素1012和红色色度像素1014。第三曝光帧1006的像素的配置包括相对于第一曝光帧1002的布置以具有相对的配置的棋盘图案布置的亮度长曝光像素1018和亮度短曝光像素1016。第四曝光帧1008的像素的配置包括蓝色色度像素1012和红色色度像素1014。
图11示出了类似于图8至图10和图12至图14中所示的图像传感器的像素阵列1100。图像传感器被配置用于基于由像素阵列1100捕获的多个独立的曝光帧生成RGB图像帧。像素阵列1100被示出随时间推移具有四种不同的配置,包括用于第一曝光帧1102、第二曝光帧1104、第三曝光帧1106和第四曝光帧1108的配置。由像素阵列1100针对多个曝光帧1102、1104、1106、1108感测的数据可被组合以生成单个RGB图像帧。图11中所示的像素配置改变哪些像素子集被配置为长曝光,以及哪些像素子集被配置为连续绿色曝光帧上的短曝光。这种使用长曝光像素和短曝光像素的方法增加了所得图像的感知分辨率。应当理解,双曝光采样的应用不限于绿色曝光帧。在各种实施方案中,像素可以具有应用于亮度、红色色度、蓝色色度、红色曝光帧、绿色曝光帧或蓝色曝光帧的独立的双重曝光率。
第一曝光帧1102的像素的配置包括以棋盘图案布置的绿色短曝光像素(“GS”)1122和绿色长曝光像素(“GL”)1124。第二曝光帧1104的像素的配置包括红色像素(“R”)1120。第三曝光帧1106的像素的配置包括相对于第一曝光帧1102的棋盘图案以呈相对的配置的棋盘图案布置的绿色长曝光像素1124和绿色短曝光像素1122。第四曝光帧1108的像素的配置包括蓝色像素(“B”)1126。
图12示出了类似于图8至图11和图13至图14中所示的图像传感器的像素阵列1200。图像传感器被配置用于基于由像素阵列1200捕获的多个独立的曝光帧生成YCbCr图像帧。像素阵列1200被示出随时间推移具有四种不同的配置,包括用于第一曝光帧1202、第二曝光帧1204、第三曝光帧1206和第四曝光帧1208的配置。由像素阵列1200针对多个曝光帧1202、1204、1206、1208感测的数据可被组合以生成单个YCbCr图像帧。用于第一曝光帧1202的像素配置包括以棋盘图案布置的亮度短曝光像素1216和亮度长曝光像素1218。第二曝光帧1204的像素配置包括蓝色色度像素1212。第三曝光帧1206的像素配置包括以与第一曝光帧1202的图案相对的棋盘图案布置的亮度长曝光像素1218和亮度短曝光像素1216。第四曝光帧1208的像素配置包括红色色度像素1214。
图13示出了类似于图8至图12和图14中所示的图像传感器的像素阵列1300。图像传感器被配置用于基于由像素阵列1300捕获的多个独立的曝光帧生成RGB图像帧。像素阵列1300被示出随时间推移具有四种不同的配置,包括用于第一曝光帧1302、第二曝光帧1304、第三曝光帧1306和第四曝光帧1308的配置。由像素阵列1300针对多个曝光帧1302、1304、1306、1308感测的数据可被组合以生成单个RGB图像帧。用于第一曝光帧1302的像素配置包括以棋盘图案布置的绿色短曝光像素1322和绿色长曝光像素1324。用于第二曝光帧1304的像素配置包括以棋盘图案布置的红色短曝光像素(“RS”)1328和红色长曝光像素(“RL”)1330。用于第三曝光帧1306的像素配置包括以与第一曝光帧1302的图案相对的棋盘图案布置的绿色短曝光像素1322和绿色长曝光像素1324。用于第四曝光帧1308的像素配置包括以棋盘图案布置的蓝色短曝光像素(“BS”)1332和蓝色长曝光像素(“BL”)1334。
图14示出了类似于图8至图13中所示的图像传感器的像素阵列1400。图像传感器被配置用于基于由像素阵列1400捕获的多个独立的曝光帧生成YCbCr图像帧。像素阵列1400被示出随时间推移具有四种不同的配置,包括用于第一曝光帧1402、第二曝光帧1404、第三曝光帧1406和第四曝光帧1408的配置。由像素阵列1400针对多个曝光帧1402、1404、1406、1408感测的数据可被组合以生成单个YCbCr图像帧。用于第一曝光帧1402的像素配置包括以棋盘图案布置的亮度短曝光像素1416和亮度长曝光像素1418。用于第二曝光帧1404的像素配置包括以棋盘图案布置的蓝色色度短曝光像素(“CbS”)1436和蓝色色度长曝光像素(“CbL”)1438。用于第三曝光帧1406的像素配置包括以与第一曝光帧1402的图案相对的棋盘图案布置的亮度短曝光像素1416和亮度长曝光像素1418。用于第四曝光帧1408的像素配置包括以棋盘图案布置的红色色度短曝光像素(“CrS”)1440和红色色度长曝光像素(CrL”)1442。
图15示出了用于应用校正算法和还包括激光标测成像数据的YCbCr图像帧的帧重建的过程流程1500。就Y-Cb-Y-Cr脉冲方案而言,图像数据已经在颜色融合之后的YCbCr颜色空间中。因此,在图15所示的处理流程1500中,在转换回线性RGB颜色空间之前,预先执行基于亮度和色度的操作以执行颜色校正。
处理流程1500包括在1502处从图像传感器接收图像数据。对传感器数据执行传感器校正1504。在1506处实现超分辨率(SR)和颜色运动伪影校正(CMAC)算法。SR和CMAC过程1506可以在相机图像信号处理器内对原始捕获的传感器数据执行。在完成所有数字传感器校正1504过程之后,可以立即在1506处执行SR和CMAC过程。在传感器数据融合到YCbCr空间彩色图像中之前,可以执行SR和CMAC过程1506。在1508处可以导出统计值,以确定图像的适当的自动曝光。
构建了色度曝光帧1510a和亮度曝光帧1510b。在一个实施方案中,还构建激光标测曝光帧1510c。基于Y帧按照到达顺序构建亮度曝光帧1510b。基于Cb和Cr帧按照到达顺序来构建色度曝光帧1510a。由超分辨率算法处理的帧的数量是可选变量。亮度曝光帧1510b的先进先出深度通常为奇数,并且其大小可以基于可用处理、存储器、存储器带宽、运动检测精度或可接受的延迟考虑来确定。颜色运动伪影校正过程可以用用于亮度的三个帧和用于蓝色色度和/或红色色度的两个帧的最小先进先出深度来执行。超分辨率算法可以通过使用五个亮度帧来生成更好的分辨率。
处理图像数据以在1512处实现帧重建并且在1514处实现边缘增强。在1516处将YCbCr图像转换为线性RGB图像。在1518处可以导出对RGB图像的统计值以确定适当的白平衡。在1520处应用适当的白平衡,并且在1522处输入到颜色校正矩阵中。确定标量1524和γ1526,并且在1528处导出视频。在从传感器捕获和接收图像数据时,处理流程1500可以实时地在相机图像信号处理器中实现(参见1502)。
在帧重建1512期间,为每个亮度曝光帧生成的YCbCr空间中可存在一个全彩图像帧。在亮度曝光帧中捕获的数据可以与来自在亮度曝光帧之前和之后捕获的色度曝光帧的数据组合。鉴于该脉冲序列,可以调整蓝色色度曝光帧相对于亮度曝光帧的位置,以在另选的亮度情况下的亮度曝光帧之前或之后进行。相对于亮度曝光帧,对于红色色度曝光帧也是如此。因此,来自每个捕获的蓝色色度或红色色度曝光帧的数据用于两个所得的全彩图像。可以通过在蓝色色度和红色色度帧捕获期间执行帧重建1512过程来提供最小帧延迟。
图16为待由控制器和/或单色图像信号处理器(ISP)实现,以用于生成上面叠加有激光标测数据的RGB图像的视频流的处理流程1600的示意图。在处理流程1600中,在应用γ1626以将图像数据放置在标准的sRGB颜色空间中之前,在另选的颜色空间诸如YCbCr或HSL颜色空间中执行包括边缘增强1620和其他调整的附加的操作。在示例性处理流程1600中,RGB图像数据被转换为YCbCr以在亮度平面中应用边缘增强1620并且进行色度平面的过滤,然后将YCbCr图像转换回线性RGB颜色空间。
处理流程1600产生具有增加的动态范围的图像。图像信号处理器(ISP)链可被组装以用于从在G-R-G-B-激光标测光脉冲方案的存在下产生的原始传感器数据生成sRGB图像序列的目的。在过程流程1600中,第一阶段涉及进行校正以考虑传感器技术中的任何非理想因素,使该技术最适合在原始数据域中起作用。在下一阶段,缓冲多个帧(例如,绿色帧1612a、红色-蓝色帧1612b和激光标测帧1612c),因为每个最终帧从多个原始帧导出数据。在1614处的帧重建通过对来自当前帧和缓冲帧(参见1612a、1612b和/或1612c)的数据进行采样来继续。重建过程在线性RGB色彩空间中产生包括激光标测图像数据的全彩帧。
在一个实施方案中,处理流程1600应用于来自像素阵列的棋盘读数(参见图8至图14)。可以响应于R-G-B-G-激光标测或Y-Cb-Y-Cr-激光标测脉冲方案来感测棋盘读数。处理流程1600包括在1602处从图像传感器接收数据。在1604处执行传感器校正计算。这些传感器校正计算可用于确定1606处的统计值,诸如自动曝光设置和宽动态范围设置。处理流程1600继续并且在1608处处理宽动态范围融合。在1610处处理宽动态范围压缩。可以馈送来自1610的宽动态范围压缩以生成绿色帧1612a、红色-蓝色帧1612和/或激光标测帧1612c。处理流程1600继续并且在1614处处理帧重建,然后在1616处处理颜色校正。处理流程1600继续并且在1618处将RGB(红-绿-蓝)图像转换为YCbCr图像。在1620处处理边缘增强,然后在1622处将YCbCr图像转换回RGB图像。在1624处处理标量,并且在1626处处理γ。然后在1628处将视频导出。
在一个实施方案中,在暗帧减法之后执行1608处的宽动态范围融合,使得平均黑色偏移已被调整为零并且数据可以是带符号的。在一个实施方案中,希望去除固定图案噪声。宽动态范围融合1608过程的目的可以是在颜色融合之前将来自两个或更多个单独曝光帧的数据组合到单个图像帧中。这可以通过将棋盘图案的两个分量分成两个单独的缓冲区并且通过插值填充间隙来实现。可能只需要一个通用内核,因为除了图像边缘附近的像素之外,每个空像素都看到相同的局部环境。用于通过简单的线性插值填充棋盘图案的合适的卷积核为:
在插值之后,在每个像素位置可存在两个样本。可以将增益应用于短曝光样本,该增益可等于曝光-时间比率TL/TS。这需要为比率的每个因子二添加一个额外的位。该融合本身涉及得出两个样本的加权总和:
其中xS和xL可分别为(带符号的)短曝光信号和长曝光信号。γ因子可以为长曝光信号xL的函数,并且可以根据两个阈值τ1和τ2设置。低于xL=τ1,γ=0.0,高于γ=τ2,γ=1.0。在阈值之间,可以采用各种功能形式,并且可以绘制τ1和τ2之间的γ的线性和三次示例性行为。τ2的值可被设置为xL的最大可能值,例如,或仅低于该值的值。下限阈值τ1的目的可以是限制来自短样本的读取噪声的影响,该短样本具有应用于该短样本的增益因子TL/TS。可以将其设置为保守的高常数,以适于最大比率E,但使其随TL/TS线性变化可能更为有益;
提供脉冲照明内窥镜系统内的同一图像帧内的两个或更多个曝光帧也可以用于将每个最终全彩图像的所捕获的曝光帧的数量从三个减少为两个的目的。这抑制可能与内窥镜成像系统相关联的可能的颜色运动伪影。
单色宽动态范围阵列的固有特性可以是具有长集成时间的像素可以集成由短集成时间像素看到的光的超集。对于亮度曝光帧中的常规宽动态操作,这可能是期望的。对于色度曝光帧,这意味着可以结合曝光周期来控制脉冲,以便例如从长曝光开始提供λY+Cb并且在短像素可被接通时切换到δY+Cr(两种像素类型的电荷同时转移)。λ和δ可以为可以用于将所有脉冲能量带到正值的两个可调因子。
在ISP中的颜色校正1616期间,两种风格的像素可以被分成两个缓冲区。使用线性插值来填充空像素。此时,一个缓冲区将包含δY+Cr数据的完整图像并且另一个缓冲区包含δY+Cr+λY+Cb成像数据。将从第二缓冲区减去δY+Cr缓冲区得到λY+Cb。然后将针对每一者减去适当比例的来自亮度曝光帧的亮度数据。
图17为颜色融合硬件1700的示例。颜色融合硬件1700被部署为用于根据如本文所讨论的脉冲照明方案生成图像帧。颜色融合过程比具有颜色滤光器阵列的图像传感器所必需的去马赛克更简单,因为不存在空间插值。由颜色融合硬件1700执行的颜色融合过程不需要缓冲曝光帧来获得对每个像素可用的所有必要信息。
存储器写入器1702接收视频数据流。在一个实施方案中,视频数据流包括Y-Cb-Y-Cr-Y-Cb-Y-激光标测曝光帧。在另选的实施方案中,视频数据流包括R-G-B-G-激光标测曝光帧。视频数据流可包括与荧光曝光帧、超光谱曝光帧和/或激光标测或工具跟踪曝光帧中的一者或多者组合的YCbCr或RGB曝光帧。
存储器写入器1702将视频数据流写入存储器1704。视频数据流可以被解析成例如Cb+δΥ曝光帧、一个或多个亮度曝光帧、Cr+λΥ曝光帧、超光谱曝光帧、荧光曝光帧和/或激光标测曝光帧。另选地,视频数据流可以被解析成例如红色曝光帧、一个或多个绿色曝光帧、蓝色曝光帧、超光谱曝光帧、荧光曝光帧和/或激光标测曝光帧。不同的曝光帧由存储器读取器1706读取,并且在1708处生成并行RGB视频数据流。脉冲发生器和帧同步1710将信息发送到存储器写入器1704和存储器读取器1706,以帮助融合多个曝光帧。信息通过脉冲发生器和帧同步1710输出到光源。
图18示出了用于曝光帧的区域的黑色校正信号的两个对应的直方图。如前所述,可以使用直方图中的一个直方图,通过将分布的所选择的百分位数(PL)与目标信号电平(SL,例如数字动态范围的50%)进行比较来控制脉冲能量水平。这些类型1像素的曝光时间TL可以保持在最大值。此处的下标L表示长曝光。其他直方图可用于通过比较分布的另一个选择的分布百分位数PS(其中PS>PL)以及将其与不同的信号电平SS(其中SS>SL)进行比较来监测场景的动态范围。下标S表示短曝光。SS通常可以被调整到数字动态范围的顶部。如果PS≤SS,这些类型2像素的曝光时间TS也可以保持在最大值。如果PS>SS,则TS可降低至PS=SS。关于可以允许曝光时间比增加多少来确保由于动态范围增强导致的图像质量下降超过增强动态范围的好处,可存在预定义的限值(E)。PL、PS、SL、SS和E的值可根据不同应用不同地调整,并且作为工厂预设值存储。曝光时间TL和TS可针对每个曝光帧类型记录,以供宽动态范围融合过程通过颜色融合ISP阶段使用。在为白平衡的目的调制红色、绿色、蓝色、激光标测脉冲能量的情况下,红色帧和蓝色帧上的曝光时间可以由绿色帧控制,这些绿色帧可专门用于收集宽动态范围统计值。
在成像系统脉冲亮度和色度照明以生成YCbCr图像帧的具体实施中,相对脉冲能量可针对特定类型的曝光帧保持恒定。可以将宽动态范围控制应用于亮度帧作为具有还在色度帧上独立地应用宽动态范围的选项的基线。对于R-G-B-G方案,可以在原始黑色-校正帧数据上构建直方图。同样,可以记录每个帧类型的曝光时间以用于宽动态范围融合并且用于颜色融合。
图19A示出了Y-Cb-Y-Cr图案的数据的流水线化的一般情况,其中每两个原始捕获图像产生一个全彩图像。这通过使用每个色度样本两次来实现。在另外的实施方案中,用于Y-Cb-Y-Cr图案的数据还可以包括用于超光谱、荧光和/或激光标测成像的数据。
图19B为提供60Hz最终视频流的120Hz帧捕获率的示例。每个像素的线性Y、Cb和Cr分量可以如下进行计算:
Yi=2m-4+(xi,n-1-K)
其中xi,n为帧n中像素i的输入数据,m为ISP的流水线位宽度,并且K为输入处相对于颜色融合块的ISP黑色偏移水平(如果适用)。由于色度是带符号的,因此其中心通常在数字动态范围的50%处(2m-1)。
如果如前所述使用两次曝光来提供同一帧中的色度分量,那么两种风格的像素被分成两个缓冲区。然后使用例如线性插值来填充空像素。此时,一个缓冲区包含δY+Cr数据的完整图像,并且另一个缓冲区包含δY+Cr+λY+Cb数据的完整图像。从第二缓冲区中减去δY+Cr缓冲区得到λY+Cb。然后针对每一者减去来自Y帧的适当比例的亮度数据。
图20为图案重建过程的示意图。图20所示的示例性图案包括各自持续T1的持续时间的红色、绿色、蓝色和激光标测光脉冲。在各种实施方案中,光脉冲可具有相同的持续时间或不同的持续时间。将红色、绿色、蓝色和激光标测曝光帧组合以生成上面叠加有激光标测数据的RGB图像。包括红色曝光帧、绿色曝光帧、蓝色曝光帧和激光标测曝光帧的单个图像帧需要生成4*T1的时间段。图20所示的持续时间仅为示例性的,并且可针对不同的具体实施变化。在其它实施方案中,可采用不同的脉冲方案。例如,实施方案可以基于每个颜色分量或帧(T1)的定时,并且重建帧具有的周期是输入彩色帧的周期的两倍(2×T1)。序列内的不同帧可具有不同帧周期,并且平均捕获速率可为最终帧速率的任何倍数。
在一个实施方案中,通过改变图像传感器的像素阵列内的像素的像素灵敏度来增加系统的动态范围。一些像素可感测第一灵敏度水平的反射的电磁辐射,其他像素可感测第二灵敏度水平的反射的电磁辐射,等等。可组合不同的像素灵敏度以增大由图像传感器的像素配置提供的动态范围。在一个实施方案中,相邻像素以不同的灵敏度设置,使得每个循环包括由相对于彼此较敏感和较不敏感的像素产生的数据。当在像素阵列的单个周期中记录多个灵敏度时,动态范围增大。在一个实施方案中,宽动态范围可通过具有多个全局TX来实现,每个TX仅在不同的一组像素上击发。例如,在全局模式下,全局TX1信号正在击发像素组1,全局TX2信号正在激发像素组2,全局TXn信号正在激发像素组n,等等。
图21A至图21C各自示出了具有多个发射器的光源2100。发射器包括第一发射器2102、第二发射器2104和第三发射器2106。可包括附加的发射器,如下文进一步讨论。发射器2102、2104和2106可包括发射具有不同波长的光的一个或多个激光发生器。例如,第一发射器2102可发射与蓝色激光一致的波长,第二发射器2104可发射与绿色激光一致的波长,并且第三发射器2106可发射与红色激光一致的波长。例如,第一发射器2102可包括一个或多个蓝色激光器,第二发射器2104可包括一个或多个绿色激光器,并且第三发射器2106可包括一个或多个红色激光器。发射器2102、2104、2106朝收集区域2108发射激光束,该收集区域可以为波导、透镜或用于收集光以及/或者向波导(诸如图2的跳线波导206或内腔波导210)提供光的其他光学部件的位置。
在一个具体实施中,发射器2102、2104和2106发射超光谱波长的电磁辐射。某些超光谱波长可刺穿组织并且使执业医生能够“透视”前方的组织以识别位于前方的组织后面的化学过程、结构、化合物、生物过程,等等。可具体地选择超光谱波长以识别已知具有特定光谱响应的特定疾病、组织状况、生物过程、化学过程、组织的类型,等等。
在已向患者施用有助于识别某些组织、结构、化学反应、生物过程等的试剂或染料的具体实施中,发射器2102、2104和2106可发射用于使试剂或染料发荧光的波长。此类波长可基于施用给患者的试剂或染料来确定。在此类实施方案中,发射器可能需要是高度精确的,以便发射所需波长以使某些试剂或染料发荧光或活化。
在一个具体实施中,发射器2102、2104和2106发射用于标测场景的形貌以及/或者用于计算场景中对象的尺寸和它们之间的距离的激光标测图案。在一个实施方案中,内窥镜成像系统与多个工具诸如外科手术刀、牵开器、夹钳等结合使用。在此类实施方案中,发射器2102、2104和2106中的每个发射器可发射激光标测图案,使得激光标测图案单独地投影到每个工具上。在此类实施方案中,可分析每个工具的激光标测数据以识别工具与场景中其他对象之间的距离。
在图21B的实施方案中,发射器2102、2104、2106各自以不同的角度向收集区域2108递送激光。角度的变化可导致电磁能量在输出波导中的位置的变化。例如,如果光在收集区域2108处立即进入纤维束(玻璃或塑料)中,则变化的角度可导致不同量的光进入不同的纤维。例如,角度可导致跨收集区域2108的强度变化。此外,来自不同发射器的光可不会被均匀地混合,因此一些纤维可接收不同量的不同颜色的光。不同纤维中的光的颜色或强度的变化可导致场景的非最佳照明。例如,递送光或光强度的变化可在场景和所捕获图像处导致。
在一个实施方案中,居间光学元件可放置在纤维束和发射器2102、2104、2106之间,以在进入纤维或其他波导中之前混合不同颜色(波长)的光。示例性居间光学元件包括漫射器、混合棒、一个或多个镜片,或用于混合光使得给定纤维接收每种颜色(波长)的相同量的其它光学部件。例如,纤维束中的每根纤维可具有相同的颜色。该混合可导致每根纤维中的相同的颜色,但是,在一些实施方案中,仍可导致递送到不同纤维的不同的总亮度。在一个实施方案中,居间光学元件也可在收集区域上传播或均匀地传播光,使得每根纤维携带相同总量的光(例如,光可能在顶帽式轮廓中散开)。漫射器或混合棒可导致光损失。
尽管收集区域2108在图21A中表示为物理部件,但收集区域2108可以简单地作为递送来自发射器2102、2104和2106的光的区域。在一些情况下,收集区域2108可包括光学部件,诸如漫射器、混合棒、透镜,或处于发射器2102、2104、2106和输出波导之间的任何其他居间光学部件。
图21C示出了具有以相同或基本上相同的角度向收集区域2108提供光的发射器2102、2104、2106的光源2100的实施方案。光以基本上垂直于收集区域2108的角度提供。光源2100包括多个二向色镜,包括第一二向色镜2110、第二二向色镜2112和第三二向色镜2114。二向色镜2110、2112、2114包括反射第一波长的光但透射第二波长(或对其透明)的光的镜。例如,第三二向色镜2114可反射由第三发射器提供的蓝色激光,而对第一发射器2102和第二发射器2104各自提供的红光和绿光透明。第二二向色镜2112可对来自第一发射器2102的光透明,但对来自第二发射器2104的光是反射的。如果包括其它颜色或波长,则可选择二向色镜以反射对应于至少一个发射器的光并且对其它发射器透明。例如,第三二向色镜2114反射来自第三发射器2106的光,但对其“后面”的发射器诸如第一发射器2102和第二发射器2104透明。在其中存在数十或数百个发射器的实施方案中,每个二向色镜可反射对应发射器和其前面的发射器,同时对其后面的发射器透明。这可允许数十或数百个发射器以基本上相同的角度将电磁能量发射到收集区域2108。
因为这些二向色镜允许其他波长透射或穿过,这些波长中的每个波长可从相同的角度和/或以相同的中心点或焦点到达收集区域2108。从相同的角度和/或相同的焦点/中心点提供光可显著改善在收集区域2108处的接收和颜色混合。例如,特定纤维可以接收不同的颜色,这些颜色的比例与它们由发射器2102、2104、2106和镜2110、2112、2114透射/反射的比例相同。与图21B的实施方案相比,可在收集区域处显著改善光混合。在一个实施方案中,本文所讨论的任何光学部件可在收集区域2108处使用,以在向纤维或纤维束提供光之前收集光。
图21C示出了具有也以相同或大致相同的角度向收集区域2108提供光的发射器2102、2104、2106的光源2100的实施方案。例如,入射在收集区域2108上的光从垂直偏移。角度2116指示从垂直偏移的角度。在一个实施方案中,激光发射器2102、2104、2106可具有高斯横截面强度轮廓。如前所述,纤维之间的光能量的改善的分布可通过形成更平坦或顶帽形的强度轮廓来实现。在一个实施方案中,随着角度2116的增大,跨收集区域2108的强度接近顶帽式轮廓。例如,通过增大角度2116直到轮廓足够平坦,顶帽式轮廓甚至可近似为非平坦输出光束。顶帽式轮廓也可使用一个或多个透镜、漫射器、混合棒,或处于发射器2102、2104、2106和输出波导、纤维或光纤束之间的任何其他居间光学部件来实现。
图22为示出了在输出处经由漫射器2204输出的单根光纤2202的示意图。在一个实施方案中,光纤2202具有500微米的直径,0.65的数值孔径,并且在没有漫射器2204的情况下发射约70度或80度的光锥2206。在有漫射器2204的情况下,光锥2206可具有约110度或120度的角度。光锥2206可以为所有光到达并且均匀分布的地方的大部分。漫射器2204可允许由图像传感器观察到的场景的电磁能量的更均匀分布。
在一个实施方案中,内腔波导210包括约500微米的单个塑料或玻璃光纤。塑料纤维的成本较低,但通过耦合、漫射或其他损耗,其宽度可允许纤维将足够量的光传携带到场景。例如,较小的纤维可能不能携带与较大纤维一样多的光或功率。内腔波导210可包括单根或多根光纤。内腔波导210可直接从光源或者经由跳线波导接收光。漫射器可用于加宽光输出206以获得图像传感器214或其他光学部件的期望的视场。
虽然在图21A至图21C中示出了三个发射器,但是在一些实施方案中可使用数量从一个到数百个或更多个不等的发射器。发射器可具有它们发射的不同波长或光谱的光,并且这些光可用于连续覆盖电磁光谱的所需部分(例如,可见光谱以及红外光谱和紫外光谱)。发射器可被配置成能够发射可见光诸如红光、绿光和蓝光,并且可进一步被配置成能够发射电磁辐射的超光谱发射、用于使试剂发荧光的荧光激发波长和/或用于计算参数和场景中对象之间的距离的激光标测图案。
图23示出了被分成二十个不同子光谱的电磁光谱2300的一部分。子光谱的数量仅为示例性的。在至少一个实施方案中,光谱2300可被分成数百个子光谱,每个子光谱具有小波带。光谱可从红外光谱2302延伸,穿过可见光谱2304,并且进入紫外光谱2306。子光谱各自具有覆盖光谱2300的一部分的波带2308。每个波带可由上波长和下波长限定。
超光谱成像包括来自整个电磁光谱2300的成像信息。电磁辐射的超光谱脉冲可包括跨越电磁波谱2300的一个或多个部分或整个电磁波谱2300的多个子脉冲。电磁辐射的超光谱脉冲可包括电磁辐射的波长的单个分区。所得超光谱曝光帧包括在电磁辐射的超光谱脉冲之后由像素阵列感测的信息。因此,超光谱曝光帧可包括用于电磁频谱2300的任何合适分区的数据,并且可包括用于电磁频谱2300的多个分区的多个曝光帧。在一个实施方案中,超光谱曝光帧包括多个超光谱曝光帧,使得组合的超光谱曝光帧包括整个电磁光谱2300的数据。
在一个实施方案中,至少一个发射器(诸如激光发射器)包括在用于每个子光谱的光源(诸如光源202、2100)中以提供对整个光谱2300的完整且连续的覆盖。例如,用于提供对所示子光谱的覆盖的光源可包括至少20个不同的发射器,每个子光谱至少有一个发射器。在一个实施方案中,每个发射器覆盖40纳米的光谱。例如,一个发射器可发射500nm至540nm的波带内的光,而另一个发射器可发射540nm至580nm的波带内的光。在另一个实施方案中,发射器可覆盖其它尺寸的波带,这取决于可用发射器的类型或成像需要。例如,多个发射器可包括覆盖500nm至540nm的波带的第一发射器、覆盖540nm至640nm的波带的第二发射器,以及覆盖640nm至650nm的波带的第三发射器。每个发射器可覆盖范围从远红外、中红外、近红外、可见光、近紫外和/或远紫外的电磁光谱的不同片段。在一些情况下,可包括相同类型或波长的多个发射器以提供用于成像的足够输出功率。特定波带所需的发射器数量可取决于单色传感器对波带的灵敏度和/或该波带中发射器的功率输出能力。
可选择由发射器提供的波带宽度和覆盖率以提供光谱的任何所需组合。例如,使用非常小的波带宽度(例如,10nm或更小)的光谱的连续覆盖可允许高度选择性的超光谱和/或荧光成像。波带宽度可允许选择性地发射一种或多种特定荧光试剂的激发波长。另外,波带宽度可允许选择性地发射超光谱电磁辐射的某些分区,以用于识别特定结构、化学过程、组织、生物过程,等等。因为波长来自可选择性激活的发射器,所以可实现在检查期间对一种或多种特定荧光试剂发荧光的极大灵活性。另外,可实现通过超光谱成像来识别一个或多个对象或过程的极端灵活性。因此,更多的荧光和/或高光谱信息可在更少的时间内并且在单次检查内实现,这原本需要多次检查、由于染料的施用或污渍而延迟,等等。
图24为示出了用于生成图像的发射和读出的定时图2400的示意图。实线表示用于捕获一系列曝光帧2404至2414的读出(峰2402)和消隐周期(谷)。一系列曝光帧2404至2414可包括可用于生成可叠加在RGB视频流上的激光标测、超光谱和/或荧光数据的一系列重复的曝光帧。在一个实施方案中,单个图像帧包括来自多个曝光帧的信息,其中一个曝光帧包括红色图像数据,另一个曝光帧包括绿色图像数据,并且另一个曝光帧包括蓝色图像数据。另外,单个图像帧可包括超光谱图像数据、荧光图像数据和激光标测数据中的一者或多者。组合多个曝光帧以产生单个图像帧。单个图像帧是具有超光谱成像数据的RGB图像。该系列曝光帧包括第一曝光帧2404、第二曝光帧2406、第三曝光帧2408、第四曝光帧2410、第五曝光帧2412,以及第N曝光帧2426。
另外,可组合使用超光谱图像数据、荧光图像数据和激光标测数据来识别关键组织或结构,并且进一步测量那些关键组织或结构的尺寸。例如,可将超光谱图像数据提供给对应的系统以识别身体中的某些关键结构,诸如神经、输尿管、血管、癌组织,等等。关键结构的位置和标识可从对应的系统接收,并且还可用于使用激光标测数据生成关键结构的拓扑结构。例如,对应的系统基于超光谱成像数据确定癌性肿瘤的位置。由于癌性肿瘤的位置基于超光谱成像数据是已知的,因此可基于激光标测数据来计算癌性肿瘤的形貌和距离。当基于荧光成像数据识别癌性肿瘤或其他结构时,该示例也可适用。
在一个实施方案中,基于电磁能量的至少一个脉冲生成每个曝光帧。电磁能量脉冲被图像传感器反射并且检测,并且随后在后续读出(2402)中读出。因此,每个消隐周期和读出导致用于特定电磁能量光谱的曝光帧。例如,第一曝光帧2404可基于第一一个或多个脉冲2416的光谱生成,第二曝光帧2406可基于第二一个或多个脉冲2418的光谱生成,第三曝光帧2408可基于第三一个或多个脉冲2420的光谱生成,第四曝光帧2410可基于第四一个或多个脉冲2422的光谱生成,第五曝光帧2412可基于第五一个或多个脉冲2424的光谱生成,并且第N曝光帧2426可基于第N一个或多个脉冲2426的光谱生成。
脉冲2416至2426可包括来自单个发射器或来自两个或更多个发射器的组合的能量。例如,可选择包括在单个读出周期中或多个曝光帧2404至2414内的光谱以用于对特定组织或状况的所需检查或检测。根据一个实施方案,一个或多个脉冲可包括用于生成RGB或黑色图像的可见光谱的光,而一个或多个附加脉冲被发射为感测对超光谱波长的电磁辐射的光谱响应。例如,脉冲2416可包括红光,脉冲2418可包括蓝光,并且脉冲2420可包括绿光,而其余脉冲2422至2426可包括用于检测特定组织类型、使试剂发荧光和/或标测场景的形貌的波长和光谱。又如,单个读出周期的脉冲包括由可用于检测特定组织类型的多个不同发射器生成的光谱(例如,电磁光谱的不同片段)。例如,如果波长的组合导致像素具有超过或低于阈值的值,则该像素可被分类为对应于特定类型的组织。每一帧可用于进一步缩小存在于该像素(例如,以及图像中的每个像素)处的组织的类型,以基于组织的光谱响应和/或组织中是否存在荧光试剂来提供组织和/或组织的状态(患病/健康)的非常具体的分类。
多个帧2404至2414被示出为具有不同长度的读出周期以及具有不同长度或强度的脉冲。消隐周期、脉冲长度或强度等可基于单色传感器对特定波长的灵敏度、发射器的功率输出能力和/或波导的携带能力来选择。
在一个实施方案中,双图像传感器可用于获得三维图像或视频馈送。三维检查可允许对检查区域的三维结构的改善的理解以及对该区域内的不同组织或物质类型的标测。
在一个示例性具体实施中,向患者提供荧光试剂,并且荧光试剂被配置成粘附到癌细胞。已知荧光试剂在被电磁辐射的特定分区辐射时发荧光。荧光试剂的弛豫波长也是已知的。在示例性具体实施中,用如本文所述的内窥镜成像系统对患者进行成像。内窥镜成像系统脉冲红色、绿色和蓝色波长的光的分区,以生成患者身体内部的RGB视频流。另外,内窥镜成像系统对施用给患者的荧光试剂的激发波长的电磁辐射进行脉冲。在示例中,患者具有癌细胞,并且荧光试剂已粘附到癌细胞。当内窥镜成像系统使荧光试剂的激发波长脉冲时,荧光试剂将发荧光并且发出弛豫波长。如果癌细胞存在于由内窥镜成像系统成像的场景中,则荧光试剂也将存在于场景中,并且在发荧光后由于激发波长的发射而发出其弛豫波长。内窥镜成像系统感测荧光试剂的弛豫波长,从而感测场景中荧光试剂的存在。因为已知荧光试剂粘附到癌细胞,所以荧光试剂的存在进一步指示场景内癌细胞的存在。内窥镜成像系统从而识别场景内癌细胞的位置。内窥镜成像系统还可发射激光标测脉冲方案,用于生成场景的拓扑结构并且计算场景内的对象的尺寸。(如由荧光成像数据所识别的)癌细胞的位置可与基于激光标测数据计算的拓扑结构和尺寸信息组合。因此,可识别癌细胞的精确位置、大小、尺寸和拓扑结构。可将该信息提供给执业医生以帮助切除癌细胞。另外,可将该信息提供给机器人外科系统,以使外科系统能够切除癌细胞。
在另一个示例性具体实施中,用内窥镜成像系统对患者进行成像,以识别关于患者组织病变的定量诊断信息。在该示例中,疑似或已知患者患有一种可利用超光谱成像跟踪以观察疾病在患者组织中的进程的疾病。内窥镜成像系统脉冲红色、绿色和蓝色波长的光的分区,以生成患者身体内部的RGB视频流。另外,内窥镜成像系统使一个或多个超光谱波长的光脉冲,从而允许系统“透视”一些组织并且生成受疾病影响的组织的成像。内窥镜成像系统感测反射的超光谱电磁辐射以生成患病组织的超光谱成像数据,从而识别患病组织在患者体内的位置。内窥镜成像系统还可发射激光标测脉冲方案,用于生成场景的拓扑结构并且计算场景内对象的尺寸。(如由超光谱成像数据所识别的)患病组织的位置可与用激光标测数据计算的拓扑结构和尺寸信息组合。因此,可识别患病组织的精确位置、大小、尺寸和拓扑结构。可将该信息提供给执业医生以帮助切除、成像或研究患病组织。另外,可将该信息提供给机器人外科系统,以使外科系统能够切除患病组织。
图25为具有单个截止滤光器的成像系统2500的示意图。系统2500包括内窥镜2506或具有用于缺光环境的光源2508的其他合适的成像装置。内窥镜2506包括图像传感器2504和滤光器2502,该滤光器用于在到达图像传感器2504之前滤除不需要的波长的光或其他电磁辐射。光源2508传输可在缺光环境诸如体腔中照明表面2512的光。光2510从表面2512反射并且在击中图像传感器2504之前穿过滤光器2502。
滤光器2502可用于已施用荧光试剂或染料的具体实施中。在此类实施方案中,光源2508发射激发波长以用于使荧光试剂或染料发荧光。通常,由荧光试剂或染料发射的弛豫波长将具有与激发波长不同的波长。滤光器2502可被选择为滤除激发波长并且仅允许弛豫波长穿过滤光器并且由图像传感器2504感测。
在一个实施方案中,滤光器2502被配置成能够滤除电磁辐射的引起试剂或染料发荧光的激发波长,使得仅允许发荧光的试剂或染料的预期弛豫波长穿过滤光器2502并且到达图像传感器2504。在一个实施方案中,滤光器2502滤除至少介于770nm和790nm之间的荧光试剂激发波长。在一个实施方案中,滤光器2502滤除至少介于795nm和815nm之间的荧光试剂激发波长。在一个实施方案中,滤光器2502滤除至少介于770nm和790nm之间以及介于795nm和815nm之间的荧光试剂激发波长。在这些实施方案中,滤光器2502滤除试剂的激发波长,并且允许由图像传感器2504读取荧光试剂的仅弛豫波长。图像传感器2504可以是波长不定图像传感器,并且滤光器2502可被配置成能够允许图像传感器2504仅接收荧光试剂的弛豫波长而不接收试剂的发射激发波长。然后由图像传感器2504确定的数据可指示由试剂或染料的位置确定的关键身体结构、组织、生物过程或化学过程的存在。
滤光器2502还可用于尚未施用荧光试剂或染料的具体实施中。可选择滤光器2502以允许对应于所需光谱响应的波长穿过图像传感器2504并且由该图像传感器读取。图像传感器2504可以为单色图像传感器,使得可将所捕获图像的超过阈值或低于阈值的像素表征为对应于某些光谱响应或荧光发射。由图像传感器2504捕获的像素确定的光谱响应或荧光发射可指示某些身体组织或结构、某些病症、某些化学过程等的存在。
图26为具有多个截止滤光器的成像系统2600的示意图。系统2600包括内窥镜2606或具有用于缺光环境的光源2608的其他合适的成像装置。内窥镜2606包括图像传感器2604和两个滤光器2602a、2602b。应当理解,在另选的实施方案中,系统2600可包括任何数量的滤光器,并且可针对某些目的选择滤光器的数量和滤光器的类型,例如,用于采集特定身体组织、身体病症、化学过程等的成像信息。滤光器2602a、2602b被配置用于防止图像传感器2604感测到不需要的波长的光或其他电磁辐射。滤光器2602a、2602b可被配置成能够从可由光源2608发射的白光或其他电磁辐射中滤除不需要的波长。
相对于图25进一步描述本发明,滤光器2602a、2602b可用于已施用荧光试剂或染料的具体实施中。滤光器2602a、2602b可被配置用于阻挡试剂或染料的发射激发波长,并且允许图像传感器2604仅读取试剂或染料的弛豫波长。此外,滤光器2602a、2602b可用于尚未施用荧光试剂或染料的具体实施中。在此类具体实施中,可选择滤光器2602a、2602b以允许对应于期望光谱响应的波长穿过图像传感器2604并且由该图像传感器读取。
多个滤光器2602a、2602b可各自被配置用于滤除电磁光谱的不同范围的波长。例如,一个滤光器可被配置用于滤除长于所需波长范围的波长,并且附加滤光器可被配置用于滤除短于所需波长范围的波长。两个或更多个滤光器的组合可导致仅某些波长或波长带由图像传感器2604读取。
在一个实施方案中,滤光器2602a、2602b被定制为使得介于513nm和545nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于565nm和585nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于900nm和1000nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于425nm和475nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于520nm和545nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于625nm和645nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于760nm和795nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于795nm和815nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于370nm和420nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被定制为使得介于600nm和670nm之间的电磁辐射接触图像传感器2604。在一个实施方案中,滤光器2602a、2602b被配置用于允许仅某些荧光弛豫发射穿过滤光器2602a、2602b并且接触图像传感器2604。在一个实施方案中,第一滤光器阻挡具有约770nm至约790nm的波长的电磁辐射,并且第二滤光器阻挡具有约795nm至约815nm的波长的电磁辐射。
在一个实施方案中,系统2600包括多个图像传感器2604,并且可具体地包括用于生成三维图像的两个图像传感器。图像传感器2604可以是颜色/波长不定的,并且被配置用于读取从表面2612反射的任何波长的电磁辐射。在一个实施方案中,图像传感器2604各自是颜色相关的或波长相关的,并且被配置用于读取从表面2612反射并且返回到图像传感器2604的特定波长的电磁辐射。另选地,图像传感器2604可包括具有多个不同像素传感器的单个图像传感器,所述多个不同像素传感器被配置用于读取不同波长或颜色的光,诸如拜耳滤光器颜色滤光器阵列。另选地,图像传感器2604可包括一个或多个颜色不定图像传感器,这些图像传感器可被配置用于根据脉冲调度(诸如图5至图7E中所示的那些)读取不同波长的电磁辐射。
图27是示出用于通过激光标测成像在缺光环境中标测表面并且/或者跟踪对象的系统2700的示意图。在一个实施方案中,内窥镜2706在缺光环境中脉冲网格阵列2706(可称为激光标测图图案)到表面2704上。在如图27中所示的一个实施方案中,网格阵列2706包括竖直散列2708和水平散列2710。应当理解,网格阵列2706可包括用于标测表面2704的任何合适的阵列,包括例如离散点的光栅网格、占用网格标测图、点阵列等。另外,内窥镜2706可脉冲多个网格阵列2706,并且可例如在缺光环境内在多个对象或结构中的每个上脉冲一个或多个单独的网格阵列。
在一个实施方案中,系统2700脉冲网格阵列2706,该网格阵列可用于在缺光环境中标测表面的三维拓扑和/或跟踪对象诸如工具或另一装置的位置。在一个实施方案中,系统2700向第三方系统或计算机算法提供数据,以用于通过光检测和测距(LIDAR)标测的方式来确定表面尺寸和配置。系统2700可脉冲网格阵列2706中的任何合适波长的光或电磁辐射,包括例如紫外光、可见光和/或红外光或近红外光。可以非常高的分辨率并且以非常高的准确度和精度标测和跟踪环境内的表面2704和/或对象。
在一个实施方案中,系统2700包括成像装置,该成像装置具有管、一个或多个图像传感器和透镜组件,该透镜组件具有对应于该一个或多个图像传感器的光学元件。系统2700可包括光引擎,该光引擎具有发射器和内腔,该发射器生成一个或多个电磁辐射脉冲,该内腔将该一个或多个电磁辐射脉冲传输到缺光环境诸如体腔内的内窥镜的远侧末端。在一个实施方案中,该一个或多个电磁辐射脉冲的至少一部分包括发射到缺光环境内的表面(诸如,体腔内的身体组织的表面和/或工具或其它装置的表面)上的激光标测图图案。内窥镜2706可包括用于标测和/或跟踪缺光环境内的表面、尺寸和配置的二维、三维或n维相机。
在一个实施方案中,系统2700包括处理器,该处理器用于确定内窥镜或工具与对象诸如表面2704的距离。处理器还可确定内窥镜或工具与对象之间的角度。处理器还可确定关于对象的表面积信息,包括例如外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。系统2700可包括一个或多个图像传感器,该一个或多个图像传感器提供输出到控制系统的图像数据,以用于确定内窥镜或工具与对象诸如表面2704的距离。图像传感器可将信息输出到控制系统以用于确定内窥镜或工具与对象之间的角度。另外,图像传感器可将信息输出到控制系统,以用于确定关于对象的表面积信息、外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。
在一个实施方案中,网格阵列2706由内窥镜2706的发射器以足够的速度脉冲,使得网格阵列2706对于用户不可见。在各种具体实施中,在内窥镜成像规程和/或内窥镜外科手术期间看到网格阵列2706可能使用户分心。可以足够短的周期脉冲网格阵列2706,使得网格阵列2706不能被人眼检测到。在另选的实施方案中,内窥镜2706以足够的复现频率脉冲网格阵列2706,使得网格阵列2706可由用户查看。在此类实施方案中,网格阵列2706可叠加在显示器上的表面2704的图像上。网格阵列2706可叠加在表面2704的黑白或RGB图像上,使得网格阵列2706在系统2700的使用期间可对用户可见。系统2700的用户可指示网格阵列2706是否应叠加在表面2704的图像上和/或网格阵列2706是否应对用户可见。系统2700可包括显示器,该显示器提供从内窥镜2706到缺光环境内的表面2704或另一个对象的距离的实时测量。显示器还可提供关于缺光环境内的表面2704和/或任何对象、结构或工具的实时表面积信息。测量的准确度可精确到小于一毫米。
在一个实施方案中,系统2700脉冲多个网格阵列2706。在一个实施方案中,多个网格阵列2706中的每个网格阵列对应于存在于缺光环境内的工具或其他装置。可通过脉冲和感测多个网格阵列2706来跟踪工具和其他装置中的每一者的精确位置和参数。可评估通过感测反射的网格阵列2706生成的信息以识别缺光环境内的工具和其他装置的相对位置。
内窥镜2706可根据脉冲调度(诸如本文所示的那些)脉冲电磁辐射,例如,这还可包括脉冲网格阵列2706并且脉冲用于生成RGB图像并还生成可叠加在RGB图像上并且/或者用于标测并跟踪缺光环境内的表面2704和对象的网格阵列2706的红光、绿光和蓝光。网格阵列2706可另外地结合电磁辐射的超光谱或荧光激发波长进行脉冲。可组合来自RGB成像、激光标测成像、超光谱成像和荧光成像中的每一者的数据,以识别体内关键结构的位置、尺寸和表面拓扑。
在一个实施方案中,内窥镜2706包括一个或多个颜色不定图像传感器。在一个实施方案中,内窥镜2706包括用于生成缺光环境的三维图像或标测图的两个颜色不定图像传感器。图像传感器可根据如本文所公开的脉冲调度生成缺光环境的RGB图像。另外,图像传感器可基于在脉冲网格阵列2706时确定的数据来确定用于标测缺光环境并跟踪缺光环境内的一个或多个对象的数据。另外,图像传感器可根据脉冲调度来确定光谱或超光谱数据以及荧光成像数据,该脉冲调度可由用户修改以适应成像规程的特定需要。在一个实施方案中,脉冲调度包括红色、绿色和蓝色脉冲以及网格阵列2706的脉冲和/或用于生成超光谱图像数据和/或荧光图像数据的脉冲。在各种具体实施中,脉冲调度可包括根据用户需要的电磁辐射脉冲的任何合适的组合。不同波长的电磁辐射的复现频率可基于例如某些脉冲的能量、用户的需要、某些数据(例如,超光谱数据和/或荧光成像数据)需要连续更新还是可更新较不频繁等来确定。
根据用户或用于某些成像规程的计算机实现的程序的需要,脉冲调度可以任何合适的方式修改,并且某些电磁辐射脉冲可以任何合适的频率重复。例如,在将基于网格阵列2706生成的表面跟踪数据提供给计算机实现的程序以用于例如机器人外科手术的实施方案中,网格阵列2706可比在将表面跟踪数据提供给在成像规程期间可视化场景的用户的情况下更频繁地脉冲。在表面跟踪数据用于机器人外科手术的此类实施方案中,表面跟踪数据可能需要更频繁地更新或者可能需要极为准确,使得计算机实现的程序可精密而准确地执行机器人外科手术。
在一个实施方案中,系统2700被配置成能够生成占用网格标测图,该占用网格标测图包括被划分为网格的单元阵列。系统2700被配置成能够存储相应网格单元中的每个的高度值以确定缺光环境中的三维环境的表面标测。
图28A和图28B分别示出根据本公开的教导内容和原理的单片传感器2800的具体实施的透视图和侧视图,该单片传感器具有多个像素阵列用于产生三维图像。此类具体实施可能是三维图像捕获所期望的,其中在使用期间两个像素阵列2802和2804可被偏移。在另一个具体实施中,第一像素阵列2802和第二像素阵列2804可专用于接收预先确定的波长范围的电磁辐射,其中该第一像素阵列专用于与该第二像素阵列不同波长范围的电磁辐射。
图29A和图29B分别示出了构建在多个基板上的成像传感器2900的具体实施的透视图和侧视图。如图所示,形成该像素阵列的多个像素列2904位于第一基板2902上并且多个电路列2908位于第二基板2906上。图中还示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信。在一个具体实施中,图像传感器可具有与全部或大部分支撑电路分开的像素阵列,而其可能以其它方式被制造成它的像素阵列和支撑电路处于单个、单片基板/芯片上。本公开可使用至少两个基板/芯片,这些基板/芯片将使用三维堆叠技术被堆叠在一起。2902基板/芯片中的第一2902可使用图像CMOS工艺加工。第一基板/芯片2902可仅仅由像素阵列构成,或可由被有限电路系统围绕的像素阵列构成。第二或后续基板/芯片2906可使用任何工艺加工,而不是必须来自图像CMOS工艺。第二基板/芯片2906可以是但不限于,为了将各种和多个功能集成到基板/芯片上非常有限空间或面积中的高密度数字工艺、或为了集成例如精确模拟功能的混合模式或模拟工艺、或为了实现无线能力的RF工艺、或为了集成MEMS器件的MEMS(微电子机械系统)。图像CMOS基板/芯片2902可使用任何三维技术与第二或后续基板/芯片2906堆叠。第二基板/芯片2906可支撑将可能另外在第一图像CMOS芯片2902中实现(如果在单片基板/芯片上实现)为外围电路的电路的绝大部分或大部分,并且因此当保持像素阵列大小恒定并尽最大可能优化时增加了整个系统面积。两个基板/芯片之间的电连接可通过互联器完成,这些互联器可以为接合引线、凸耳和/或TSV(硅通孔)。
图30A和图30B分别示出了具有多个像素阵列用于产生三维图像的成像传感器3000的具体实施的透视图和侧视图。三维图像传感器可被构建在多个基板上并且可包括多个像素阵列和其它相关联的电路,其中形成第一像素阵列的多个素列3004a和形成第二像素阵列的多个像素列3004b分别位于相应的基板3002a和3002b上,并且多个电路列3008a和3008b位于单独的基板3006上。还示出了像素列与相关联的或对应的电路列之间的电连接和通信。
多个像素阵列可同时感测信息,并且来自多个像素阵列的信息可被组合以生成三维图像。在一个实施方案中,内窥镜成像系统包括可被部署以生成三维成像的两个或更多个像素阵列。内窥镜成像系统可包括用于在像素阵列的消隐周期期间发射电磁辐射脉冲的发射器。像素阵列可被同步,使得针对两个或更多个像素阵列,同时读取光学黑色像素(即,发生消隐周期)。发射器可发射电磁辐射脉冲以用于对两个或更多个像素阵列中的每个像素阵列充电。两个或更多个像素阵列可同时读取其相应的带电像素,使得两个或更多个像素阵列的读出周期同时或大致同时发生。在一个实施方案中,内窥镜成像系统包括多个发射器,其中每个发射器单独地与多个像素阵列中的一个或多个像素阵列同步。来自多个像素阵列的信息可被组合以生成三维图像帧和视频流。
应当理解,本公开的教导内容和原理可用于可重复使用的装置平台、有限使用的装置平台、可重新设置使用的装置平台或单次使用/一次性的装置平台,而不脱离本公开的范围。应当理解,在可重复使用的装置平台中,最终使用人负责该装置的清洁和消毒。在有限使用的装置平台中,在变得不能操作之前,装置可被使用一些规定量的次数。典型的新装置在交付前已经过无菌处理,如果要用作其它用途,应在其它使用之前由最终用户进行清洗和消毒。在可重新设置使用的装置平台中,第三方可重新处理装置(例如,清洁、包装和消毒)单次使用的装置,以比新单元更低的成本用于另外使用。在单次使用/一次性的装置平台中,提供无菌装置至手术室并且在被处置掉之前只能使用一次。
实施例
以下实施例涉及另外的实施方案的优选特征:
实施例1为一种系统。本发明公开了一种系统,所述系统包括用于发射电磁辐射脉冲的发射器和包括用于感测反射的电磁辐射的像素阵列的图像传感器。所述系统包括与所述图像传感器和所述发射器电子通信的控制器,所述控制器被配置成能够同步所述发射器和所述图像传感器的定时以生成多个曝光帧。所述系统使得由所述发射器发射的所述电磁辐射脉冲的至少一部分包括激光标测图案。
实施例2为根据实施例1所述的系统,其中,所述像素阵列包括多个像素,并且其中所述多个像素中的每个像素的灵敏度能够被调整为使得所述像素阵列包括长曝光像素和短曝光像素。
实施例3为根据实施例1至2中任一项所述的系统,其中,所述多个曝光帧中的至少一部分包括亮度曝光帧、红色色度曝光帧和蓝色色度曝光帧,并且其中:所述亮度曝光帧包括长曝光像素数据和短曝光像素数据;并且所述红色色度曝光帧包括长曝光像素数据和短曝光像素数据;并且所述蓝色色度曝光帧包括长曝光像素数据和短曝光像素数据。
实施例4为根据实施例1至3中任一项所述的系统,其中,所述发射器根据颜色变换系数调制所述电磁辐射脉冲以提供亮度信息,所述颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、蓝色色度和红色色度光能空间。
实施例5为根据实施例1至4中任一项所述的系统,其中,所述发射器根据颜色变换系数调制所述电磁辐射脉冲以提供色度信息,所述颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、蓝色色度和红色色度光能空间。
实施例6为根据实施例1至5中任一项所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、蓝色色度脉冲、红色色度脉冲和激光标测脉冲的脉冲图案进行发射。
实施例7为根据实施例1至6中任一项所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、组合的蓝色色度和红色色度脉冲以及激光标测脉冲的脉冲图案进行发射。
实施例8为根据实施例1至7中任一项所述的系统,其中,所述控制器被配置成能够生成包括来自多个曝光帧的数据的图像帧,其中单个图像帧包括来自亮度曝光帧、色度曝光帧和激光标测曝光帧的数据,其中所述激光标测曝光帧响应于所述激光标测图案的发射而由所述像素阵列感测。
实施例9为根据实施例1至8中任一项所述的系统,其中,所述图像传感器被配置成能够生成多个曝光帧,其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲。
实施例10为根据实施例1至9中任一项所述的系统,其中,所述图像传感器的所述像素阵列在所述像素阵列的读出周期期间感测反射的电磁辐射以生成所述多个曝光帧,其中所述读出周期是当所述像素阵列中的有源像素被读出时的持续时间。
实施例11为根据实施例1至10中任一项所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、红色色度脉冲、蓝色色度脉冲和激光标测脉冲的脉冲图案进行发射,其中所述亮度脉冲在所述脉冲图案中表示的频率是所述红色色度脉冲、所述蓝色色度脉冲或所述激光标测脉冲的至少两倍。
实施例12为根据实施例1至11中任一项所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分为用于测量场景的尺寸、距离或拓扑的激光标测脉冲,其中所述激光标测脉冲包括所述激光标测图案并且包括网格阵列或点阵列。
实施例13为根据实施例1至12中任一项所述的系统,其中,所述发射器被配置成能够在脉冲持续时间期间发射具有短于所述脉冲持续时间的子持续时间的多个电磁辐射子脉冲。
实施例14为根据实施例1至13中任一项所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲以两个或多个波长同时发射的电磁辐射。
实施例15为根据实施例1至14中任一项所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分为导致由所述图像传感器产生的荧光曝光帧的荧光激发发射,并且其中所述控制器被配置成能够向对应的荧光系统提供所述荧光曝光帧,所述对应的荧光系统基于所述荧光曝光帧确定场景内关键组织结构的位置。
实施例16为根据实施例1至15中任一项所述的系统,其中,所述荧光激发发射包括:具有约770nm至约790nm的波长的电磁辐射;或者具有约795nm至约815nm的波长的所述电磁辐射。
实施例17为根据实施例1至16中任一项所述的系统,其中,所述控制器被进一步配置成能够:从所述对应的荧光系统接收所述关键组织结构的所述位置;生成包括所述关键组织结构的所述位置的重叠帧;以及将所述重叠帧与描绘所述场景的彩色图像帧组合,以指示所述场景内所述关键组织结构的所述位置。
实施例18为根据实施例1至17中任一项所述的系统,其中,由所述像素阵列感测反射的电磁辐射包括:通过感测由所述发射器脉冲所述激光标测图案产生的反射的电磁辐射来生成激光标测曝光帧,并且其中所述控制器被进一步配置成能够:将所述激光标测曝光帧提供给对应的激光标测系统,所述对应的激光标测系统确定所述场景的拓扑和/或所述场景内的一个或多个对象的尺寸;将所述关键组织结构的所述位置提供给所述对应的激光标测系统;并且从所述对应的激光标测系统接收所述关键组织结构的拓扑和/或尺寸。
实施例19为根据实施例1至18中任一项所述的系统,其中,所述关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。
实施例20为根据实施例1至19中任一项所述的系统,其中,所述控制器被配置成能够在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时,其中所述消隐周期对应于所述像素阵列中的最后一行有源像素的读出与所述像素阵列中的有源像素的下一个后续读出开始之间的时间。
实施例21为根据实施例1至20中任一项所述的系统,其中,由所述发射器发射的两个或更多个电磁辐射脉冲导致反射的电磁辐射的两个或更多个实例,反射的电磁辐射的两个或更多个实例由所述像素阵列感测以生成两个或更多个曝光帧,所述两个或更多个曝光帧被组合以形成图像帧。
实施例22为根据实施例1至21中任一项所述的系统,其中,所述图像传感器包括第一图像传感器和第二图像传感器,使得所述图像传感器能够生成三维图像。
实施例23为根据实施例1至22中任一项所述的系统,其中,所述发射器被配置成能够重复发射足以生成包括多个图像帧的视频流的电磁辐射的脉冲序列,其中所述视频流中的每个图像帧包括来自多个曝光帧的数据,并且其中所述曝光帧中的每个曝光帧对应于电磁辐射脉冲。
实施例24为根据实施例1至23中任一项所述的系统,其中,所述电磁辐射脉冲以不同波长的电磁辐射的图案发射,并且其中所述发射器重复不同波长的电磁辐射的所述图案。
实施例25为根据实施例1至24中任一项所述的系统,其中,所述电磁辐射脉冲的至少一部分包括亮度发射、红色色度发射、蓝色色度发射和激光标测发射,使得由所述像素阵列感测的对应于所述亮度发射、所述红色色度发射、所述蓝色色度发射和所述激光标测发射中的每一者的反射的电磁辐射能够被处理以生成包括激光标测数据的叠加的YCbCr图像帧。
实施例26为根据实施例1至25中任一项所述的系统,其中,由所述像素阵列感测反射的电磁辐射包括:通过感测由所述发射器脉冲所述激光标测图案产生的反射的电磁辐射来生成激光标测曝光帧,其中所述激光标测曝光帧包括用于确定实时测量的信息,所述信息包括以下中的一者或多者:从内窥镜到对象的距离;内窥镜和所述对象之间的角度;或者关于所述对象的表面拓扑信息。
实施例27为根据实施例1至26中任一项所述的系统,其中,所述激光标测曝光帧包括用于以小于10厘米的精度确定所述实时测量的信息。
实施例28为根据实施例1至27中任一项所述的系统,其中,所述激光标测曝光帧包括用于以小于一毫米的精度确定所述实时测量的信息。
实施例29为根据实施例1至28中任一项所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分包括用于场景内的多个工具中的每个工具的多个特定于工具的激光标测图案。
实施例30为根据实施例1至29中任一项所述的系统,其中,由所述发射器发射的所述激光标测图案包括彼此独立的第一输出和第二输出,其中所述第一输出用于光照明,并且所述第二输出用于工具跟踪。
应当理解,本文所公开的各种特征在本领域中提供了显著优势和进步。下列权利要求为那些特征中的一些的示例。
在上述本公开具体实施方式中,出于简化本公开的目的,将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图:受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反,创新方面未能体现上文公开的单个实施例的所有特征。
应当理解,上述布置方式、实施例和实施方案的任何特征可在包括从任何所公开的布置方式、实施例和实施方案中获得的特征的组合的单个实施方案中组合。
应当理解,上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下,本领域的技术人员可以设计许多修改和另选设置,并且所附权利要求书旨在涵盖这些修改和设置。
因此,当本公开以图示显示并且以特殊性和细节进行上述描述时,对于本领域的普通技术人员而言,在不脱离本文所述原则和理念的前提下,显而易见可进行大量修改,这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。
另外,在适当的情况下,本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如,可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解,部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。
为了举例说明和描述的目的,已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外,应当指出的是,任何或所有前述另选的具体实施可以任何期望的组合使用,以形成本公开的另外的混合的具体实施。
另外,虽然已描述和说明了本公开的特定具体实施,但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。
Claims (30)
1.一种系统,包括:
发射器,所述发射器用于发射电磁辐射脉冲;
图像传感器,所述图像传感器包括用于感测反射的电磁辐射的像素阵列;以及
控制器,所述控制器与所述图像传感器和所述发射器电子通信,所述控制器被配置成能够同步所述发射器和所述图像传感器的定时以生成多个曝光帧;
其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括激光标测图案。
2.根据权利要求1所述的系统,其中,所述像素阵列包括多个像素,并且其中所述多个像素中的每个像素的灵敏度能够被调整为使得所述像素阵列包括长曝光像素和短曝光像素。
3.根据权利要求1所述的系统,其中,所述多个曝光帧中的至少一部分包括亮度曝光帧、红色色度曝光帧和蓝色色度曝光帧,并且其中:
所述亮度曝光帧包括长曝光像素数据和短曝光像素数据;并且
所述红色色度曝光帧包括长曝光像素数据和短曝光像素数据;并且
所述蓝色色度曝光帧包括长曝光像素数据和短曝光像素数据。
4.根据权利要求1所述的系统,其中,所述发射器根据颜色变换系数调制所述电磁辐射脉冲以提供亮度信息,所述颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、蓝色色度和红色色度光能空间。
5.根据权利要求1所述的系统,其中,所述发射器根据颜色变换系数调制所述电磁辐射脉冲以提供色度信息,所述颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、蓝色色度和红色色度光能空间。
6.根据权利要求1所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、蓝色色度脉冲、红色色度脉冲和激光标测脉冲的脉冲图案进行发射。
7.根据权利要求1所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、组合的蓝色色度和红色色度脉冲以及激光标测脉冲的脉冲图案进行发射。
8.根据权利要求1所述的系统,其中,所述控制器被配置成能够生成包括来自多个曝光帧的数据的图像帧,其中单个图像帧包括来自亮度曝光帧、色度曝光帧和激光标测曝光帧的数据,其中所述激光标测曝光帧响应于所述激光标测图案的发射而由所述像素阵列感测。
9.根据权利要求1所述的系统,其中,所述图像传感器被配置成能够生成多个曝光帧,其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲。
10.根据权利要求9所述的系统,其中,所述图像传感器的所述像素阵列在所述像素阵列的读出周期期间感测反射的电磁辐射以生成所述多个曝光帧,其中所述读出周期是当读取所述像素阵列中的有源像素时的持续时间。
11.根据权利要求1所述的系统,其中,所述电磁辐射脉冲根据包括亮度脉冲、红色色度脉冲、蓝色色度脉冲和激光标测脉冲的脉冲图案进行发射,其中所述亮度脉冲在所述脉冲图案中表示的频率是所述红色色度脉冲、所述蓝色色度脉冲或所述激光标测脉冲的至少两倍。
12.根据权利要求1所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分为用于测量场景的尺寸、距离或拓扑的激光标测脉冲,其中所述激光标测脉冲包括所述激光标测图案并且包括网格阵列或点阵列。
13.根据权利要求1所述的系统,其中,所述发射器被配置成能够在脉冲持续时间期间发射多个电磁辐射子脉冲,所述多个电磁辐射子脉冲具有短于所述脉冲持续时间的子持续时间。
14.根据权利要求1所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲中的一个或多个脉冲包括作为单个脉冲或单个子脉冲同时以两个或更多个波长发射的电磁辐射。
15.根据权利要求1所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分为导致由所述图像传感器产生的荧光曝光帧的荧光激发发射,并且其中所述控制器被配置成能够将所述荧光曝光帧提供给对应的荧光系统,所述对应的荧光系统基于所述荧光曝光帧确定场景内关键组织结构的位置。
16.根据权利要求15所述的系统,其中,所述荧光激发发射包括以下中的一者或多者:
具有约770nm至约790nm的波长的电磁辐射;或者
具有约795nm至约815nm的波长的所述电磁辐射。
17.根据权利要求16所述的系统,其中,所述控制器被进一步配置成能够:
从所述对应的荧光系统接收所述关键组织结构的所述位置;
生成包括所述关键组织结构的所述位置的重叠帧;以及
将所述重叠帧与描绘所述场景的彩色图像帧组合,以指示所述场景内所述关键组织结构的所述位置。
18.根据权利要求17所述的系统,其中,由所述像素阵列感测反射的电磁辐射包括:通过感测由所述发射器脉冲所述激光标测图案产生的反射的电磁辐射来生成激光标测曝光帧,并且其中所述控制器进一步被配置成能够:
将所述激光标测曝光帧提供给对应的激光标测系统,所述对应的激光标测系统确定所述场景的拓扑以及/或者所述场景内的一个或多个对象的尺寸;
将所述关键组织结构的所述位置提供给所述对应的激光标测系统;以及
从所述对应的激光标测系统接收所述关键组织结构的拓扑和/或尺寸。
19.根据权利要求18所述的系统,其中,所述关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。
20.根据权利要求1所述的系统,其中,所述控制器被配置成能够在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时,其中所述消隐周期对应于所述像素阵列中的最后一行有源像素的读出与所述像素阵列中的有源像素的下一个后续读出开始之间的时间。
21.根据权利要求1所述的系统,其中,由所述发射器发射的两个或更多个电磁辐射脉冲导致反射的电磁辐射的两个或更多个实例,所述两个或更多个实例由所述像素阵列感测以生成两个或更多个曝光帧,所述两个或更多个曝光帧被组合以形成图像帧。
22.根据权利要求1所述的系统,其中,所述图像传感器包括第一图像传感器和第二图像传感器,使得所述图像传感器能够生成三维图像。
23.根据权利要求1所述的系统,其中,所述发射器被配置成能够重复发射足以生成包括多个图像帧的视频流的电磁辐射的脉冲序列,其中所述视频流中的每个图像帧包括来自多个曝光帧的数据,并且其中所述曝光帧中的每个曝光帧对应于电磁辐射脉冲。
24.根据权利要求1所述的系统,其中,所述电磁辐射脉冲以不同波长的电磁辐射的图案发射,并且其中所述发射器重复不同波长的电磁辐射的所述图案。
25.根据权利要求1所述的系统,其中,所述电磁辐射脉冲的至少一部分包括亮度发射、红色色度发射、蓝色色度发射和激光标测发射,使得由所述像素阵列感测的对应于所述亮度发射、所述红色色度发射、所述蓝色色度发射和所述激光标测发射中的每一者的反射的电磁辐射能够被处理以生成包括激光标测数据的叠加的YCbCr图像帧。
26.根据权利要求1所述的系统,其中,由所述像素阵列感测反射的电磁辐射包括:通过感测由所述发射器脉冲所述激光标测图案产生的反射的电磁辐射来生成激光标测曝光帧,其中所述激光标测曝光帧包括用于确定实时测量的信息,所述信息包括以下中的一者或多者:
从内窥镜到对象的距离;
内窥镜和所述对象之间的角度;或者
关于所述对象的表面拓扑信息。
27.根据权利要求26所述的系统,其中,所述激光标测曝光帧包括用于以小于10厘米的精度确定所述实时测量的信息。
28.根据权利要求26所述的系统,其中,所述激光标测曝光帧包括用于以小于一毫米的精度确定所述实时测量的信息。
29.根据权利要求1所述的系统,其中,由所述发射器发射的所述电磁辐射脉冲的至少一部分包括用于场景内的多个工具中的每个工具的多个特定于工具的激光标测图案。
30.根据权利要求1所述的系统,其中,由所述发射器发射的所述激光标测图案包括彼此独立的第一输出和第二输出,其中所述第一输出用于光照明,并且所述第二输出用于工具跟踪。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962864231P | 2019-06-20 | 2019-06-20 | |
US62/864,231 | 2019-06-20 | ||
US16/775,128 US11252326B2 (en) | 2019-06-20 | 2020-01-28 | Pulsed illumination in a laser mapping imaging system |
US16/775,128 | 2020-01-28 | ||
PCT/US2020/037066 WO2020257030A1 (en) | 2019-06-20 | 2020-06-10 | Pulsed illumination in a laser mapping imaging system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114007482A true CN114007482A (zh) | 2022-02-01 |
Family
ID=74037917
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080045303.9A Pending CN114007480A (zh) | 2019-06-20 | 2020-06-10 | 超光谱、荧光和激光标测成像系统中的脉冲照明 |
CN202080045324.0A Pending CN114007483A (zh) | 2019-06-20 | 2020-06-10 | 荧光成像系统中的脉冲照明 |
CN202080044877.4A Pending CN114007482A (zh) | 2019-06-20 | 2020-06-10 | 激光标测成像系统中的脉冲照明 |
CN202080044909.0A Pending CN114008419A (zh) | 2019-06-20 | 2020-06-10 | 超光谱成像系统中的脉冲照明 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080045303.9A Pending CN114007480A (zh) | 2019-06-20 | 2020-06-10 | 超光谱、荧光和激光标测成像系统中的脉冲照明 |
CN202080045324.0A Pending CN114007483A (zh) | 2019-06-20 | 2020-06-10 | 荧光成像系统中的脉冲照明 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080044909.0A Pending CN114008419A (zh) | 2019-06-20 | 2020-06-10 | 超光谱成像系统中的脉冲照明 |
Country Status (4)
Country | Link |
---|---|
US (8) | US20200400499A1 (zh) |
EP (4) | EP3986229A4 (zh) |
CN (4) | CN114007480A (zh) |
WO (6) | WO2020257028A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109640868B (zh) * | 2016-09-09 | 2022-12-23 | 直观外科手术操作公司 | 同时带有白光和高光谱光的成像系统 |
US20200400499A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Pulsed illumination in a hyperspectral imaging system |
US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
US11276148B2 (en) * | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
US11288772B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11280737B2 (en) * | 2019-06-20 | 2022-03-22 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
JP2021132695A (ja) * | 2020-02-21 | 2021-09-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、医療用観察システムおよび画像処理方法 |
DE102021130790B4 (de) | 2021-11-24 | 2023-10-12 | Karl Storz Se & Co. Kg | Medizinische Bildgebungsvorrichtung sowie Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung |
US11620764B1 (en) * | 2022-08-31 | 2023-04-04 | Illuscio, Inc. | Systems and methods for generating point-accurate three-dimensional models with point-accurate color information from a non-cosited capture |
WO2024074498A1 (en) | 2022-10-04 | 2024-04-11 | Imcheck Therapeutics | Combination of a btn3a activating antibody, a bcl2 inhibitor and hypomethylating agent for use in treating cancer |
Family Cites Families (182)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3844047A (en) | 1973-01-29 | 1974-10-29 | R Carson | Electronic micrometers employing digital processing techniques |
JPS5940830A (ja) | 1982-08-31 | 1984-03-06 | 浜松ホトニクス株式会社 | レ−ザ光パルスを用いた癌の診断装置 |
JPS60237419A (ja) | 1984-05-09 | 1985-11-26 | Olympus Optical Co Ltd | 内視鏡用測長光学アダプタ |
US5318024A (en) | 1985-03-22 | 1994-06-07 | Massachusetts Institute Of Technology | Laser endoscope for spectroscopic imaging |
JP3217343B2 (ja) | 1989-03-23 | 2001-10-09 | オリンパス光学工業株式会社 | 画像処理装置 |
JPH04158205A (ja) | 1990-10-23 | 1992-06-01 | Toshiba Corp | 形状計測内視鏡装置 |
US5784162A (en) | 1993-08-18 | 1998-07-21 | Applied Spectral Imaging Ltd. | Spectral bio-imaging methods for biological research, medical diagnostics and therapy |
US5363387A (en) | 1992-11-18 | 1994-11-08 | Rare Earth Medical, Inc. | Variable pulsewidth lasers |
US5749830A (en) | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
DE19612536A1 (de) | 1996-03-29 | 1997-10-02 | Freitag Lutz Dr | Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung |
US7179222B2 (en) | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
US7468075B2 (en) | 2001-05-25 | 2008-12-23 | Conformis, Inc. | Methods and compositions for articular repair |
NL1005068C2 (nl) | 1997-01-23 | 1998-07-27 | Ct Rrn Academisch Ziekenhuis U | Cathetersysteem en een daarvan deel uitmakende catheter. |
JP2002500907A (ja) | 1998-01-26 | 2002-01-15 | マサチユセツツ・インスチチユート・オブ・テクノロジイ | 蛍光画像化用内視鏡 |
US6110106A (en) | 1998-06-24 | 2000-08-29 | Biomax Technologies, Inc. | Endoscopes and methods relating to direct viewing of a target tissue |
US6468265B1 (en) | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
NZ513117A (en) | 1999-01-26 | 2004-04-30 | Newton Lab Inc | Autofluorescence imaging system for endoscopy |
US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
US6563105B2 (en) | 1999-06-08 | 2003-05-13 | University Of Washington | Image acquisition with depth enhancement |
JP3850192B2 (ja) | 1999-12-09 | 2006-11-29 | 株式会社ニデック | 眼底撮影装置 |
US20020138008A1 (en) | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
US6766184B2 (en) | 2000-03-28 | 2004-07-20 | Board Of Regents, The University Of Texas System | Methods and apparatus for diagnostic multispectral digital imaging |
WO2001082786A2 (en) | 2000-05-03 | 2001-11-08 | Flock Stephen T | Optical imaging of subsurface anatomical structures and biomolecules |
US6748259B1 (en) | 2000-06-15 | 2004-06-08 | Spectros Corporation | Optical imaging of induced signals in vivo under ambient light conditions |
US6975898B2 (en) | 2000-06-19 | 2005-12-13 | University Of Washington | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system |
JP2002065582A (ja) * | 2000-08-25 | 2002-03-05 | Asahi Optical Co Ltd | 電子内視鏡装置 |
US6835426B2 (en) | 2001-01-19 | 2004-12-28 | Potomac Photonics, Inc. | Method and apparatus for pulse-position synchronization in miniature structures manufacturing processes |
JP2002253500A (ja) | 2001-03-05 | 2002-09-10 | Olympus Optical Co Ltd | 内視鏡用光源装置 |
JP2002315721A (ja) | 2001-04-20 | 2002-10-29 | Mitaka Koki Co Ltd | 癌組織摘出手術用の立体視システム |
US7172553B2 (en) | 2001-05-16 | 2007-02-06 | Olympus Corporation | Endoscope system using normal light and fluorescence |
CA2453423C (fr) | 2001-07-12 | 2014-10-14 | Vision Iq | Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images |
AU2002324775A1 (en) | 2001-08-23 | 2003-03-10 | Sciperio, Inc. | Architecture tool and methods of use |
US6995841B2 (en) | 2001-08-28 | 2006-02-07 | Rice University | Pulsed-multiline excitation for color-blind fluorescence detection |
JP3880351B2 (ja) | 2001-09-21 | 2007-02-14 | フジノン株式会社 | 遮光板を駆動する電子内視鏡装置 |
US6985622B2 (en) | 2001-09-21 | 2006-01-10 | Hewlett-Packard Development Company, L.P. | System and method for color correcting electronically captured images by determining input media types using color correlation matrix |
US7049597B2 (en) * | 2001-12-21 | 2006-05-23 | Andrew Bodkin | Multi-mode optical imager |
EP1482831A1 (en) | 2002-02-12 | 2004-12-08 | Science & Engineering Associates Inc. | Cancer detection and adaptive dose optimization treatment system |
US20040116800A1 (en) | 2002-02-19 | 2004-06-17 | Helfer Jeffrey L. | Magnetic resonance imaging capable catheter assembly |
US8620410B2 (en) | 2002-03-12 | 2013-12-31 | Beth Israel Deaconess Medical Center | Multi-channel medical imaging system |
US6825930B2 (en) | 2002-06-04 | 2004-11-30 | Cambridge Research And Instrumentation, Inc. | Multispectral imaging system |
GB0217570D0 (en) | 2002-07-30 | 2002-09-11 | Univ Birmingham | Method and apparatus for quantifying material or object properties |
US7448995B2 (en) | 2003-06-23 | 2008-11-11 | Microvision, Inc. | Scanning endoscope |
EP1689290A2 (en) | 2003-10-21 | 2006-08-16 | The Board of Trustees of The Leland Stanford Junior University | Systems and methods for intraoperative targeting |
US20050205758A1 (en) | 2004-03-19 | 2005-09-22 | Almeida Leo A | Method and apparatus for multi-spectral photodetection |
FR2868550B1 (fr) | 2004-04-02 | 2006-09-29 | Tokendo Soc Par Actions Simpli | Dispositif de metrologie par pointage laser pour sonde videoendoscopique |
JP2006023382A (ja) * | 2004-07-06 | 2006-01-26 | Olympus Corp | 光走査型観察装置 |
US8480566B2 (en) | 2004-09-24 | 2013-07-09 | Vivid Medical, Inc. | Solid state illumination for endoscopy |
US7532375B2 (en) | 2004-09-24 | 2009-05-12 | Hoya Corporation | Tuning-fork-type scanning apparatus with a counterweight |
JP5028008B2 (ja) | 2004-12-08 | 2012-09-19 | オリンパス株式会社 | 蛍光内視鏡装置 |
US8872906B2 (en) | 2005-01-05 | 2014-10-28 | Avantis Medical Systems, Inc. | Endoscope assembly with a polarizing filter |
US7400415B2 (en) | 2005-03-15 | 2008-07-15 | Mitutoyo Corporation | Operator interface apparatus and method for displacement transducer with selectable detector area |
JP2006308624A (ja) | 2005-04-26 | 2006-11-09 | Matsushita Electric Ind Co Ltd | 現像装置 |
WO2006127967A2 (en) | 2005-05-25 | 2006-11-30 | Massachusetts Institute Of Technology | Multifocal scanning microscopy systems and methods |
US20070086495A1 (en) | 2005-08-12 | 2007-04-19 | Sprague Randall B | Method and apparatus for stable laser drive |
JP5114024B2 (ja) | 2005-08-31 | 2013-01-09 | オリンパス株式会社 | 光イメージング装置 |
JP4744288B2 (ja) | 2005-12-21 | 2011-08-10 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
US20090303317A1 (en) | 2006-02-07 | 2009-12-10 | Novadaq Technologies Inc. | Near infrared imaging |
US7817256B2 (en) | 2006-02-22 | 2010-10-19 | Kyushu Institute Of Technology | Personal authentication method and personal authentication device utilizing finger-tip blood flow measurement by laser light |
US7990524B2 (en) | 2006-06-30 | 2011-08-02 | The University Of Chicago | Stochastic scanning apparatus using multiphoton multifocal source |
US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
US20080090220A1 (en) | 2006-08-28 | 2008-04-17 | Vincent Freeman | Modular virtual learning system and method |
DE102006046925A1 (de) | 2006-09-28 | 2008-04-03 | Jenlab Gmbh | Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung |
US20100049180A1 (en) | 2007-10-19 | 2010-02-25 | Lockheed Martin Corporation | System and method for conditioning animal tissue using laser light |
US20080174783A1 (en) | 2006-12-15 | 2008-07-24 | Mater Michael J | System and method of interferometric imaging using a digital micromirror device |
NZ579126A (en) | 2007-01-19 | 2012-09-28 | Sunnybrook Health Sciences Ct | Image probe comprising an elongated hollow shaft, a drive mechanism, a controller and display means |
US20080177140A1 (en) | 2007-01-23 | 2008-07-24 | Xillix Technologies Corp. | Cameras for fluorescence and reflectance imaging |
US20080226029A1 (en) | 2007-03-12 | 2008-09-18 | Weir Michael P | Medical device including scanned beam unit for imaging and therapy |
US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
JP2008259595A (ja) | 2007-04-10 | 2008-10-30 | Hamamatsu Photonics Kk | 蛍光観察装置 |
US7830527B2 (en) | 2007-04-13 | 2010-11-09 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Multiple frequency optical mixer and demultiplexer and apparatus for remote sensing |
CN101909509B (zh) | 2007-11-12 | 2013-03-27 | 康奈尔大学 | 多路径、多放大率、非共焦荧光发射内窥镜装置和方法 |
DK2239583T3 (da) | 2008-01-21 | 2021-01-18 | Nexus Dx Inc | Tyndfilmslagdelt centrifugeindretning og analysefremgangsmåde til anvendelse deraf |
JP5165400B2 (ja) | 2008-01-23 | 2013-03-21 | オリンパス株式会社 | 光源装置 |
DE102008018718B4 (de) | 2008-04-14 | 2010-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung |
US20090289200A1 (en) | 2008-05-22 | 2009-11-26 | Fujifilm Corporation | Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit |
EP2241244A1 (en) | 2008-06-04 | 2010-10-20 | Fujifilm Corporation | Illumination device for use in endoscope |
WO2010019515A2 (en) | 2008-08-10 | 2010-02-18 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
US20120273470A1 (en) | 2011-02-24 | 2012-11-01 | Zediker Mark S | Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits |
US8654328B2 (en) | 2008-11-04 | 2014-02-18 | William Marsh Rice University | Image mapping spectrometers |
CN102292980B (zh) | 2008-11-25 | 2015-04-01 | 泰特拉维公司 | 高分辨率三维成像的系统和方法 |
GB0821873D0 (en) | 2008-12-01 | 2009-01-07 | Univ St Andrews | Apparatus and method for obtaining an image of a fluorescent pattern under ambient light |
JP2010125284A (ja) | 2008-12-01 | 2010-06-10 | Fujifilm Corp | 撮像システム |
JP5342869B2 (ja) | 2008-12-22 | 2013-11-13 | Hoya株式会社 | 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法 |
JP5874116B2 (ja) | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US8986302B2 (en) | 2009-10-09 | 2015-03-24 | Ethicon Endo-Surgery, Inc. | Surgical generator for ultrasonic and electrosurgical devices |
CA2683206C (en) | 2009-10-17 | 2018-07-03 | Hermary Opto Electronics Inc. | Enhanced imaging method and apparatus |
CN102711650B (zh) | 2010-01-13 | 2015-04-01 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
US9044142B2 (en) | 2010-03-12 | 2015-06-02 | Carl Zeiss Meditec Ag | Surgical optical systems for detecting brain tumors |
US8687055B2 (en) | 2010-03-16 | 2014-04-01 | Eli Margalith | Spectral imaging of moving objects with a stare down camera |
JP2011206227A (ja) | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 内視鏡装置 |
WO2011133941A2 (en) | 2010-04-22 | 2011-10-27 | Precise Light Surgical, Inc. | Flash vaporization surgical systems |
US9946058B2 (en) | 2010-06-11 | 2018-04-17 | Nikon Corporation | Microscope apparatus and observation method |
JP2012016545A (ja) | 2010-07-09 | 2012-01-26 | Fujifilm Corp | 内視鏡装置 |
US9043129B2 (en) | 2010-10-05 | 2015-05-26 | Deere & Company | Method for governing a speed of an autonomous vehicle |
WO2012065163A2 (en) | 2010-11-12 | 2012-05-18 | Emory University | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
JP5526000B2 (ja) | 2010-11-15 | 2014-06-18 | 富士フイルム株式会社 | 内視鏡及び内視鏡用光源装置 |
EP2643659B1 (en) | 2010-11-19 | 2019-12-25 | Apple Inc. | Depth mapping using time-coded illumination |
JP5351924B2 (ja) | 2011-04-01 | 2013-11-27 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
DE112012002055T5 (de) * | 2011-05-12 | 2014-02-06 | Lumen Dynamics Group Inc. | Lichtquelle, LED-Impulssteuerung und Verfahren zur programmierbaren Impulssteurung und Synchronisierung von Leuchtvorrichtungen |
WO2013009970A1 (en) | 2011-07-13 | 2013-01-17 | Viking Systems, Inc | Method and apparatus for obtaining stereoscopic 3d visualization using commercially available 2d endoscopes |
EP2760359B1 (en) | 2011-09-29 | 2018-05-16 | Biolase, Inc. | Devices for treating eye conditions |
WO2013101669A2 (en) | 2011-12-27 | 2013-07-04 | Parasher Vinod | METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES |
US11510600B2 (en) * | 2012-01-04 | 2022-11-29 | The Trustees Of Dartmouth College | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance |
JP5918548B2 (ja) | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
WO2013116316A1 (en) * | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
JP2013158445A (ja) | 2012-02-03 | 2013-08-19 | Hoya Corp | 走査型プローブ、走査型観察システム、一体型内視鏡、及び一体型内視鏡システム |
EP2832845A1 (en) * | 2012-03-30 | 2015-02-04 | Kanagawa Academy Of Science And Technology | Imaging cell sorter |
CN103717118B (zh) | 2012-03-30 | 2017-03-29 | 奥林巴斯株式会社 | 内窥镜装置 |
JP2015523102A (ja) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム |
JP5965726B2 (ja) | 2012-05-24 | 2016-08-10 | オリンパス株式会社 | 立体視内視鏡装置 |
US10953241B2 (en) | 2012-05-25 | 2021-03-23 | Ojai Retinal Technology, Llc | Process for providing protective therapy for biological tissues or fluids |
WO2014014838A2 (en) | 2012-07-15 | 2014-01-23 | 2R1Y | Interactive illumination for gesture and/or object recognition |
WO2014018951A1 (en) | 2012-07-26 | 2014-01-30 | Olive Medical Corporation | Ycbcr pulsed illumination scheme in a light deficient environment |
AU2013295553B2 (en) | 2012-07-26 | 2017-10-19 | DePuy Synthes Products, Inc. | Continuous video in a light deficient environment |
CA2878513A1 (en) | 2012-07-26 | 2014-01-30 | Olive Medical Corporation | Wide dynamic range using monochromatic sensor |
AU2013295565B2 (en) | 2012-07-26 | 2017-06-22 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic CMOS image sensor |
EP2904420A4 (en) | 2012-10-05 | 2016-05-25 | Transrobotics Inc | SYSTEMS AND METHODS FOR HIGH RESOLUTION DISTANCE DETECTION AND APPLICATIONS |
US10178368B2 (en) | 2012-10-23 | 2019-01-08 | Intuitive Surgical Operations, Inc. | Stereo imaging system with automatic disparity adjustment for displaying close range objects |
US9353617B2 (en) | 2012-11-06 | 2016-05-31 | Unico, Inc. | Apparatus and method of referencing a sucker rod pump |
JP5857227B2 (ja) | 2012-11-09 | 2016-02-10 | パナソニックIpマネジメント株式会社 | 画像処理装置および内視鏡 |
US10517483B2 (en) | 2012-12-05 | 2019-12-31 | Accuvein, Inc. | System for detecting fluorescence and projecting a representative image |
WO2014134314A1 (en) | 2013-03-01 | 2014-09-04 | The Johns Hopkins University | Light sources, medical devices, and methods of illuminating an object of interest |
US9456752B2 (en) | 2013-03-14 | 2016-10-04 | Aperture Diagnostics Ltd. | Full-field three-dimensional surface measurement |
US9619883B2 (en) | 2013-03-15 | 2017-04-11 | Hypermed Imaging, Inc. | Systems and methods for evaluating hyperspectral imaging data using a two layer media model of human tissue |
FR3003949B1 (fr) | 2013-03-26 | 2015-05-01 | Univ Aix Marseille | Dispositif et methode de detection raman stimulee. |
WO2014171284A1 (ja) | 2013-04-19 | 2014-10-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
US9407838B2 (en) | 2013-04-23 | 2016-08-02 | Cedars-Sinai Medical Center | Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores |
US10165972B2 (en) | 2013-07-12 | 2019-01-01 | Inthesmart Co., Ltd. | Apparatus and method for detecting NIR fluorescence at sentinel lymph node |
JP5891208B2 (ja) | 2013-08-13 | 2016-03-22 | Hoya株式会社 | 内視鏡用照明光学系 |
WO2015077493A1 (en) | 2013-11-20 | 2015-05-28 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
EP3137007A4 (en) | 2014-04-28 | 2017-09-27 | Cardiofocus, Inc. | System and method for visualizing tissue with an icg dye composition during ablation procedures |
DK3940371T3 (da) | 2014-06-05 | 2023-11-27 | Univ Heidelberg | Fremgangsmåde og billeddannelsesapparat til optagelse af fluorescens- og reflektansbilleder |
JP6253527B2 (ja) | 2014-06-24 | 2017-12-27 | オリンパス株式会社 | 内視鏡装置 |
EP3143941B1 (en) | 2014-06-25 | 2021-12-01 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
US9547165B2 (en) | 2014-08-29 | 2017-01-17 | Reinroth Gmbh | Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths |
US10473916B2 (en) | 2014-09-30 | 2019-11-12 | Washington University | Multiple-view compressed-sensing ultrafast photography (MV-CUP) |
US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US20160157725A1 (en) | 2014-12-08 | 2016-06-09 | Luis Daniel Munoz | Device, system and methods for assessing tissue structures, pathology, and healing |
US20170185716A1 (en) * | 2014-12-23 | 2017-06-29 | Rafael A. Rodriguez | Head mounted display used to electronically document patient information and chart patient care |
US10698110B2 (en) | 2015-03-05 | 2020-06-30 | Teledyne Digital Imaging, Inc. | Laser scanning apparatus and method |
DE102015003019A1 (de) | 2015-03-06 | 2016-09-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung |
US10043282B2 (en) | 2015-04-13 | 2018-08-07 | Gerard Dirk Smits | Machine vision for ego-motion, segmenting, and classifying objects |
US20170059305A1 (en) | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
US11002531B2 (en) * | 2015-04-20 | 2021-05-11 | Samsung Electronics Co., Ltd. | CMOS image sensor for RGB imaging and depth measurement with laser sheet scan |
JP2016202726A (ja) | 2015-04-27 | 2016-12-08 | ソニー株式会社 | 光線力学診断装置及び光線力学診断方法 |
JP6484336B2 (ja) | 2015-06-17 | 2019-03-13 | オリンパス株式会社 | 撮像装置 |
US10677924B2 (en) * | 2015-06-23 | 2020-06-09 | Mezmeriz, Inc. | Portable panoramic laser mapping and/or projection system |
CN106331442B (zh) * | 2015-07-02 | 2021-01-15 | 松下知识产权经营株式会社 | 摄像装置 |
US10987129B2 (en) | 2015-09-04 | 2021-04-27 | Medos International Sarl | Multi-shield spinal access system |
US10488644B2 (en) | 2015-09-17 | 2019-11-26 | S.D. Sight Diagnostics Ltd. | Methods and apparatus for detecting an entity in a bodily sample |
US9939231B2 (en) | 2016-01-20 | 2018-04-10 | Raytheon Company | Dual-band semi-active laser system |
WO2017127929A1 (en) | 2016-01-26 | 2017-08-03 | Novadaq Technologies Inc. | Configurable platform |
US20190056498A1 (en) | 2016-03-01 | 2019-02-21 | Brightway Vision Ltd. | Gated imaging apparatus, system and method |
US10996170B2 (en) | 2016-03-14 | 2021-05-04 | Massachusetts Institute Of Technology | Device and method for imaging shortwave infrared fluorescence |
US10708478B2 (en) | 2016-03-23 | 2020-07-07 | Karl Storz Imaging, Inc. | Image transformation and display for fluorescent and visible imaging |
US20170280970A1 (en) | 2016-03-31 | 2017-10-05 | Covidien Lp | Thoracic endoscope for surface scanning |
US10690904B2 (en) | 2016-04-12 | 2020-06-23 | Stryker Corporation | Multiple imaging modality light source |
WO2017199531A1 (ja) | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 撮像装置及び内視鏡 |
WO2017201093A1 (en) | 2016-05-17 | 2017-11-23 | Hypermed Imaging, Inc. | Hyperspectral imager coupled with indicator molecule tracking |
US10838190B2 (en) | 2016-06-21 | 2020-11-17 | Sri International | Hyperspectral imaging methods and apparatuses |
JPWO2017221336A1 (ja) | 2016-06-21 | 2019-04-11 | オリンパス株式会社 | 内視鏡システム、画像処理装置、画像処理方法およびプログラム |
US10035199B2 (en) | 2016-06-30 | 2018-07-31 | Iscar, Ltd. | Cutting tool and triangular-shaped indexable cutting insert therefor |
CN109788902A (zh) * | 2016-07-06 | 2019-05-21 | 开米美景公司 | 用于检测水肿的系统和方法 |
US10709333B2 (en) | 2016-07-25 | 2020-07-14 | PhotoSound Technologies, Inc. | Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use |
CN109640868B (zh) * | 2016-09-09 | 2022-12-23 | 直观外科手术操作公司 | 同时带有白光和高光谱光的成像系统 |
JP6364050B2 (ja) | 2016-09-13 | 2018-07-25 | パナソニック株式会社 | 内視鏡システム |
US10386489B2 (en) | 2017-02-01 | 2019-08-20 | Jeffrey Albelo | Beam scanner for autonomous vehicles |
US11140305B2 (en) | 2017-02-10 | 2021-10-05 | Stryker European Operations Limited | Open-field handheld fluorescence imaging systems and methods |
MX2019011750A (es) | 2017-03-31 | 2020-01-23 | Hipsley Annmarie | Sistemas y metodos para cirugia laser ocular y tratamientos terapeuticos. |
US11153499B2 (en) | 2017-07-19 | 2021-10-19 | Perkinelmer Health Sciences, Inc. | Rapid, high dynamic range image acquisition with a charge-coupled device (CCD) camera |
JP6984215B2 (ja) | 2017-08-02 | 2021-12-17 | ソニーグループ株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
US10222474B1 (en) | 2017-12-13 | 2019-03-05 | Soraa Laser Diode, Inc. | Lidar systems including a gallium and nitrogen containing laser light source |
JPWO2019123831A1 (ja) | 2017-12-22 | 2020-10-22 | ソニーセミコンダクタソリューションズ株式会社 | パルス生成器および信号生成装置 |
JP6956805B2 (ja) | 2017-12-22 | 2021-11-02 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの制御方法 |
JP2021508547A (ja) | 2017-12-27 | 2021-03-11 | エシコン エルエルシーEthicon LLC | 光不足環境における蛍光撮像 |
JP6891304B2 (ja) | 2018-02-09 | 2021-06-18 | 富士フイルム株式会社 | 内視鏡システム |
CN108378825A (zh) * | 2018-03-23 | 2018-08-10 | 张栋 | 一种黑白单相机实现的医用四色多光谱成像方法和装置 |
WO2019195731A1 (en) | 2018-04-05 | 2019-10-10 | Trustees Of Boston University | Systems and methods for measuring water and lipid content in tissue samples |
US10792034B2 (en) | 2018-07-16 | 2020-10-06 | Ethicon Llc | Visualization of surgical devices |
US20200400499A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Pulsed illumination in a hyperspectral imaging system |
AU2021210962A1 (en) | 2020-01-22 | 2022-08-04 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
-
2020
- 2020-01-28 US US16/775,106 patent/US20200400499A1/en active Pending
- 2020-01-28 US US16/775,143 patent/US11240426B2/en active Active
- 2020-01-28 US US16/775,108 patent/US11516388B2/en active Active
- 2020-01-28 US US16/775,134 patent/US11102400B2/en active Active
- 2020-01-28 US US16/775,128 patent/US11252326B2/en active Active
- 2020-01-28 US US16/775,115 patent/US11686847B2/en active Active
- 2020-06-10 CN CN202080045303.9A patent/CN114007480A/zh active Pending
- 2020-06-10 WO PCT/US2020/037064 patent/WO2020257028A1/en active Application Filing
- 2020-06-10 CN CN202080045324.0A patent/CN114007483A/zh active Pending
- 2020-06-10 CN CN202080044877.4A patent/CN114007482A/zh active Pending
- 2020-06-10 CN CN202080044909.0A patent/CN114008419A/zh active Pending
- 2020-06-10 WO PCT/US2020/037067 patent/WO2020257031A1/en active Application Filing
- 2020-06-10 EP EP20827453.0A patent/EP3986229A4/en active Pending
- 2020-06-10 WO PCT/US2020/037066 patent/WO2020257030A1/en unknown
- 2020-06-10 WO PCT/US2020/037068 patent/WO2020257032A1/en active Application Filing
- 2020-06-10 EP EP20827452.2A patent/EP3986237A4/en active Pending
- 2020-06-10 WO PCT/US2020/037065 patent/WO2020257029A1/en active Application Filing
- 2020-06-10 EP EP20825635.4A patent/EP3986234A4/en active Pending
- 2020-06-10 EP EP20825982.0A patent/EP3987259A4/en active Pending
- 2020-06-10 WO PCT/US2020/037062 patent/WO2020257027A1/en unknown
-
2021
- 2021-12-16 US US17/553,573 patent/US11747479B2/en active Active
-
2023
- 2023-09-05 US US18/461,442 patent/US20230417917A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11102400B2 (en) | 2021-08-24 |
US11747479B2 (en) | 2023-09-05 |
EP3986234A1 (en) | 2022-04-27 |
WO2020257030A1 (en) | 2020-12-24 |
US11686847B2 (en) | 2023-06-27 |
EP3986234A4 (en) | 2023-07-12 |
CN114007483A (zh) | 2022-02-01 |
US11252326B2 (en) | 2022-02-15 |
EP3986229A1 (en) | 2022-04-27 |
CN114008419A (zh) | 2022-02-01 |
WO2020257032A1 (en) | 2020-12-24 |
US20200400828A1 (en) | 2020-12-24 |
WO2020257029A1 (en) | 2020-12-24 |
US20200404171A1 (en) | 2020-12-24 |
US20200400499A1 (en) | 2020-12-24 |
US20230417917A1 (en) | 2023-12-28 |
WO2020257031A1 (en) | 2020-12-24 |
EP3986229A4 (en) | 2023-07-05 |
EP3986237A4 (en) | 2023-05-31 |
EP3987259A1 (en) | 2022-04-27 |
US20200400500A1 (en) | 2020-12-24 |
CN114007480A (zh) | 2022-02-01 |
US20200400501A1 (en) | 2020-12-24 |
US11516388B2 (en) | 2022-11-29 |
EP3986237A1 (en) | 2022-04-27 |
WO2020257028A1 (en) | 2020-12-24 |
EP3987259A4 (en) | 2023-07-12 |
WO2020257027A1 (en) | 2020-12-24 |
US11240426B2 (en) | 2022-02-01 |
US20200397242A1 (en) | 2020-12-24 |
US20220109790A1 (en) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11252326B2 (en) | Pulsed illumination in a laser mapping imaging system | |
CN111526775A (zh) | 在缺光环境中用工具追踪的超光谱成像 | |
US11398011B2 (en) | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system | |
CN114128243A (zh) | 在缺光环境中利用拓扑激光扫描进行超光谱和荧光成像 | |
US12025559B2 (en) | Minimizing image sensor input/output in a pulsed laser mapping imaging system | |
US11624830B2 (en) | Wide dynamic range using a monochrome image sensor for laser mapping imaging | |
US11533417B2 (en) | Laser scanning and tool tracking imaging in a light deficient environment | |
CN114245868A (zh) | 使用用于超光谱和荧光成像和形貌激光标测的单色图像传感器的宽动态范围 | |
CN114175609A (zh) | 缺光环境中的超光谱成像 | |
US11924535B2 (en) | Controlling integral energy of a laser pulse in a laser mapping imaging system | |
CN114025655A (zh) | 在激光标测成像系统中使用多个发射器的场景的偏移照明 | |
CN114025656A (zh) | 脉冲超光谱、荧光和激光标测成像系统中的噪声感知边缘增强 | |
CN114175620A (zh) | 内窥镜激光标测成像系统中的图像旋转 | |
CN113994661A (zh) | 具有固定模式噪声消除的超光谱、荧光和激光标测成像 | |
US20200397240A1 (en) | Laser mapping with minimal area monolithic image sensor | |
WO2020257009A1 (en) | Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system | |
WO2020257343A1 (en) | Laser mapping imaging and videostroboscopy of vocal cords | |
CN114026845A (zh) | 在荧光成像系统中使用多个发射器的场景的偏移照明 | |
WO2020257120A1 (en) | Speckle removal in a pulsed laser mapping imaging system | |
CN114173633A (zh) | 缺光环境中的荧光成像 | |
CN114144658A (zh) | 根据激光标测成像系统中的抖动规范来驱动光发射 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |