CN1310615C - 深度增强的图像采集 - Google Patents
深度增强的图像采集 Download PDFInfo
- Publication number
- CN1310615C CN1310615C CNB028209168A CN02820916A CN1310615C CN 1310615 C CN1310615 C CN 1310615C CN B028209168 A CNB028209168 A CN B028209168A CN 02820916 A CN02820916 A CN 02820916A CN 1310615 C CN1310615 C CN 1310615C
- Authority
- CN
- China
- Prior art keywords
- light
- detector
- image
- target surface
- output beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005286 illumination Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000002839 fiber optic waveguide Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000035559 beat frequency Effects 0.000 claims description 2
- 241000581364 Clinitrachus argentatus Species 0.000 claims 1
- 238000005305 interferometry Methods 0.000 abstract 1
- 239000013307 optical fiber Substances 0.000 description 77
- 239000000835 fiber Substances 0.000 description 47
- 230000000007 visual effect Effects 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000009021 linear effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002430 laser surgery Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011846 endoscopic investigation Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000005622 photoelectricity Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000014698 Brassica juncea var multisecta Nutrition 0.000 description 1
- 206010015150 Erythema Diseases 0.000 description 1
- 241000251184 Rajiformes Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005518 electrochemistry Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229940085805 fiberall Drugs 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 210000003953 foreskin Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001393 microlithography Methods 0.000 description 1
- 238000005459 micromachining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000002311 multiphoton fluorescence microscopy Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00172—Optical arrangements with means for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0068—Confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
- A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4818—Constructional features, e.g. arrangements of optical elements using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/103—Scanning systems having movable or deformable optical fibres, light guides or waveguides as scanning elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/028—Microscale sensors, e.g. electromechanical sensors [MEMS]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
最小侵害的医疗图像采集系统输出光束或脉冲,照明刚好一个斑点尺寸。多个光子检测器检测从包括所述斑点的物体返回的光子,象素分辨率由照明光点的面积(因而由透镜配置)决定,而不是由传感器检测的面积决定。通过使相应的检测器所检测的各图像相关,或者通过基于相位差、飞行时间、频率或干涉仪的测距的方法,决定深度增强。
Description
发明背景
本发明涉及光纤扫描装置,诸如光纤图像采集装置和光纤图像显示装置等,更详细地说,涉及利用直径非常小的柔性光纤增强深度信息,实现高图像分辨率和宽视场的光纤扫描装置。
光纤图像采集装置包括内窥镜、内孔窥视仪和条码阅读器。内窥镜是一种成像仪器,用来观看人体通道和空心器官的内部。一般通过人体的开孔进入。内孔窥视仪是一种成像仪器,用来观看人体内部区域。一般是通过“钻出”的开孔(例如,外科手术开孔)侵入。
有刚性内窥镜和柔性内窥镜。刚性内窥镜不具有像素化的图像平面。柔性内窥镜较小,传统上具有像素化图像平面。但是,柔性内窥镜无法达到刚性内窥镜的分辨率和视场。然而,刚性内窥镜不能用在要求小尺寸和柔性光纤和镜杆(shaft)的许多用途。
任何内窥镜的目的都是在小的包装内达到高的图像质量,允许最小的组织创伤。在最小侵入外科技术领域的发展中,对与当前图像质量匹配的较小型的内窥镜存在巨大的需求。具体地说,对最小侵入医疗手术的需求增大了超细光学内窥镜的需求。但是,商售的柔性内窥镜在尺寸和图像质量上两者须择其一。内窥镜的直径越小,图像分辨率和/或视场(FOV)就越低,使得图像质量受损。采用非常小的内窥镜时许多内窥镜技术就无法使用或变得危险,因为医生没有足够的视觉信息,亦即,尺寸小和图像质量差。因而,需要高分辨率和和大视场的非常小柔性内窥镜。具有非常小的直径和高的图像质量的柔性图像产生装置的这种基本的折衷(两者不可共得的情况)是诸如遥感等人体外部应用的主要限制。
传统的柔性内窥镜和内孔窥视仪包括构成CCD摄像头的大的像素检测器空间阵列。一般用光纤束来捕获图像,并把图像发送给CCD摄像头。为了达到高的分辨率、宽的视场,这样的CCD摄像头包括大约1000×1000个检测器的像素检测器阵列。为了彩色保真度,通常包括三个这样的阵列,在要求有立体感的地方,就要加倍到6个阵列。每个像素检测器要有一条光纤。每条光纤具有大于或等于4微米直径。这样,采集就需要每个像素大于或等于4微米的空间。若按VGA标准(800×600像素),则仅仅图像管道的最小直径就大于3mm。1000×1000个像素检测器阵列至少具有4mm直径。对于VGA标准,为了获得小于3mm的总直径的镜,便要牺牲分辨率和/或视场,采用较少的像素元件。减小内窥镜的直径,便减小了可能的像素数目,相应地,降低了分辨率和视场。直径上的限制也限制了访问彩色图像和立体图像的机会。
小的(例如,直径小于3mm)柔性内窥镜的领域中,内窥镜需要使用最小的像素尺寸,而且还要减少像素数目,一般减到100×100。应该指出,外科医生发现这些小的柔性内窥镜太脆,所以得不到广泛应用。医生宁可采用小的但刚性的杆状(直杆)内窥镜,大大限制它们的机动性和适用性。
在大的(例如,直径大于或等于4mm)柔性内窥镜的领域,内窥镜具有直径大于或等于4mm的柔性杆,一般或者包括一束光纤或者在远端包括小的摄像头来捕获图像。但是,在所需的50-70°视场(FOV)和在人类视觉敏锐最大潜力下的分辨率之间仍要折衷,直至内窥镜直径达到>10mm。
1992年4月27日颁布的John W.Hicks的美国专利No.5,103,497公开了一种飞点内窥镜,其中减小光纤之间的空间,以便减小光纤束的总体直径。不是用粘在一起的方法安排光纤束,Hicks在其推荐的实施例中利用多光纤,其相邻纤芯是相位不匹配的、用电磁驱动器,沿着光栅图案、螺旋图案、振动图案或旋转图案扫描所述多光纤。扫描照明光纤、观察光纤或既扫描照明光纤又扫描观察光纤。在最简单的实施例中,Hicks公开了扫描单根光纤(例如,或者照明光纤或者观察光纤)。
Hicks利用小的光纤束或单根光纤通过沿着图像平面扫描光纤束来扫描图像平面。应该指出,图像平面尺寸不减小。较小的光纤束扫描整个图像平面。为了这样做,让光纤束在先有技术中由较大的收集光纤阵列占用的同一区域上移动。结果,Hicks装置在操作时占用的区域与先有技术的相同。另外,在先有技术中较大阵列中光纤的纤芯尺寸限制了分辨率,Hicks的较小的光纤束中光纤的纤芯尺寸也同样地限制了分辨率。
内窥镜技术上的一个挑战是缩小扫描装置的尺寸。正如上面讨论的,最小尺寸是光纤直径和所需分辨率和所需视场的组合的函数。所需分辨率或视场越大,所需直径就越大。在给定的视场下所需分辨率越大,所需光纤的数目就越大。这种限制是利用光纤摄像头元件对图像平面的小部分进行采样这种技术造成的。传统上,捕获图像平面的每个像素都用一根收集光纤,尽管Hicks一条或多条光纤扫描多个像素。
产生图像平面时,用照明光纤照亮物体。某些照明光线直接射在物体上。其他照明光线射在物体之前或之后被散射。收集从图像平面返回的光线(例如,反射光、荧光返回光、磷光返回光)。一般利用共焦系统把从物体的照明部分返回的所需的非散射光与散射光区分开。具体地说,透镜聚焦返回观察光纤的光。只有不散射的光沿着从物体部分到透镜和观察光纤的直接路径行进。透镜具有这样设置的焦距,使得非散射光聚焦在观察光纤的端面上。这样,所需的光被捕获,并与不希望有的光分开。这种途径的一个缺点是,大部分照明光线被浪费了,或者被周围的像素元件作为噪音捕获,只有小部分作为非散射光用来定义给定的像素。
最小侵入医疗手术采用内窥镜,利用视频监视器向医师提供单一摄像头图像。医师必须在心里把由内窥镜捕获的平面的二维图像与人体内扫描目标的三维几何联系起来。受过训练的医师利用运动视差、单眼提示和其他间接的深度证据在心里想象出人体的几何形状。最好改善呈现在医师眼前的图像。例如,当前的立体内窥镜(带有两个光纤束或摄像头)提供附加图像数据,但呈现次最优性能。在不显著增加内窥镜的成本、重量和尺寸的情况下达到这样的改善仍旧是一个挑战。
发明概述
按照本发明,实现了一种带有柔性光纤的微型图像采集系统。柔性光纤用作照明波导,照明波导谐振以便使发射的光沿着所需的图案扫描。最好把单光纤用于照明光。对于照明光的多种颜色,最好把来自各自的彩色光源的光加以组合,通过照明单光纤,照射在观看的物体上。在一个替代的实施例中,把多根光纤和同心光纤用于照明光。
不是像传统的柔性内窥镜等所做那样产生图像平面并对其采样(亦即其中像素是在空间上分开的),本发明的扫描仪不必产生图像平面来捕获图像。反之,像素是按时间采集的,在时间上分开。这种方法的一个优点是,图像分辨率不再受检测器的尺寸(例如,收集光纤的直径)限制。按照本发明的一个方面,图像分辨率是被照明点尺寸的函数。具体地说,利用小于收集装置直径的光点尺寸即可改善图像分辨率。在一个实施例中,实现单模光纤,它具有较小的高斯光束曲线和较小的纤芯曲线,允许在被扫描处产生较小的光点尺寸,
由于像素是作为在时间窗口内接收的光被检测的,所以在这样的时间窗口中检测的光子来自照明的光点。本发明的另一个优点是,避免了先有技术系统中的共焦问题的出现。利用典型的视频速率,例如,来定义像素的时间窗口尺寸,每40纳秒收集一个像素。要使来自其他像素的光干扰一个像素的光,第二个像素的光会要平均弹跳20英尺(因为光约行进1英尺/纳秒)。对于典型的应用,这样的光要在小于一立方英寸的空间内弹跳。相当于大约240次反射。来自一个像素的光在被吸收之前要反射240次,这是不太可能的。于是共焦问题不明显。
按照本发明的一个方面,照明光纤的远端部分用作谐振波导。这样的远端部分在靠近光纤其余部分的末端被锚定(例如,称作远端部分的近端或谐振波导的近端)。远端部分自由偏转和谐振。波导是柔性的,以谐振频率沿着扫描路径偏转。光检测器定位在照明光纤的末端(例如,在远端部分的被锚定的近端附近)。应该指出,可以有收集光纤,但不必要。另外,不必跟踪扫描路径。
本发明的一个优点是,由于像素的获取方法、透镜的存在和光纤的驱动方法,即使小而细的观察器(scope),也能达到光纤的柔软性、广阔的视场和高的分辨率。因为像素是在时间序列中测量的,并非二维像素矩阵,所以不必具有小的光子检测器。检测器的尺寸不像先有技术观察器那样关键,在那里许多小的检测器分布在一个大的面积上。因此,本发明的观察器可以做得比现有的观察器小,而同时利用较少的比标准观察器的像素检测器大的光子检测器。按照本发明,对于单色图像采集,使用的光子检测器可以少到只有一个,而对于全色成像,使用的红、绿和蓝色检测器可以少到各一个。通过加上附加的检测器,强调全色成像中的拓扑,可以达到准立体成像和光度立体。
按照本发明的另一个方面,通过在每个像素位置上测距,测量从观察器到目标的轴向距离,即可达到真立体观察。这样的轴向测量值是图像的第三维,加以处理便可产生立体视觉。
按照本发明的另一个优点,带有小的柔性杆的单根扫描光纤提供(i)轴向几何尺寸,(ii)提供彩色保真度、增大目标对比度和增大荧光对比度的低成本方法,和(iii)激照明明可以用于荧光成像、医学诊断和激光外科手术。结合附图参照以下的详细描述,对本发明的这些和其他方面和优点将有更好的理解。
附图简介
图1是按照本发明一个实施例的微型图像采集系统的方框图;
图2是说明图像采集系统的照明子系统的示意图;
图3是图1图像采集系统一个实施例的收集子系统和显示部分的示意图;
图4是图1的图像采集系统的另一个实施例的一部分的示意图,包括检测器子系统、显示装置和图像存储装置
图5A-C是不同模式下图2照明光纤谐振波导部分的示意图;
图5D是按照图5C的谐振模式不同取向下的光纤远端透镜的示意图;
图6A是一个示意图,描写按照传统的技术对图像平面一个小的像素区域进行采样,其中被采样的区域定义了像素尺寸和像素分辨率;
图6B是一个示意图,描写按照本发明一个实施例对一个大区域进行采样,其中所述大的采样区域内较小的照明区域定义像素尺寸和像素分辨率;
图7是谐振波导和聚焦透镜的示意图,表示沿着扫描线的点和相应的照明光点;
图8是表示光纤驱动系统同步信号、光纤端部的角位移和照明光点位置与时间关系的曲线图;
图9是由恒定的照明、连续采样形成的扫描线示意图,其中采样结果按时间划分形成N个像素;
图10是由恒定的照明、定期采样形成的扫描线示意图,其中每个采样结果对应N个像素中的一个;
图11是由周期性脉冲照明形成的扫描线示意图,其中、定期采样与脉冲同步进行,产生N个像素的样值;
图12是图1系统的观察器部分的平面侧视图;
图13是图12的观察器的平面正视图;
图14是去掉外壳后图13的观察器的透视图;
图15A-C是图1观察器部分实施例微光电机械系统(MEMS)的平面图;
图16是图1系统的观察器部分另一个实施例的透视图,包括双压电晶片元件弯曲执行器,而且其中光检测器安装在一个圆盘上,在弯曲器动作时所述圆盘运动;
图17是图16的观察器的透视图,表示执行件的基本谐振模式;
图18是图1系统的观察器部分另一个实施例的透视图,包括双压电晶片元件弯曲执行器,其中光检测器安装在静止的基座上;
图19是图1系统的观察器部分另一个实施例的透视图,包括管状双压电晶片元件执行器;
图20是图1系统的观察器部分另一个实施例的透视图,包括同心地围绕照明波导的收集波导;
图21是观察器部分的一部分的平面图,包括以差动方式排除(factor out)环境光而设置的光子检测器;
图22是按照本发明一个实施例的采集增强深度信息的图像的方法的流程图;
图23是按照本发明一个实施例的图像处理流程图;
图24是按照本发明另一个实施例的采集增强深度信息的图像的方法的流程图。
具体实施例的描述
概述
参见图1,微型图像采集系统10包括照明子系统12、收集或检测器子系统14和在某些实施例中的主机系统16。照明子系统12把光线发射在物体上。收集/检测子系统14收集或检测从物体返回的光。照明子系统12和收集/检测子系统14都连接到主机系统16。主机系统16包括控制器18,用以使照明子系统的工作和收集/检测子系统的工作同步。主机系统16还包括显示装置20、用户接口21、图像存储装置22、处理器(未示出)和存储器(未示出)。图像采集系统10在某些实施例中配置成独立装置,没有主机系统16。在这样的独立装置实施例中,控制器18和显示器20都是独立系统的一部分。在不同的应用中,微型图像采集系统10实现了内窥镜、内孔窥视仪、条码阅读器和用于图像采集的其他装置。本文中术语“光纤观测器”指利用扫描光纤波导的图像采集系统。
参见图2,照明子系统12包括光源24、光纤26和光纤偏转驱动系统28。光源24在一个实施例中发射出连续的光流30,而在另一个实施例中发射出光脉冲流32。当实现脉冲时,控制器18向光源24发送控制信号,以便同步和控制脉冲发射的定时。
来自光源24的光进入光纤26并行进到远端部分36,在这里光向物体发射。远端部分36偏转并用作谐振波导36。光纤26或至少远端部分36是柔软的,经受得起远端处的谐振偏转运动。控制器18向光纤偏转驱动系统28发送同步信号,光纤偏转驱动系统28本身则使波导36的远端谐振。波导36的谐振运动使发射的光线沿着所需的扫描路径在物体上扫描。在某些实施例中,光纤偏转驱动系统28是用送往控制器18的传感器和反馈信号40闭环控制的。在一个推荐的实施例中,驱动系统28是压电驱动系统。在替代驱动系统的实施例中,实现永磁或电磁驱动、静电驱动、光驱动、声驱动或电化学驱动来代替压电驱动。
最好在波导的远端通过对远端的成型加工,形成一个或多个透镜37。或者把一个或多个透镜熔融、粘结、安装或用其他方法附在远端部分36的远端(亦即远端面)上。透镜最好不扩展到光纤远端部分36的圆周和直径以外。透镜37相对于远端部分36是固定的,随着远端部分36运动并改变取向。这些透镜37用来准直所发射的光线。另一个透镜39,诸如扫描透镜或f-θ透镜设置在光纤的远端部分36以外的发射的光线的光路上,以便使光线聚焦在物体上。在某些实施例中,透镜39是折射和/或衍射光学元件,诸如折射率渐变透镜。透镜37、39决定图像质量并限定子系统12的图像分辨率。
透镜39用作扫描透镜,由玻璃、塑料或诸如液晶等其他波形成形材料形成。若有焦面,则扫描透镜39的屈光力决定了照明在多远处形成焦面。若发射的光线是准直的,则所得图像具有接近所发射的光束直径的分辨率,得到一个场深巨大的图像。增大扫描透镜39的屈光力,便增大像素的分辨率,而同时减小场深或焦深。扫描透镜39的焦平面取决于其放大率和相对于远端58(见图5A)和远端透镜37的位置。通过相对于远端透镜37轴向移动扫描透镜39,可以调整所述焦平面。
参见图3,在一个实施例中,微型图像采集系统10的一部分42包括收集子系统14’和视网膜扫描显示装置20’。从照明子系统12(见图1和2)发射的光输出到物体。从物体返回的光线44在一个或多个收集光纤46中收集,并被直接送到扫描显示装置20’。在一个实施例中,显示装置20’使光线扫描人眼E的视网膜。在另一个实施例中,显示装置使光线在投影屏幕上扫描(例如,被光电放大)。在再一个实施例中(未示出),来自收集光纤46的光线被采样,并由存储装置27存储。控制器18对收集光线的扫描或存储进行同步,并使之与照明光线相关。
在某些实施例中,驱动系统48使收集光纤46沿着与照明子系统12的照明光纤26的公共路径偏转。驱动系统48和照明子系统28可以是同一系统,或者可以是单独的驱动系统。驱动系统48最好是压电驱动系统。驱动系统48从控制器18接收同步信号38。在收集光纤46是固定的一些实施例中,驱动系统48是不必要的。
扫描显示装置属于先有技术已知的类型。一个示例性装置是1995年11月14日授予Furness等人的美国专利No.5,467,104“虚拟视网膜显示器”中所公开的。另一个示例性装置是1997年12月2日授予Melville的美国专利No.5,694,237“机械谐振扫描反射镜的位置检测”中所公开的。
参见图4,在一个替代的实施例中,微型图像采集系统10包括检测子系统14”。所述检测子系统14”包括一个或多个光子检测器50。光子检测器50的一个可以实现的示例性类型包括光电倍增管、基于硅和半导体的光电检测器、光电放大光纤、图像存储介质(例如,胶片)和光电子发射介质。返回光线射在光子检测器50上。检测器50连续地、周期地或非周期地根据从控制器18接收的采样信号52对返回光线进行采样。采样信号52在定时上与输出到照明子系统12的同步信号38相关。结果,光子检测器50输出连续的信号或与对返回光线44的采样对应的电子信号脉冲流。在一个实施例中,输出信号54送到图像存储装置22,以便建立数据的图像帧。在不同的实施例中,图像存储装置22是模拟存储装置(例如,胶片)或数字式存储介质。另外,或者作为另一方案,同一或不同的输出信号55被送到显示装置20,以便建立和显示图像数据帧。显示装置可以是任何一种传统的显示装置,诸如阴极射线管、液晶显示板、光投影仪、气体等离子体显示板或其他显示装置。
照明光纤波导的谐振模式
参见图5A-C,所示照明光纤26在其长度上的一点56被锚定。从锚定点56到远端58的光纤长度称作远端部分36,用作谐振波导。在某些实施例中,采用短光纤,其中基本上整个光纤都用作谐振波导36,并沿着长度出现在从锚定点56到远端58一段。波导36由光纤偏转驱动系统28驱动(见图2),使波导以谐振模式偏转。
有许多可以由驱动系统28实现的谐振模式。在每一种模式中,在锚定点56都会出现静止节点。沿着波导36的长度会出现反节点(anti-point)(亦即,偏转最大的点)。参见图5A,说明一种谐振模式,其中静止节点出现在锚定点56,而反节点出现在远端58。所示波导36处于中性位置60,和两个最大偏转位置62,64。
参见图5B,说明一种谐振模式,其中有两个静止节点:一个在锚定点56,而另一个在锚定点56和远端58之间的点66。反节点出现在两个静止节点56,66之间的点68上。所示波导36处在中性位置60,和两个最大偏转位置62’,64’。在不同的谐振模式下,一个或多个静止节点沿着波导的长度出现,使远端58沿着弧70摆动。也可能形成0到n个反节点,其中n或者相当于静止节点数或者比静止节点数少1。
参见图5C,在一个推荐的谐振模式下,静止节点出现在波导36的远端58。所示波导36处于中性位置72,和两个最大偏转位置74,76。尽管在锚定点56和在远端58之间没有额外的静止节点,但是,在不同的实施例中,额外的静止节点确实出现在这样的点56,58之间。为了在波导的远端维持自然谐振的节点,远端58的质量和衰减是受控的设计特征。一般,对于几何形状和材料均匀的波导,只要小量增加质量和衰减就够。一个实施例在波导36的端面增加一个比较致密的透镜(或较大的)的准直透镜37。
图5D表示针对远端58上具有静止节点的谐振模式的远端58(例如,透镜37)的侧视图。所示的是对应于波导36中性位置72的中性取向78,在一个方向上与最大偏转位置74对应的最大角度取向80和在另一个方向上与最大偏转位置76对应的另一个最大角度取向82。正如说明的,中心点84对于每一个取向一般都是静止的。在准确的说明(未示出)中,随着波导偏转,沿着波导36轴线88(例如,图5D的Z轴),端部58略有移动。但是,没有偏离轴线(沿着X轴或Y轴)的运动,只有围绕轴线的取向改变,从取向78变到80到78到82再回到78。在波导36偏转过程中这样改变的取向造成在一般垂直于透镜37的远端端面的方向上发射光线90的结果。在远端58和透镜37改变取向的过程中,光线90扫描弧92。光线90’垂直于位置80上的透镜37。于是,弧92限定了照明子系统12的视场。
把静止节点放在波导36远端58上的好处是,内窥镜和其他照明装置不必像图5a和5b所示的谐振模式中那样扩大直径来包括摆动弧70。在X-Y空间中固定远端,而不是让它作为点光源在X-Y空间中沿着线或弧摆动,减小了光学畸变和象差。另外,不是使远端沿着弧70运动来限定视场,远端58的位置基本上固定,而同时远端的取向随着谐振波导的其他区域的谐振运动而改变。光纤远端58改变的角度取向限定了所扫描的视场宽度(亦即,限定了弧92)。
按时间分隔的像素采集方法
微型图像采集系统10与先有技术装置相比的差别是,像素分辨率由照明光点的尺寸决定,而不是由所采样的光点尺寸(例如,传感器或收集光纤的采样面积)决定。按照申请人的方法,是照明光点的尺寸,而不是采样区域的尺寸决定着像素的分辨率。于是,根据所需的功能(例如,彩色、立体、高对比度)使用一个大的检测器或多个较小的检测器。
参见图6A,传统上光纤照亮整个物体区域95,或者一次形成整个图像平面96或者通过扫描形成图像平面96。图像平面是图像像素的空间区域。在某些传统的技术中,同时照亮整个物体区域95,而对图像平面96的小的空间区域进行采样,以采集图像像素。在其他传统的技术中,光线在整个目标上扫描,以便照亮物体改变着的部分98。对照明区域97内的小空间区域97进行采样,以便采集像素。这些传统的技术的特征在于:(i)正被采样的小空间区域变成被采集的像素并且决定了像素的分辨率;以及(ii)对于任何一次采样,照明区域大于被采样的区域。
参见图6B,实行一种不同的技术。按照本发明的一个方面,不是照明一个大的区域并检测小的像素区域,而是照明小的像素区域并采样大的区域。具体地说,由波导36(图2)发射的光在某个与所述像素被采集对应的给定时刻照明小的区域99。被检测器50或收集光纤46采样的区域100大于照明光点的尺寸99。这个区别是明显的,传统的技术用它们的传感器(例如,被采样的光点尺寸)决定的采样区域来定义它们的像素和像素分辨率。按照本技术,像素分辨率是由照明的光点决定的。照明光点的尺寸准确地由带有透镜37和39的波导36控制。
为使照明光点尺寸对应于要采样的像素,照明和采样之间要有时间同步。这个同步不是像传统方法那样把采样同步到图像平面内的特定位置,而是时间上同步到照明信号或脉冲。例如,在一个实施例中光子检测器50在任何给定时刻检测来自整个物体的光。在这样的检测器50检测的光同步到特定的光发射,以便获得与所述发射对应的像素。事实上,排除采样过程的空间关系。反之,像素的位置是由于知道照明光点在对应时刻的位置而知道的。
知道了时间上每一瞬间扫描光点的位置,很像视频信号,图像是一次一个像素地产生的。例如,通过以15.75kHz扫描图像行,并以12.5MHz的时间分辨率检测光,以视频速率(60Hz)以VGA的分辨率(640×480)产生包含RGB彩色图像的像素流。
利用时间同步法,在给定的时间窗口内采集像素。因为像素是作为时间窗口内接收的光而检测的,所以在这样的时间窗口检测到的光子来自照明光点。另外,利用多个传感器,实现共模抑制方案,滤除环境光,并检测从物体返回的照明光。这种方法的优点是,避免了在先有技术的系统中出现的的共焦问题。例如,为了定义像素时间窗口的尺寸,利用典型的VGA视频速率,每40毫微秒收集一个像素。对于一个像素的光,要被来自其他像素的光干扰,第一个像素的光要平均来回弹跳约20英尺(因为光每毫微秒行进约1英尺)。对于典型的应用,这样的光必须在小于一立方英寸的空间内来回弹跳。这对应于大约240次反射。光子被吸收或光子流被高度衰减之前,来自一个像素的光作240次反射是不大可能的。因此共焦问题不明显。
参见图7,在光30/32向透镜39发射的同时,波导36谐振。所述透镜使光射向目标物体上的特定光点位置。在波导偏转的一个极端位置上,对象的光点A被照明。随着偏转继续,波导达到中性位置,其中光点B被照明。再继续,波导达到相反的极端,在这里光点C被照明。照明光点C的光具有峰值强度半径R。这样的强度在半径外减弱,并被认为是不明显的。相应地,信号扫描线沿着从光点A到光点C的路径行进。在某些实施例中,光纤偏转系统28是线性扫描系统,它沿着一条线扫描。在另一个实施例中,系统28沿着直线或辐射状光栅图案扫描。在再一个实施例中,驱动系统28实现螺旋形扫描图案,其中改变螺旋的半径画出物体区域的轮廓。由点A和C形成的弧决定了视场,并且可以跨越大约180度。光点A、B和C的距离由透镜37,39决定,而且可以比透镜37,39之间的距离大得多。
参见图8,所示从控制器18接收的示例性同步信号,用以同步驱动系统28。图8中还示出了远端56和透镜37的角位移102(例如,取向)。最后,示出照明光点沿着对象扫描线扫描时的位置10。一条示例性扫描线,例如,出现在从时间T1到T2。下一条扫描线(对于重叠扫描的实施例)出现在时间T2到T3。在扫描运动过程中,不同的时刻照明光点跨越光点A、B和C。在第一条扫描线过程中,光点A在时刻TA1被照明。光点B在时刻TB1被照明。光点C在时刻TC1被照明。对于随后出现在时间T2到T3的扫描线,首先遇到光点C,并在时刻TC2被照明。之后相应的光点B在时刻TB2被照明。然后光点A在时刻TA2被照明。
对于VGA分辨率的实现,从T1到T3的时间是63.5μs(微秒)。于是从T1到T2的时间是31.75μs。从TA1到TC1的时间小于31.75μs。具体地说,对于VGA标准,每条扫描线分成800个时间相等的像素。于是,每个像素跨越40ns(纳秒)。相应地从TA1到TC1是25.6μs。
图9和10描述一种实现方案,其中,发射的光是沿着扫描线106移动的连续光流30。在图9的实现方案中,光子检测器50连续地被激活,相关部分(TA到TC)均等地分成N个像素108。对于VGA标准,每个像素40ns的采样时间。对于其他标准,可以采用不同的采样时间。在图10的实现中,光子检测器50周期性地采样。每次采样对应于一个采集的像素110。每条扫描线106采集N个像素。在一个实施例中,每次采样持续20ns。对于VGA标准,每个采样间隔的中点之间的时间是40ns。对于这样的标准,相应的采样时间间隔是10ns。还可以采用替代的扫描时间和时间间隔。
参见图2和11,在一个实施例中,照明系统12在扫描线114的扫描过程中定期发射光32的脉冲112。对光子检测器50(图4)进行同步,以便一次对物体或至少包括照明光点的物体的区域进行采样,以捕获与已知光点对应的返回光。对应于光点(例如,光点B)的采样时间间隔I的跨度为时间周期116,对于所述光点,时间周期116大于、等于或小于光脉冲的时间间隔118。采样时间间隔118的典型时间是20ns,而且可以改变。在再一个实施例(未示出)中,正如针对图9描述的,检测器50连续检测返回光,而同时采样结果与发射光脉冲112相关。
采用只以固定频率放大,通过把照明和/或检测维持在固定的频率(例如,等于1/40ns=12.5MHz),可以显著提高信噪比。于是频率较高或较低的其他所有频率的噪音均被滤除。
物理实施例
参见图12,示出了图像采集系统10的观察器部分120,其中光纤偏转驱动系统28的波导36和执行器125包装在保护外壳122中。扫描透镜39密封在观察器的端头。扫描透镜39的焦平面取决于它的放大率和相对于光纤远端58和远端透镜37的位置。相对于远端透镜37轴向移动透镜37即可调整焦平面。
对于单轴125扫描,波导36在外壳122内受执行器125作用而偏转。悬臂式波导的基础锚定在执行器125的远端建立振动谐振的第一个静止节点。都可以实现根据图5A-D描述的任何一个谐振模式。对于双轴扫描,第二执行器124使观察器120沿着轴130(图14)偏转。但在某些实施例中,执行器124和/或125使波导产生非线性动作,引起二维运动,诸如沿着螺旋线图案运动。
参见图13,在执行器125的远端锚定面内示出红、绿和蓝的光电检测器对50,以便以准立体方式捕获彩色图像。光电检测器的瞬时带宽大于像素照明速率,以免限制对比度或分辨率。例如,对于VGA标准,这样的光电检测器带宽为≥12.5MHz,而对于sVGA视频标准为19.8MHz。许多直径小于1mm的基于硅的光电二极管在可见光谱中有足够的带宽。为了减小增大了的噪音,在微光电机械系统(MEMS)的制造过程中,将光电检测器与集成的前置放大器组合在一起。一个替代的方法是,把光引导到单光纤悬臂的外同心层或特种包层内的观察器的近端,或者利用一个或多个大芯(多模)光纤来捕获散射回来的光线。这样的配置允许光电检测器处在观察器的近端,这较少受到环境因素、物理空间限制和可能由于对可处理性和/或可消毒性的需求带来的复杂化的影响。
参见图15A-C,其中示出系统10的观察器部分的120’的‘MEMS’实施例。在这样的实施例中,用于机械谐振运动的光波导结构是利用生产MEMS扫描仪的硅微加工技术批量生产的。在这样的实施例中,执行器124、125、检测器50和附加的光导管(未示出)也是利用同样的MEMS工艺制造的,产生整体结构。微透镜37和扫描透镜39也是利用同样的MEMS工艺或者单独的注射模塑/加压模塑或MEMS工艺制造的,然后连附在其他MEMS结构上。附加的光学和位移传感器也可以装入观察器120’内,用以长期控制扫描稳定性。在这样的实施例中,MEMS悬臂式波导36’被光纤26照明,光纤26粘结在下面衬底134的V型槽132内。
参见图16和17,在一个替代的观察器部分120”的实施例中,光纤26穿过用作电导线和光纤的导管并支持周围保护覆盖物(未示出)的管形机械支架140。双压电晶片弯曲器142连同电导线144和光纤26一起从支架140伸出成为悬臂。弯曲器142用作光纤偏转驱动系统28(见图2)的执行器。在弯曲器142的远端的是盘形结构146,盘形结构146支持用来产生缓慢扫描轴145的悬臂式光纤扫描波导36。
在盘形结构146上有直接粘在盘上的光子检测器50,诸如直径0.1mm的商售光电二极管。在检测器50的中心,环绕波导36的基座的是压电环48,压电环48驱动光纤波导36进入谐振振动状态。两个压电执行器142,148同时在两个正交的方向145、147上产生扫描。图17所示是两个扫描轴145、147的谐振基模。
参见图18,在一个类似的观察器120实施例中,利用两个扫描轴145、147的第二谐振振动模式以缩小的直径实现直线扫描运动。类似于图17的实施例,双压电晶片弯曲器142产生偏转。但是,在这第二模式下,另一个静止节点出现在观察器内。具体地说,在图18的实施例中,振动的第二节点出现在振动件142、36的远端。例如,光纤端面上的准直透镜37的附加质量使扫描光束彩色分离复合棱镜组件的运动可以是没有平移的旋转。应当指出,光子检测器50位于观察器120的静止基座150上。
参见图19,在另一个观察器120””的实施例中,利用单个执行器152实现两个旋转对称的扫描运动。不论对于圆形扫描还是径向扫描的实现,执行器152都是管状压电执行器。
参见图20,在再一个观察器120””’实施例中,照明波导36被收集波导160同心地包围。在这个实施例中,收集波导160随着偏转器波36运动。这种配置的结果是,空间滤除本来会降低分辨率和彩色保真度的来自多重反射的反射。
立体和彩色观察
各种不同的观察器实施例可以适合于使立体和彩色观察成为可能。例如,通过提供物理上隔开并同步地对返回光进行采样的多个检测器来实现立体成像。与用单独的观察器进行立体观察的先有技术系统相比,这有明显的好处。对比之下,采用单一照明光纤达到立体观察。
通过包括对与所需的颜色对应的相应的波长范围敏感的光子检测器来实现彩色观察。参见图13,包括匹配的红、绿和蓝光电检测器对,用以进行立体彩色成像。
在不同的实施例中,光子检测器50可以是单元件或多元件光子检测器。参见图21,光子检测器50’、50”装在不同的轴上,以差分方式滤除环境光的光子(和来自目标照明的强烈散射的背反射),以便有别于由照明光纤26发射和直接返回物体的光子。具体地说,针对观察器暴露在其强度与照明光30/32相比足够大的环境光下的实施例,实现对环境光的共模抑制。这有利于改善彩色保真度。
考虑每次反射颜色的改变。捕获射在许多表面上之后的光线,结果造成像素颜色混乱。另外,由于影响光的其他目标结构,多重反射降低分辨率和对比度。因而,最好捕获从所述光线所射到的第一点返回的颜色。
图21实施例中光电检测器50’和50”的配置在两侧和而在轴线上与照明光排成一直线,用来抑制背景分量。结果,彩色保真度和图像分辨率都得以改善。在某些实施例中,包括偏振维持照明分量和偏振滤波器,以便抑制被多次散射和色移的背散射光。图20中的准同心配置连同偏振滤波器一起也产生改善颜色保真度和图像分辨率的结果。
深度增强的方法
当用单检测器光纤观测器采集图像时,图像具有看来象是处于照明光纤位置上的视点和看来象是处于检测返回光的光检测器的位置上的单一表观定向光源。所述图像具有很强的由单一表观光源引起的深度提示。利用从多个传感器捕获的图像可以改善深度提示。可以把这些图像结合起来,以便形成具有增强的阴影细节或深度感知的改善了的图像。
改变检测器的位置并不改变图像视点的位置。但是,改变检测器的位置确实改变表观照明条件。显然,采用多个检测器,图像中用一个检测器建立的阴影不同于图像中用处于其他位置的另一个检测器建立的阴影。可以把从任何一种传感器组合产生的图像结合起来,以便提供最适应观察条件的不同的照明方案。通过用多个或者处于光收集光纤(见图15-21)远端或者处于其近端的检测器50获得一系列图像,可以获得带有动态照明的活动图像。
从不同的传感器收集的其他信息也可以包括在图像中。在一个实施例中,从至少三个检测器中的每一个光检测器的光是可见单色光或彩色光。在另一个实施例中,至少三个传感器中的一个或多个捕获由所述波导(例如,紫外或红外)一致地输出的非可见光(例如,紫外或红外光束通过与可见光共用的波导)。或者,包括包含荧光或偏振的其他对比度机制。
不是增强深度提示,而是利用来自至少两个检测器,最好来自至少三个检测器的图像,利用光度学立体感技术产生每个像素的深度信息。为了利用光度学立体感,所述图像具有同一视点,无相对运动,最理想是同时采集,但具有不同的单光源照明状态。这些类型的图像用光纤观测器很容易获得。相比之下,为了达到必要的图像,当前的内窥镜需要多个照明通道,就要一次只用单个照明通道依次采集图像。但是,内窥镜或图像采集之间的表面的运动会把不准确性引入从这样的内窥镜推算出来的深度信息中。
采用至少三个检测器的对应的图像来推算深度信息时,不需额外的信息即可准确推算出三维形体。只用一个检测器时,要求作某些假定和用户的协助来准确地推算三维形体。只用两个检测器时省去用户协助,但要作出表面特性假定才能达到准确的深度细节。相应地,最好用三个检测器来避免在推算准确的深度信息时的用户协助。采用多个图像来推算深度信息,就消除了表面是凹是凸的二义性,并允许用变化的漫反射系数(亦即,表面漫反射特性)来分析表面。
就用一个或多个检测器,很容易获得二维图像特性。存在图像的深度提示,特别是来自浓淡处理和阴影的深度提示,但是,由于照明光纤和检测器(亦即表观视点和表观照明方向)相对接近的缘故,这些提示可能不够。通过提取深度信息,通过计算视点改变或照明方向的改变的影响,来增强深度提示,甚至那些由于光纤观测器几何形状的缘故物理上无法获得的深度提示。
参见图22,其中呈现了产生具有增强了的深度信息的输出图像的方法200的流程图。在步骤202从谐振光纤波导36(见图2)输出光束30/32。波导36使输出光束沿着扫描路径扫描。扫描透镜39把光束聚焦在对象表面(亦即物体)上。在给定时刻把光束聚焦,射在目标光点上,所述光点是照明光点,在所述光束沿着目标表面扫描时,照明光点随着时间而改变。
在步骤204,用多个检测器50检测从目标表面返回的光。一个检测器具有相对于谐振光纤波导的第一位置。另一个检测器具有相对于谐振光纤波导的第二位置。第三个检测器具有相对于谐振光纤波导的第三位置。至少同时用每一个检测器检测返回光。
在步骤206,从用第一检测器检测的返回光线采集第一图像的多个像素。在步骤208,从用第二检测器检测的返回光线采集第二图像的多个像素。类似地,在步骤210,从用第三检测器检测的返回光线采集第三图像的多个像素。最好同时采集和构造这样的图像。
由于返回的光线来自共同点(例如,波导36波导末端),在每一个检测器采集的图像具有共同的表观视点。但因每一个检测器都具有不同的位置,所采集的每一个图像都具有不同的表观照明方向。第一图像具有基于第一检测器位置的第一表观照明方向。第二图像具有基于第二检测器位置的第二表观照明方向。第三图像具有基于第三检测器位置的第三表观照明方向。
在步骤212,处理所采集的多个图像,以便推算目标表面的输出图像,包括基于多个检测器50中的至少两个,最好至少三个不同的表观照明方向的深度信息。
在彩色图像采集系统中,输出光束是第一颜色光束、第二颜色光束和第三颜色光束(亦即红、绿和蓝)的组合。在这样的实施例中,从上述给定检测器采集的图像代之以从三个检测器采集-三个颜色的输出光束中每一种颜色的输出光束一个检测器。先前描述,采集两个最好三个图像,准备为产生深度信息而进行处理。这些图像不必是彩色的。在三色成像系统中每个采集的图像用三个同位置的检测器,加上获取用于深度提取的推荐的三个图像的两个附加的多波长检测器,这意味着最好至少用5个检测器来采集增强深度信息的三色输出图像。
参见图23,其中呈现用于处理所采集的图像的方法214的流程图。在步骤216,根据多个采集的图像产生目标表面法线的取向映射(亦称针映射)。在步骤218,从取向映射获得深度映射。在步骤220,从深度映射获得三维网格。在一个替代的实施例中,获得高斯图(离散直方图),而不是深度映射。然后把高斯图用于图像识别应用。
在步骤222,产生增强深度信息的输出图像。例如,三维网格中的深度信息用以加上虚拟阴影,以达到较佳的对比度,输出图像中观察者看到的深度提示。在一个实施例中,从三维网格中推算立体图像,其中计算观察者的双眼差异。把每个图像输出到观察者各自一只眼睛。
按照步骤216,取向映射指出每个像素的表面取向,并且对恢复所成像的目标的形体有用。一般说来,亮度和表面取向之间的映射不是唯一的,因为亮度具有一个自由度,而表面取向具有两个自由度。(尽管,对于特定的点,诸如亮度最大或最小的像素,表面取向一般可以唯一地从单个样值求出)。
为了针对轮廓表面恢复表面取向,除采集的像素的单个亮度值外,还需要附加信息。用不同的照明采集的两个图像提供两个样值,用来解出两个自由度的取向值。但即使用两个图像,两个得出的方程式可能是非线性的,或者取向只可以通过小的范围(其中所述关系是线性的)推算。最好正如上面讨论的采集至少三个图像来改进取向映射的准确度,并增大可以求解可能的表面取向的范围。最好再用第三个图像,因为它允许独立于漫反射系数(表面漫反射特性)变化地完成深度分析。漫反射系数的变化也可以利用第三图像计算。
当有三个以上的检测器可用时,附加图像可以用来改善取向估计。从n个光电检测器获得n个图像时,计算取向的一个方法是诸如利用以下式方程式求最小值
式中Ei是在第i个图像测得的亮度,而Ri是相应的反射系数。常数λi是参数,用于对辐照度方程式相对于平滑偏离程度的误差进行加权处理。
在一个实施例中,推算取向值用的离散方程式是利用下列方程式通过叠代推算的:
在另一个实施例中,利用查询表确定取向。所述表用每个图像中观察到的亮度进行索引。所述表的数值是根据方程式或在已知的标定对象进行的试验选定的取向。通过根据观察到的亮度测量值选择数值,针对被成像的目标对象的每个像素获得表面取向值。所采集的图像的取向信息的集合在这里最好称作取向映射。
按照步骤218,从取向映射推算深度映射。深度映射以不同的方式代表物体形状。具体地说,不是指定取向信息,而是深度映射指定超过基准平面的相对高度。深度映射是灰度图像,黑代表最低高度,而白代表最高高度。像素(x,y)的高度z或z(x,y)是相应取向值f和g的梯度函数。给定f和g,沿着任意曲线积分即可恢复深度z。
沿着封闭的路径,积分应等于0。在实际上,f和g不准确,因为它们是从有噪音的图像恢复的。优化技术,诸如全局积分或叠代拉普拉斯松驰技术可以从有噪音的映射恢复平滑表面。
按照步骤220,由深度映射推算三维网格。使平面网格的顶点相对于深度映射的灰度像素值位移一定量。然后可以从不同的视点、照明条件或表面特性(产生的颜色)再现这个网格,赋予一个较佳的透视或深度印象。对于给定光纤观测器几何形状,所述视点和照明条件在物理上可能是不可实现的。可以包括从其他传感器(红外、紫外、偏振)或从测量(轮廓映射)产生的其他信息。
在某些实施例中,不获得深度映射而获得取向直方图。取向直方图,扩展高斯曲线图的离散情况,用于物体识别。已经获得已知形体的原型取向直方图。一般说来,不同物体的原型取向直方图会是明显不同的。通过试验获得的取向直方图可以与存储的原型比较,以便赋予未知物体一个已知物体类型。
附加的浓淡处理或其他图像增强方案也可以应用于不同的实施例,以改善图像质量。例如,在一个实施例中产生向观察者各自的眼睛输出的两个图像,来代表立体图像。以不同的方法再现这两个图像来考虑观察者的双眼差异。根据两眼之间相隔的距离和所述表面的表观距离计算双眼差异。相隔距离在某些实施例中是可选的,在另一个实施例中设置为标准平均值。在一个实施例中到所述表面的表观距离可选,而在另一个实施例中设置为默认的标准距离。
测距
在另一个实施例中,通过在每一个像素位置上进行从观察器到目标的轴向测量,进行测距,达到真立体观察。这样的轴向测量值是图像的第三维,对其进行处理以便产生立体图像。例如,由控制器对来自匹配的检测器对的信号进行处理以检测返回光线的相位差。这样的相位差对应于从扫描器到目标对象的距离。
在一个实施例中,照明子系统12(图1和2)包括光源24(图2),它由可见光和红外线光源形成。可见光和红外线从共用的照明光纤26发出。参见图4和15-20,光检测器50既包括可见光检测器又包括红外线检测器。
红外线光源最好是调制激光红外光源,它输出在GHz频率范围的红外光。快光子红外检测器检测返回的红外光。红外光子检测器最好在与红外光源相同的频率下产生检测信号。照明红外光和收集的红外光之间调制的相位差对应于目标像素的距离,分辨率达≤1mm。具体地说,对于红外光调制在1GHz的实施例,脉冲之间红外光行进1英尺或在各脉冲之间相位差360度中每度约1mm。
不是如刚才描述那样根据相位来测量把光反射回去的目标的距离,而是在一个替代的实施例中,用时间和频率,或者利用光反馈干涉仪来测量目标的距离。在飞行时间法中,从高调制带宽激光二极管发出距离测量输出光束。在给定频率(例如,在几十kHz的数量级)下发出短的激光脉冲。对于每个脉冲,测量发射和返回脉冲接收之间经过的时间。测得的时间与检测器和物体表面最近一点之间的距离成正比。
或者,采用连续激光发射方案,而不是脉冲发射方案,其中所接收的采样定时对应于激光发射的特定时间。另外,在某些实施例中,利用光学强度的高调制带宽从直接调制的激光二极管发射光线。距离用在与调制对应的时间周期进行采样进行测量,以便确定发射和接收相应的返回光线之间所经过的时间。经过的时间与到目标表面上最近点的距离成正比。
在频率法中,用可电子调谐的可频率连续调制的激光二极管来确定短距离检测。其频率随时间而变化的信号调制测距输出光束。返回光束与干扰信号混频,产生拍脉冲,它是目标表面距离的函数。
对于光干涉仪法,反射回来的光沿着发射光的路径与发射光引起干涉图案。在一个实施例中,采用注入检测方法来检测返回光信号的相位和频率。自混频,利用脉冲方案对应关系求出光强度波形的微商,用来测定深度(D)如下:
式中Cs为光速,σ按照目标的运动是-1或+1,而f值是频率偏移向上和向下斜坡过程中输出功率与反馈的拍频。
在每一个方法中,包括红外或近红外频率的快光子或高带宽光子检测器,用以检测返回光。此外,最好利用低散射光纤,光纤与低背反射损失、快定时和/或移相电路,连同平均软件来提高信噪比。
参见图24,其中呈现采集包括深度信息的图像的方法230。在步骤232,从谐振波导36(见图2)输出光束30/32。波导36使光束沿着扫描路径扫描。扫描透镜39把光束聚焦在物体表面(亦即,目标)。在给定的时刻,聚焦所述光束以便射在所述目标的某点上,该点是被照明点,当沿着目标表面扫描所述光束时,被照明点随着时间变化。
在步骤234,从目标表面返回的光被至少一个检测器50检测。在步骤236,从返回光采集图像的多个像素,或者在远端或者在光收集光束之后。在步骤238,还利用上述任何一个测距方法(例如,相移、飞行时间、频率、干涉仪)从返回光采集距离信息,然后,最好与步骤236并行地进行。
在步骤240,距离信息用来映射成像的场景(亦即目标的拓扑)的表面、边缘和顶点。在步骤242,处理在步骤240推算的三维图像数据,以便获得像素数据,用于显示在显示屏幕上或诸如头戴立体显示器等其他输出装置上。例如,在使用头戴立体显示器的地方,计算观察者的双眼差异,以便产生一对立体图像。在步骤244,把输出图像的像素数据输出到显示器。
在一个替代的实施例中,使用第二检测器,利用上述任何一种测距方法,从返回光检测距离信息。在再一个实施例中,输出光束包括用于将被扫描的物体成像的光束。这样的输出光束或者是单色或者是彩色可见光束。另外,输出光束还包括测距用的重合光束(coincident beam)。重合光束或者是可见光或者是不可见光。
用途
A.内窥镜/内孔窥视仪/导管
●总直径小、最佳模式≤3mm,
●极柔软的杆,包含单光纤,
●高分辨率,理论极限估计为5μm,
●达到非常宽的视场(FOV),(超出标准的45°,大约可达180°)
●红(R)、绿(G)和蓝(B)全色检测,
●用两种途径中的一种实现立体图像检测:
-匹配的立体R,G,B光检测器对,有助于增强在扫描照明子系统中固有的拓扑对比度特性,准立体。
-双图像发生器,在最佳模式下直径≤6mm,允许真立体,
●图像显示的视频速率(30-60Hz刷新速率是标准的),
●低成本,潜在可处理,消毒,
●低功率,谐振扫描操作,
●设计简单,运动部件少,
●可用于高功率激光,可见光、紫外光、红外照明,用于诸如光动态治疗、激光引起的荧光、激光外科、血液中的红外成像等医疗操作,
●可以用于高功率、短脉冲紫外光、可见光或红外光照明,用于测量观察器和组织之间的距离(测距和真三维成像)、多光子荧光成像和荧光寿命成像等这样的医疗用途,
●小尺寸和柔软性允许图像发生器改进到现有内窥镜(套管)、柔性包皮或附在外科或诊断工具上,
●弯曲以及旋转柔软性带有单根光纤轴对称光耦合,
●采集的光电信号与RGB视频监视器的视频输入信号直接兼容,特别是具有多重同步能力,
●背散射光被光纤直接从远端引导到近端处观察者的眼睛,不需要远端光电检测器。除标准视频显示监视器外,图像可以在一个实施例中用视网膜扫描装置显示,不必进行电信号转换。
B.其他用途:
远程光检测、放在机器人手指尖或执握器上的机器人眼睛、长期过程监视、眼跟踪器、条码阅读器、微平版印刷术、可视显示,光学检查和激光外科手术。
有价值的和有利的效果
本发明的优点是,由于像素的获得方法、透镜的存在和光纤的驱动方式,即使用小而细的观察器,也可以达到光纤的柔软性、广阔的视场、高的分辨率。因为像素是按时间序列测量的,不是在二维像素阵列,所以不需要具有小的光子检测器。检测器的尺寸不像先有技术那样关键,在先有技术中许多小的检测器跨越一个大的区域。所以,本发明的观察器做得比现有的观察器小,而同时利用较少的光子检测器,后者大于标准观察器的像素检测器。
按照本发明的另一个优点,达到高的分辨率、广阔的视场、扫描、和柔软的光纤。尤其是把光纤谐振模式设置在光纤谐振波导的远端,在相对较小的光纤运动区域内可以达到宽阔的扫描角度。这就允许既有高分辨率,又有宽阔的视场。利用小的光点尺寸和通过与照明光相关地按时间捕获被检测的光,达到高的像素分辨率。用小的尺寸和低的功率消耗达到低成本、可任意使用的扫描装置。
尽管对本发明推荐的实施例已经作了说明和描述,但各种替代方案、修改和等效物都可以采用。例如,在某些实施例中,传感器装在光纤扫描器的端面上,来检测光纤位置,并利用电磁、静电、电机、光学或声学控制,帮助控制扫描图案。
在一些替代的实施例中,实现可变的或非直线扫描图案,诸如半径和矩心位置可变的椭圆形图案。例如,对于单个执行器、小尺寸眼睛跟踪和条码阅读器的实现,诸如旋转线性或辐射图案等这样的定制扫描图案是所希望的。
实现较慢的正交的扫描轴的替代方案包括运动的反射镜、透镜、光栅或它们的组合。这样的光学部件位于快速扫描谐振光纤和目标对象之间。
在某些实施例中,光纤的端面是斜切的,以便(i)减小光纤端面的质量,增大扫描振幅,(ii)减小扫描运动的物理范围,和/或(iii)减小光发射的点光源的有效尺寸。
在某些实施例中,包括偏振维持照明组件和偏振光纤,以便抑制经历了多重散射和色移的背景光。在某些实施例中,波导是在波导端面上具有发射光线的光源悬臂。
尽管描述了扫描光纤波导,在一个深度增强的方法和测距方法的替代实施例中,采用偏转的反射镜或悬臂组件来使输出光束在目标对象上扫描。
尽管在一个推荐的实施例中,发射和检测可见光,但是在一个替代的实施例中,发射和检测的光是紫外光、红外光。在某些实施例中,包括传感器,它向驱动系统的控制器提供反馈,控制器作为响应调整悬臂的偏转。结果,悬臂的偏转得到调整和控制。
因此,以上描述不应看作是对本发明范围的限制,本发明的范围由后附的权利要求书限定。
Claims (44)
1.一种用于产生目标表面图像的方法,包括以下步骤:
沿着相对于光轴扫描路径输出光束;
把所述输出光束聚焦在被扫描的所述目标表面上,其中在给定时刻使所述输出光束聚焦,射在所述目标的某点上,该点是被照明点,当所述输出光束在所述目标表面上扫描时,所述被照明点随着时间而改变;
响应所述输出光束,用多个检测器检测从所述目标表面返回的光,所述多个检测器中的每一个都具有各自相对于光轴的位置,其中所述多个检测器同时检测所述返回光;
利用所述多个检测器采集多个并发图像;
其中,所述多个并发图像具有基于用来产生所述返回光的共同光束的共同的表观视点,所述共同光束是所述输出光束;
其中,所述多个并发图像中的每一个图像具有不同的表观照明方向,所述多个图像中的一个给定图像的表观照明方向是以用于采集所述给定的一个图像的多个检测器中相应的一个或多个检测器各自的位置为依据的;和
处理所述多个并发图像,以便获得所述目标表面的输出图像,包括基于所述多个并发图像中的每一个的不同的表观照明方向的相对深度信息。
2.如权利要求1所述的方法,其特征在于:所述检测返回光的步骤包括检测从所述目标表面的某块面积返回的光,该面积大于所述被照明点所限定的面积。
3.如权利要求1所述的方法,其特征在于:所述处理步骤包括根据所述多个并发图像中的第一图像和第二图像产生所述目标表面法线的取向映射。
4.如权利要求3所述的方法,其特征在于:所述处理步骤还包括从所述取向映射建立取向直方图并把所述取向直方图与一个或多个原型取向直方图比较,以便对所述目标表面进行分类的步骤。
5.如权利要求3所述的方法,其特征在于:所述处理步骤还包括从所述取向映射建立深度映射的步骤。
6.如权利要求3所述的方法,其特征在于:所述处理步骤还包括从所述深度映射建立三维网格的步骤。
7.如权利要求6所述的方法,其特征在于:所述处理步骤包括利用虚拟照明和视点再现所述三维网格,以便同时增强深度感和表面拓扑或其中之一。
8.如权利要求6所述的方法,其特征在于:所述处理步骤包括从所述三维网格计算两个立体图像,其中计算观察者的双眼差异。
9.如权利要求1所述的方法,其特征在于:所述处理步骤包括再现所述输出图像,呈现比所述多个并发图像中每一个都增强的表面拓扑。
10.如权利要求1所述的方法,其特征在于:所述处理步骤包括再现所述输出图像,呈现比所述多个并发图像中的每一个都增强的照明透视。
11.如权利要求1所述的方法,其特征在于:所述处理步骤包括再现两个立体图像,其中计算观察者的双眼差异,所述两个立体图像是向所述观察者眼睛输出的图像。
12.如权利要求1所述的方法,其特征在于:所述输出光束包括可见光和紫外光,其中所述多个检测器中的第一检测器检测返回可见光,而所述多个检测器中的第二检测器检测返回紫外光。
13.如权利要求1所述的方法,其特征在于:所述输出光束包括可见光和红外光,其中所述多个检测器中的第一检测器检测返回可见光,而所述多个检测器中的第二检测器检测返回红外光。
14.如权利要求1所述的方法,其特征在于:所述输出光束是从谐振波导发出的输出光束,而且在所述输出步骤之前还包括以下步骤:
产生第一颜色的第一光束、第二颜色的第二光束和第三颜色的第三光束;以及
在进入所述谐振波导之前组合所述第一光束、所述第二光束和所述第三光束,所述组合后的第一光束、第二光束和第三光束形成所述输出光束。
15.如权利要求1所述的方法,其特征在于:所述输出光束是一系列光脉冲,而且其中所述检测返回光的步骤与所述一系列的光脉冲同步,所述给定时刻的所述检测的返回光对应于给定的光脉冲和所述采集的多个并发图像中某个图像的像素。
16.如权利要求1所述的方法,其特征在于:所述检测返回光的步骤包括检测反射光。
17.如权利要求1所述的方法,其特征在于:所述检测返回光的步骤包括检测响应所述输出光束而从所述目标表面发出的荧光。
18.如权利要求1所述的方法,其特征在于:所述检测返回光的步骤包括检测响应所述输出光束而从所述目标表面发出的磷光。
19.一种用于采集目标表面图像的系统,它包括:
发射光的光源;
执行器,它使发射的光相对于光轴沿着扫描路径偏转;
多个光子检测器,用于检测响应所述发射的光而从所述目标表面返回的光,所述多个光子检测器中的每一个相对于光轴都具有不同的位置,其中,利用所述多个光子检测器采集多个并发图像,所述多个并发图像具有基于用来产生所述返回光的共同光束的共同表观视点,所述共同光束包括所述发射的光,所述多个并发图像中的每一个图像都具有不同的表观照明方向,对于所述多个图像中的一个给定图像,其所述表观照明方向是以用于采集所述给定的一个图像的所述多个检测器中相应的一个或多个检测器各自的位置为依据的;和
处理器,它处理所述多个并发图像,以便产生所述目标表面的输出图像,包括基于来自所述多个并发图像中每一个图像的不同表观照明方向的深度信息。
20.如权利要求19所述的系统,其特征在于还包括:
柔性光波导,它接收所述发射的光并使所述发射的光导向目标表面,其中在给定时刻所述发射的光照射到所述目标表面的某点上,该点是被照明点;以及
其中所述执行器使所述波导偏转,进入谐振运动,所述被引导的光跟踪沿着所述目标表面的扫描路径。
21.如权利要求19所述的系统,其特征在于还包括:
反射镜,它接收所述发射的光并使所述光导向所述目标表面,其中在给定时刻所述光照射到所述目标表面的某点上,该点是被照明点;和
其中所述执行器使所述反射镜偏转,所述被引导的光跟踪沿着所述目标表面的扫描路径。
22.如权利要求19所述的系统,其特征在于还包括:
具有一个悬臂的悬臂组件,其中所述光源位于所述悬臂的远端,该光源沿所述悬臂的轴将所述发射的光导向目标表面,其中,在给定时刻所述被引导的发射的光照射到所述目标表面的某点上,该点是被照明点;和
其中,所述执行器使所述悬臂组件偏转,所述被引导的发射的光跟踪沿着所述目标表面的扫描路径。
23.如权利要求19所述的系统,其特征在于:所述多个检测器中的每一个都具有所述目标表面的超过被照明点尺寸的有效的观察区域;并且所述系统还包括相关器,在所述发射的光跟踪扫描路径时,使所述检测器的采样时间与所述发射的光相关,其中从所述目标表面的一部分的图像采集像素,其中所述采集的像素中每一个像素的分辨率与所述被照明点尺寸相应,以及其中从第一组检测器采集所述各并发图像中的第一个图像。
24.如权利要求19所述的系统,其特征在于:所述输出光束是第一颜色光束、第二颜色光束和第三颜色光束的组合;以及其中所述输出图像是彩色图像;
其中,所述多个检测器包括第一组检测器,所述第一组检测器包括:第一颜色的第一检测器,用以检测第一颜色光束的返回光;第二颜色的第一检测器,用以检测第二颜色光束的返回光;和第三颜色的第一检测器,用以检测第三颜色光束的返回光,而且其中从所述第一组检测器采集所述多个并发图像中的第一个图像。
25.如权利要求24所述的系统,其特征在于:所述多个检测器包括第二组检测器,所述第二组检测器包括:第一颜色的第二检测器,用以检测第一颜色光束的返回光;第二颜色的第二检测器,用以检测第二颜色光束的返回光;和第三颜色的第二检测器,用以检测第三颜色光束的返回光,而且其中从所述第二组检测器采集所述多个并发图像中的第二个图像。
26.如权利要求24所述的系统,其特征在于:所述多个检测器还包括第二检测器,所述第二检测器是多波长检测器,用以检测从第一颜色光束、第二颜色光束和第二颜色光束返回的光的亮度,其中所述多个并发图像中的第二个是从该第二检测器采集的。
27.如权利要求26所述的系统,其特征在于:所述多个检测器还包括第三检测器,其中从所述第三检测器采集所述多个并发图像中的第三个图像。
28.如权利要求19所述的系统,其特征在于:所述多个检测器还包括第一检测器和第二检测器,所述第一检测器用以采集所述各并发图像中的第一个图像,而所述第二检测器用以采集所述各并发图像中的第二个图像。
29.如权利要求28所述的系统,其特征在于:所述多个检测器还包括第三检测器,用以采集所述多个并发图像中的第三个图像。
30.如权利要求19所述的系统,其特征在于:所述处理器根据所述多个并发图像产生所述目标表面法线的取向映射。
31.如权利要求30所述的系统,其特征在于:所述处理器从所述取向映射建立取向直方图,并把所述取向直方图与一个或多个原型直方图比较,以便对所述目标表面进行分类。
32.如权利要求30所述的系统,其特征在于:所述处理器从所述取向映射建立深度映射。
33.如权利要求32所述的系统,其特征在于:所述处理器从所述深度映射建立三维网格。
34.如权利要求33所述的系统,其特征在于:所述处理器利用虚拟照明和视点再现所述三维网格,以便或者增强深度感和表面拓扑之一或者增强深度感知和表面拓扑两者。
35.如权利要求34所述的系统,其特征在于:所述处理器从所述三维网格计算两个立体图像,其中计算观察者双眼差异。
36.一种用于产生目标表面图像的方法,包括以下步骤:
从谐振的光纤波导输出光束,所述波导使所述输出光束沿着扫描路径扫描;
利用扫描透镜把所述输出光束聚焦在被扫描的所述目标表面上,其中在给定时刻使所述输出光束聚焦,射在所述目标的某点上,该点是被照明点,在所述输出光束在所述目标表面上扫描时,所述被照明点随着时间而改变;
利用具有相对于所述谐振光纤波导的第一位置的第一检测器和具有相对于所述谐振光纤波导的第二位置的第二检测器、响应所述输出光束而检测从所述目标表面返回的光,其中,所述第一检测器和第二检测器具有不同的取向轴,所述光纤波导具有轴线,所述第一检测器和所述第二检测器中至少一个具有不同于光纤波导轴线的取向轴;
对利用所述第一检测器和第二检测器获得的信号进行共模抑制,以便通过以差分方式排除环境光的光子来改善颜色保真度和所采集的图像的分辨率。
37.一种用于产生目标表面图像的方法,包括以下步骤:
沿着围绕光轴的扫描路径输出光束;
把所述输出光束聚焦在被扫描的所述目标表面上,其中在给定时刻使所述输出光束聚焦,射在所述目标的某点上,该点是被照明点,在所述输出光束在所述目标表面上扫描时,所述被照明点随着时间而改变;
利用多个检测器检测从所述目标表面返回的光,所述多个检测器相对于光轴具有总体上共焦的配置,所述多个检测器中的每一个都包括偏振滤光器,用以抑制经过多次散射和色移的背散射光。
38.一种用于产生目标表面图像的方法,包括以下步骤:
沿着围绕光轴的扫描路径输出光束;
把所述输出光束聚焦在被扫描的所述目标表面上,其中在给定时刻使所述输出光束聚焦,射在所述目标的某点上,该点是被照明点,在所述输出光束在所述目标表面上扫描时,所述被照明点随着时间而改变;
利用至少一个检测器检测从所述目标表面返回的光;
从利用所述检测器检测的所述返回光中采集第一图像的第一组多个像素;
测量到所述目标表面上一个或多个像素的距离;
处理所述第一图像和所述测得的距离,以便获得所述目标表面的输出图像,包括深度信息。
39.如权利要求38所述的方法,其特征在于:所述检测返回光的步骤包括检测来自至少两个检测器的返回光,而所述测量距离的步骤包括以下步骤:
检测由相应像素的所述至少两个检测器检测的所述返回光的相位差,所述相位差对应于到所述相应像素的所述目标表面的距离。
40.如权利要求38所述的方法,其特征在于:所述输出光束包括从高调制带宽激光二极管发射的光,而且其中在给定频率下发射激光脉冲;其中所述测量步骤包括:对于每一个脉冲,测量脉冲发射和相应返回脉冲的接收之间经过的时间,所述经过的时间与到所述目标表面上最近点的距离成正比。
41.如权利要求38所述的方法,其特征在于:所述输出光束包括利用光强度的高调制带宽从直接调制激光二极管发射的光,其中,所述测量步骤包括:以与所述调制对应的时间周期进行采样,以便测量相应的返回光的发射和接收之间经过的时间,所述经过的时间与到所述目标表面上最近点的距离成正比。
42.如权利要求38所述的方法,其特征在于:所述输出光束包括从可电子调谐的激光二极管发射的光,而所述输出步骤包括从所述激光二极管发射连续频率调制光;而且其中所述测量步骤包括使所述返回光与参考光混频,产生与到所述目标表面的距离成正比的拍频。
43.如权利要求38所述的方法,其特征在于所述检测返回光的步骤包括:
检测沿所述输出光束的所述路径反射回来的光,所述反射回来的光与所述输出光束呈现干涉图案;而且其中所述测量步骤包括利用脉冲方案对应关系使背返回光混频,求光强度波形的微商,所述微商表示到所述目标表面的距离。
44.如权利要求38所述的方法,其特征在于所述检测返回光的步骤包括:
检测沿所述输出光束的路径反射回来的光,所述反射回来的光与所述输出光束呈现干涉图案;而且其中所述测量步骤包括利用连续激光发射方案的对应关系使背返回光混频,求光强度波形的微商,所述微商表示到所述目标表面的距离。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/938,467 | 2001-08-23 | ||
US09/938,467 US6563105B2 (en) | 1999-06-08 | 2001-08-23 | Image acquisition with depth enhancement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1575524A CN1575524A (zh) | 2005-02-02 |
CN1310615C true CN1310615C (zh) | 2007-04-18 |
Family
ID=25471497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028209168A Expired - Fee Related CN1310615C (zh) | 2001-08-23 | 2002-08-22 | 深度增强的图像采集 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6563105B2 (zh) |
EP (1) | EP1430534A4 (zh) |
JP (1) | JP4080426B2 (zh) |
KR (1) | KR20040047791A (zh) |
CN (1) | CN1310615C (zh) |
AU (1) | AU2002331723B2 (zh) |
CA (1) | CA2457506A1 (zh) |
WO (1) | WO2003019661A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11047671B1 (en) | 2020-01-30 | 2021-06-29 | Veravanti Inc. | Forward looking RGB/optical coherence tomography duplex imager |
Families Citing this family (284)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6564168B1 (en) * | 1999-09-14 | 2003-05-13 | Immersion Corporation | High-resolution optical encoder with phased-array photodetectors |
US7555333B2 (en) * | 2000-06-19 | 2009-06-30 | University Of Washington | Integrated optical scanning image acquisition and display |
US6530882B1 (en) * | 2000-06-30 | 2003-03-11 | Inner Vision Imaging, L.L.C. | Endoscope having microscopic and macroscopic magnification |
AU2002239515A1 (en) * | 2000-12-08 | 2002-06-18 | Visx Incorporated | Direct wavefront-based corneal ablation treatment program |
DE10062187B4 (de) * | 2000-12-14 | 2005-08-04 | Schott Ag | Verwendung einer Vorrichtung zum Keramisieren des Ausgangsglases einer Glaskeramik |
US20020138264A1 (en) * | 2001-03-21 | 2002-09-26 | International Business Machines Corporation | Apparatus to convey depth information in graphical images and method therefor |
US7616986B2 (en) * | 2001-05-07 | 2009-11-10 | University Of Washington | Optical fiber scanner for performing multimodal optical imaging |
US20030232297A1 (en) * | 2002-06-12 | 2003-12-18 | Sameer Pareek | Child-resistant disposable lighter |
DE10393608B4 (de) * | 2002-10-30 | 2022-06-09 | Optiscan Pty Ltd. | Scanverfahren und - vorrichtung, konfokales Lichtleitfaser-Endoskop, -Mikroskop, oder -Endomikroskop mit einer Scanvorrichtung sowie Lichtleitfaser-Endoskop, -Mikroskop oder - Endomikroskop mit einer Scanvorrichtung |
EP1592992B1 (en) * | 2003-01-24 | 2012-05-30 | University of Washington | Optical beam scanning system for compact image display or image acquisition |
GB0307307D0 (en) * | 2003-03-29 | 2003-05-07 | Atelier Vision Ltd | Image processing |
US7448995B2 (en) * | 2003-06-23 | 2008-11-11 | Microvision, Inc. | Scanning endoscope |
CN100457020C (zh) * | 2003-06-23 | 2009-02-04 | 微视公司 | 扫描内窥镜 |
KR100464584B1 (ko) * | 2003-07-10 | 2005-01-03 | 에이앤디엔지니어링 주식회사 | 레이저 거리 측정 장치 및 그 방법 |
US20050027164A1 (en) * | 2003-07-29 | 2005-02-03 | Scimed Life Systems, Inc. | Vision catheter |
US20050027163A1 (en) * | 2003-07-29 | 2005-02-03 | Scimed Life Systems, Inc. | Vision catheter |
US7564015B2 (en) * | 2003-08-06 | 2009-07-21 | Litton Systems, Inc. | System and method for processing and displaying light energy |
US20050038322A1 (en) * | 2003-08-11 | 2005-02-17 | Scimed Life Systems | Imaging endoscope |
EP1691666B1 (en) | 2003-12-12 | 2012-05-30 | University of Washington | Catheterscope 3d guidance and interface system |
US7751694B2 (en) * | 2004-02-13 | 2010-07-06 | Angstrom, Inc. | Three-dimensional endoscope imaging and display system |
US7088239B2 (en) * | 2004-03-02 | 2006-08-08 | Vann Basinger | Method and apparatus for all-purpose, automatic remote utility meter reading, utility shut off, and hazard warning and correction |
US7273452B2 (en) * | 2004-03-04 | 2007-09-25 | Scimed Life Systems, Inc. | Vision catheter system including movable scanning plate |
US7298938B2 (en) * | 2004-10-01 | 2007-11-20 | University Of Washington | Configuration memory for a scanning beam device |
JP2008514344A (ja) | 2004-10-01 | 2008-05-08 | ユニバーシティ・オブ・ワシントン | スキャニング・ビーム・デバイス用の構成メモリ |
JP5190267B2 (ja) * | 2004-10-01 | 2013-04-24 | ユニバーシティ・オブ・ワシントン | イメージの歪みを減らす再マッピング法 |
US8929688B2 (en) * | 2004-10-01 | 2015-01-06 | University Of Washington | Remapping methods to reduce distortions in images |
US20060095100A1 (en) * | 2004-10-29 | 2006-05-04 | Kian Shin Lee | Method and apparatus for regulating light administered at a patient treatment site |
US7784697B2 (en) | 2004-12-23 | 2010-08-31 | University Of Washington | Methods of driving a scanning beam device to achieve high frame rates |
US7189961B2 (en) | 2005-02-23 | 2007-03-13 | University Of Washington | Scanning beam device with detector assembly |
US7530948B2 (en) | 2005-02-28 | 2009-05-12 | University Of Washington | Tethered capsule endoscope for Barrett's Esophagus screening |
US20060226231A1 (en) * | 2005-03-29 | 2006-10-12 | University Of Washington | Methods and systems for creating sequential color images |
WO2006104489A1 (en) * | 2005-03-29 | 2006-10-05 | University Of Washington | Methods and systems for creating sequential color images |
US8320612B2 (en) * | 2005-06-09 | 2012-11-27 | Naviswiss Ag | System and method for the contactless determination and measurement of a spatial position and/or a spatial orientation of bodies, method for the calibration and testing, in particular, medical tools as well as patterns or structures on, in particular, medical tools |
DE602006003345D1 (de) * | 2005-06-28 | 2008-12-04 | Koninkl Philips Electronics Nv | Kartierung eines oberflächenprofils |
US7395967B2 (en) * | 2005-07-21 | 2008-07-08 | University Of Washington | Methods and systems for counterbalancing a scanning beam device |
US7312879B2 (en) * | 2005-08-23 | 2007-12-25 | University Of Washington | Distance determination in a scanned beam image capture device |
JP4647449B2 (ja) * | 2005-09-22 | 2011-03-09 | 富士フイルム株式会社 | 試料分析装置 |
GB0519769D0 (en) * | 2005-09-28 | 2005-11-09 | Imp College Innovations Ltd | Imaging system |
JP2007105140A (ja) * | 2005-10-12 | 2007-04-26 | National Univ Corp Shizuoka Univ | 自己混合レーザを用いる三次元計測内視鏡 |
EP1954193B1 (en) | 2005-11-23 | 2013-03-06 | University of Washington | Scanning beam with variable sequential framing using interrupted scanning resonance |
JP2007144024A (ja) * | 2005-11-30 | 2007-06-14 | National Univ Corp Shizuoka Univ | 自己混合レーザを用いる三次元計測内視鏡 |
US20070184238A1 (en) * | 2006-02-06 | 2007-08-09 | Energy Related Devices, Inc. | Laminate actuators and valves |
US7534205B2 (en) * | 2006-02-27 | 2009-05-19 | Microvision, Inc. | Methods and apparatuses for selecting and displaying an image with the best focus |
EP1991314A2 (en) * | 2006-03-03 | 2008-11-19 | University of Washington | Multi-cladding optical fiber scanner |
DE102006017003A1 (de) * | 2006-04-11 | 2007-10-18 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Endoskop zur Tiefendatenakquisition |
JP5398524B2 (ja) * | 2006-05-09 | 2014-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 対象物内部の3次元イメージングのためのイメージングシステム及びこの作動方法 |
US7784696B2 (en) | 2006-06-09 | 2010-08-31 | Hand Held Products, Inc. | Indicia reading apparatus having image sensing and processing circuit |
US7740176B2 (en) * | 2006-06-09 | 2010-06-22 | Hand Held Products, Inc. | Indicia reading apparatus having reduced trigger-to-read time |
JP2010501246A (ja) * | 2006-08-21 | 2010-01-21 | ユニヴァーシティ オブ ワシントン | 多モード動作のための非共振的照明及び共振的集光/画像化機能を有する光ファイバスコープ |
US20080058629A1 (en) * | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
US8615284B2 (en) | 2006-09-06 | 2013-12-24 | Innurvation, Inc. | Method for acoustic information exchange involving an ingestible low power capsule |
JP4305483B2 (ja) * | 2006-09-12 | 2009-07-29 | ソニー株式会社 | 映像信号生成装置,映像信号受信装置及び映像信号生成・受信システム |
US7680373B2 (en) * | 2006-09-13 | 2010-03-16 | University Of Washington | Temperature adjustment in scanning beam devices |
US9079762B2 (en) | 2006-09-22 | 2015-07-14 | Ethicon Endo-Surgery, Inc. | Micro-electromechanical device |
US20080118886A1 (en) * | 2006-11-21 | 2008-05-22 | Rongguang Liang | Apparatus for dental oct imaging |
US20080132834A1 (en) * | 2006-12-04 | 2008-06-05 | University Of Washington | Flexible endoscope tip bending mechanism using optical fibers as tension members |
US8011112B2 (en) * | 2006-12-07 | 2011-09-06 | Leica Geosystems Ag | Method and apparatus for determining positions |
US7447415B2 (en) * | 2006-12-15 | 2008-11-04 | University Of Washington | Attaching optical fibers to actuator tubes with beads acting as spacers and adhesives |
US7738762B2 (en) * | 2006-12-15 | 2010-06-15 | University Of Washington | Attaching optical fibers to actuator tubes with beads acting as spacers and adhesives |
US7713265B2 (en) | 2006-12-22 | 2010-05-11 | Ethicon Endo-Surgery, Inc. | Apparatus and method for medically treating a tattoo |
US8801606B2 (en) | 2007-01-09 | 2014-08-12 | Ethicon Endo-Surgery, Inc. | Method of in vivo monitoring using an imaging system including scanned beam imaging unit |
US8273015B2 (en) | 2007-01-09 | 2012-09-25 | Ethicon Endo-Surgery, Inc. | Methods for imaging the anatomy with an anatomically secured scanner assembly |
US8305432B2 (en) | 2007-01-10 | 2012-11-06 | University Of Washington | Scanning beam device calibration |
DE202007018027U1 (de) * | 2007-01-31 | 2008-04-17 | Richard Wolf Gmbh | Endoskopsystem |
KR100859253B1 (ko) * | 2007-02-09 | 2008-09-18 | 한국원자력연구원 | 실시간 대구경 레이저 빔의 근시야상 검출을 위한 리니어ccd 신호처리시스템 및 방법 |
ATE505130T1 (de) * | 2007-02-20 | 2011-04-15 | Koninkl Philips Electronics Nv | Optische vorrichtung zur bewertung der optischen tiefe einer probe |
WO2008111970A1 (en) * | 2007-03-09 | 2008-09-18 | University Of Washington | Side viewing optical fiber endoscope |
US20080221388A1 (en) * | 2007-03-09 | 2008-09-11 | University Of Washington | Side viewing optical fiber endoscope |
US8216214B2 (en) | 2007-03-12 | 2012-07-10 | Ethicon Endo-Surgery, Inc. | Power modulation of a scanning beam for imaging, therapy, and/or diagnosis |
US8840566B2 (en) | 2007-04-02 | 2014-09-23 | University Of Washington | Catheter with imaging capability acts as guidewire for cannula tools |
US20080243030A1 (en) * | 2007-04-02 | 2008-10-02 | University Of Washington | Multifunction cannula tools |
US7583872B2 (en) * | 2007-04-05 | 2009-09-01 | University Of Washington | Compact scanning fiber device |
US7995045B2 (en) | 2007-04-13 | 2011-08-09 | Ethicon Endo-Surgery, Inc. | Combined SBI and conventional image processor |
US8626271B2 (en) | 2007-04-13 | 2014-01-07 | Ethicon Endo-Surgery, Inc. | System and method using fluorescence to examine within a patient's anatomy |
US7608842B2 (en) * | 2007-04-26 | 2009-10-27 | University Of Washington | Driving scanning fiber devices with variable frequency drive signals |
WO2008137710A1 (en) * | 2007-05-03 | 2008-11-13 | University Of Washington | High resolution optical coherence tomography based imaging for intraluminal and interstitial use implemented with a reduced form factor |
US20080281207A1 (en) * | 2007-05-08 | 2008-11-13 | University Of Washington | Image acquisition through filtering in multiple endoscope systems |
US20080281159A1 (en) * | 2007-05-08 | 2008-11-13 | University Of Washington | Coordinating image acquisition among multiple endoscopes |
US8212884B2 (en) * | 2007-05-22 | 2012-07-03 | University Of Washington | Scanning beam device having different image acquisition modes |
US8160678B2 (en) | 2007-06-18 | 2012-04-17 | Ethicon Endo-Surgery, Inc. | Methods and devices for repairing damaged or diseased tissue using a scanning beam assembly |
US8068899B2 (en) | 2007-07-03 | 2011-11-29 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system of using intrinsic-based photosensing with high-speed line scanning for characterization of biological thick tissue including muscle |
US7982776B2 (en) | 2007-07-13 | 2011-07-19 | Ethicon Endo-Surgery, Inc. | SBI motion artifact removal apparatus and method |
US8437587B2 (en) * | 2007-07-25 | 2013-05-07 | University Of Washington | Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator |
US9125552B2 (en) | 2007-07-31 | 2015-09-08 | Ethicon Endo-Surgery, Inc. | Optical scanning module and means for attaching the module to medical instruments for introducing the module into the anatomy |
US7983739B2 (en) | 2007-08-27 | 2011-07-19 | Ethicon Endo-Surgery, Inc. | Position tracking and control for a scanning assembly |
US7925333B2 (en) | 2007-08-28 | 2011-04-12 | Ethicon Endo-Surgery, Inc. | Medical device including scanned beam unit with operational control features |
JP2009066090A (ja) * | 2007-09-12 | 2009-04-02 | Npo Comfortable Urology Network | 下部尿路障害を診断する方法 |
US7522813B1 (en) * | 2007-10-04 | 2009-04-21 | University Of Washington | Reducing distortion in scanning fiber devices |
EP2208354A4 (en) | 2007-10-10 | 2010-12-22 | Gerard Dirk Smits | IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING |
US7978312B2 (en) | 2007-11-01 | 2011-07-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Three-dimensional range imaging apparatus and method |
KR101344490B1 (ko) | 2007-11-06 | 2013-12-24 | 삼성전자주식회사 | 영상 생성 방법 및 장치 |
US20090137893A1 (en) * | 2007-11-27 | 2009-05-28 | University Of Washington | Adding imaging capability to distal tips of medical tools, catheters, and conduits |
US7791009B2 (en) * | 2007-11-27 | 2010-09-07 | University Of Washington | Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber |
US8411922B2 (en) * | 2007-11-30 | 2013-04-02 | University Of Washington | Reducing noise in images acquired with a scanning beam device |
US8811763B2 (en) * | 2007-12-06 | 2014-08-19 | The United States Of America As Represented By The Secretary Of The Army | Method and system for producing image frames using quantum properties |
US8152069B2 (en) * | 2007-12-28 | 2012-04-10 | Metrologic Instruments, Inc. | Dual focus imaging based symbology reading system |
US8529441B2 (en) | 2008-02-12 | 2013-09-10 | Innurvation, Inc. | Ingestible endoscopic optical scanning device |
US20100016662A1 (en) * | 2008-02-21 | 2010-01-21 | Innurvation, Inc. | Radial Scanner Imaging System |
US8957484B2 (en) | 2008-02-29 | 2015-02-17 | University Of Washington | Piezoelectric substrate, fabrication and related methods |
US8050520B2 (en) | 2008-03-27 | 2011-11-01 | Ethicon Endo-Surgery, Inc. | Method for creating a pixel image from sampled data of a scanned beam imager |
DE102008018636B4 (de) * | 2008-04-11 | 2011-01-05 | Storz Endoskop Produktions Gmbh | Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung |
DE102008018637A1 (de) * | 2008-04-11 | 2009-10-15 | Storz Endoskop Produktions Gmbh | Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung |
US9125562B2 (en) | 2009-07-01 | 2015-09-08 | Avinger, Inc. | Catheter-based off-axis optical coherence tomography imaging system |
US8062316B2 (en) | 2008-04-23 | 2011-11-22 | Avinger, Inc. | Catheter system and method for boring through blocked vascular passages |
US8696695B2 (en) | 2009-04-28 | 2014-04-15 | Avinger, Inc. | Guidewire positioning catheter |
US8332014B2 (en) | 2008-04-25 | 2012-12-11 | Ethicon Endo-Surgery, Inc. | Scanned beam device and method using same which measures the reflectance of patient tissue |
US8757812B2 (en) * | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
TR201901658T4 (tr) | 2008-05-20 | 2019-02-21 | Univ Health Network | Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot |
US8983581B2 (en) * | 2008-05-27 | 2015-03-17 | Massachusetts Institute Of Technology | System and method for large field of view, single cell analysis |
US20100002302A1 (en) * | 2008-07-01 | 2010-01-07 | Jacques Duparre | Method and apparatus for chief ray angle correction using a diffractive lens |
US8617058B2 (en) | 2008-07-09 | 2013-12-31 | Innurvation, Inc. | Displaying image data from a scanner capsule |
KR101556593B1 (ko) * | 2008-07-15 | 2015-10-02 | 삼성전자주식회사 | 영상 처리 방법 |
JP5467756B2 (ja) | 2008-11-14 | 2014-04-09 | Hoya株式会社 | 内視鏡装置 |
CN101751661B (zh) * | 2008-12-01 | 2012-12-19 | 奇景光电股份有限公司 | 深度相关的影像加强系统及方法 |
JP2010131161A (ja) | 2008-12-04 | 2010-06-17 | Hoya Corp | 光走査型内視鏡プロセッサ、画像処理装置、および光走査型内視鏡システム |
JP5210894B2 (ja) * | 2009-01-13 | 2013-06-12 | Hoya株式会社 | 光走査型内視鏡 |
JP2010253156A (ja) * | 2009-04-28 | 2010-11-11 | Fujifilm Corp | 内視鏡システム、内視鏡、並びに内視鏡駆動方法 |
EP2245982A1 (en) * | 2009-04-30 | 2010-11-03 | BAE Systems PLC | Endoscopic method and device |
US8457716B2 (en) * | 2009-05-04 | 2013-06-04 | Covidien Lp | Time of flight based tracheal tube placement system and method |
US9155471B2 (en) | 2009-05-27 | 2015-10-13 | Lumicell, Inc'. | Methods and systems for spatially identifying abnormal cells |
JP6101078B2 (ja) | 2009-05-28 | 2017-03-29 | アビンガー・インコーポレイテッドAvinger, Inc. | バイオイメージングのための光コヒーレンストモグラフィ |
JP5498728B2 (ja) * | 2009-06-09 | 2014-05-21 | Hoya株式会社 | 医療用観察システム |
JP2010284369A (ja) * | 2009-06-12 | 2010-12-24 | Fujifilm Corp | 内視鏡システム、内視鏡、並びに内視鏡駆動方法 |
EP2448502B1 (en) | 2009-07-01 | 2022-04-06 | Avinger, Inc. | Atherectomy catheter with laterally-displaceable tip |
US9298078B2 (en) | 2009-07-10 | 2016-03-29 | Steropes Technologies, Llc | Method and apparatus for generating three-dimensional image information using a single imaging path |
JP5388732B2 (ja) * | 2009-07-15 | 2014-01-15 | Hoya株式会社 | 医療用観察システムおよびプロセッサ |
JP2011036462A (ja) * | 2009-08-12 | 2011-02-24 | Hoya Corp | 医療用観察システム |
KR101851732B1 (ko) * | 2009-08-17 | 2018-04-24 | 코닌클리케 필립스 엔.브이. | Smi 센서 및 대응하는 센서 디바이스를 동작시키는 방법 |
US8195013B2 (en) * | 2009-08-19 | 2012-06-05 | The United States Of America, As Represented By The Secretary Of The Navy | Miniature fiber optic temperature sensors |
WO2011072068A2 (en) | 2009-12-08 | 2011-06-16 | Avinger, Inc. | Devices and methods for predicting and preventing restenosis |
US8638329B2 (en) * | 2009-12-09 | 2014-01-28 | Deluxe 3D Llc | Auto-stereoscopic interpolation |
US8538135B2 (en) | 2009-12-09 | 2013-09-17 | Deluxe 3D Llc | Pulling keys from color segmented images |
JP2011125598A (ja) * | 2009-12-21 | 2011-06-30 | Hoya Corp | 内視鏡装置 |
US20110175981A1 (en) * | 2010-01-19 | 2011-07-21 | Chun-Hung Lai | 3d color image sensor |
JP5435796B2 (ja) * | 2010-02-18 | 2014-03-05 | 富士フイルム株式会社 | 画像取得装置の作動方法および画像撮像装置 |
WO2011104706A1 (en) * | 2010-02-23 | 2011-09-01 | Ben-Gurion University Of The Negev Research And Development Authority | A system and method for providing 3d imaging |
US8982182B2 (en) * | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
US8647259B2 (en) | 2010-03-26 | 2014-02-11 | Innurvation, Inc. | Ultrasound scanning capsule endoscope (USCE) |
DE212010000134U1 (de) | 2010-04-28 | 2012-04-24 | Torus Medical Ltd. | Vorrichtung zur Erstreckung eines Schlauches |
US9661992B2 (en) | 2010-04-28 | 2017-05-30 | Torus Medical Ltd. | Method and apparatus for extending a tube |
SE534835C2 (sv) * | 2010-05-18 | 2012-01-17 | Gynius Ab | Portabel anordning för cervisk undersökning innefattande flera ljusemitterande dioder anordnade i grupper |
CN102293630B (zh) * | 2010-06-22 | 2013-03-27 | 明达医学科技股份有限公司 | 具有高活动自由度的内视装置 |
WO2014039099A1 (en) | 2012-09-06 | 2014-03-13 | Avinger, Inc. | Balloon atherectomy catheters with imaging |
US11382653B2 (en) | 2010-07-01 | 2022-07-12 | Avinger, Inc. | Atherectomy catheter |
WO2014039096A1 (en) | 2012-09-06 | 2014-03-13 | Avinger, Inc. | Re-entry stylet for catheter |
CA2803992C (en) | 2010-07-01 | 2018-03-20 | Avinger, Inc. | Atherectomy catheters with longitudinally displaceable drive shafts |
KR101030352B1 (ko) | 2010-07-30 | 2011-04-20 | 인하대학교 산학협력단 | 포톤 탐사법을 이용한 개선된 점진적 포톤 매핑 방법 |
KR101051715B1 (ko) * | 2010-11-12 | 2011-07-26 | 삼성탈레스 주식회사 | 영상추적 표적 장치 |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
JP5570436B2 (ja) * | 2011-01-06 | 2014-08-13 | Hoya株式会社 | キャリブレーション装置、及びキャリブレーション方法 |
US8698084B2 (en) * | 2011-03-10 | 2014-04-15 | Sionyx, Inc. | Three dimensional sensors, systems, and associated methods |
JP2012196344A (ja) * | 2011-03-22 | 2012-10-18 | Panasonic Corp | 内視鏡 |
EP3135232B1 (en) | 2011-03-28 | 2018-05-02 | Avinger, Inc. | Occlusion-crossing devices, imaging, and atherectomy devices |
US9949754B2 (en) | 2011-03-28 | 2018-04-24 | Avinger, Inc. | Occlusion-crossing devices |
TW201243287A (en) * | 2011-04-28 | 2012-11-01 | Hon Hai Prec Ind Co Ltd | Laser range finder |
KR101087172B1 (ko) * | 2011-07-13 | 2011-11-28 | 동국대학교 경주캠퍼스 산학협력단 | 고온 금속 표면 3차원 형상 추출 시스템 및 방법 |
JP5911238B2 (ja) * | 2011-09-02 | 2016-04-27 | オリンパス株式会社 | 光走査デバイス及びこれを備えた内視鏡、顕微鏡、プロジェクター |
WO2013033811A1 (en) | 2011-09-08 | 2013-03-14 | Front Street Investment Management Inc. | Method and apparatus for illuminating a field of view of an optical system for generating three dimensional image information |
KR101080508B1 (ko) | 2011-09-14 | 2011-11-04 | 인하대학교 산학협력단 | 다단계 점진적 포톤 매핑 방법 |
CN104796613A (zh) * | 2011-09-28 | 2015-07-22 | 原相科技股份有限公司 | 影像系统 |
EP2768406B1 (en) | 2011-10-17 | 2019-12-04 | Avinger, Inc. | Atherectomy catheters and non-contact actuation mechanism for catheters |
EP3501372A1 (en) * | 2011-11-09 | 2019-06-26 | Olympus Corporation | Endoscope and endoscope device |
US9345406B2 (en) | 2011-11-11 | 2016-05-24 | Avinger, Inc. | Occlusion-crossing devices, atherectomy devices, and imaging |
JP5875845B2 (ja) * | 2011-12-02 | 2016-03-02 | オリンパス株式会社 | 測距機能付内視鏡 |
JP6033000B2 (ja) | 2011-12-20 | 2016-11-30 | オリンパス株式会社 | 走査型内視鏡 |
WO2013109978A1 (en) | 2012-01-20 | 2013-07-25 | University Of Washington Through Its Center For Commercialization | Dental demineralization detection, methods and systems |
US9472005B1 (en) * | 2012-04-18 | 2016-10-18 | Amazon Technologies, Inc. | Projection and camera system for augmented reality environment |
GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
EP2849661B1 (en) | 2012-05-14 | 2020-12-09 | Avinger, Inc. | Atherectomy catheters with imaging |
EP2849660B1 (en) | 2012-05-14 | 2021-08-25 | Avinger, Inc. | Atherectomy catheter drive assemblies |
WO2013172972A1 (en) | 2012-05-14 | 2013-11-21 | Avinger, Inc. | Optical coherence tomography with graded index fiber for biological imaging |
WO2013175686A1 (ja) * | 2012-05-22 | 2013-11-28 | パナソニック株式会社 | 撮像処理装置および内視鏡 |
US11284916B2 (en) | 2012-09-06 | 2022-03-29 | Avinger, Inc. | Atherectomy catheters and occlusion crossing devices |
US9498247B2 (en) | 2014-02-06 | 2016-11-22 | Avinger, Inc. | Atherectomy catheters and occlusion crossing devices |
CN104053394B (zh) * | 2012-10-11 | 2016-06-22 | 奥林巴斯株式会社 | 内窥镜装置和治疗装置 |
KR102086509B1 (ko) | 2012-11-23 | 2020-03-09 | 엘지전자 주식회사 | 3차원 영상 획득 방법 및 장치 |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9823351B2 (en) * | 2012-12-18 | 2017-11-21 | Uber Technologies, Inc. | Multi-clad fiber based optical apparatus and methods for light detection and ranging sensors |
JP6057743B2 (ja) * | 2013-01-29 | 2017-01-11 | オリンパス株式会社 | 光走査装置 |
FR3003112B1 (fr) * | 2013-03-05 | 2015-04-10 | Commissariat Energie Atomique | Procede et systeme d'acquisition d'image |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US20150374210A1 (en) * | 2013-03-13 | 2015-12-31 | Massachusetts Institute Of Technology | Photometric stereo endoscopy |
WO2014152389A1 (en) | 2013-03-14 | 2014-09-25 | Lumicell, Inc. | Imaging agent for detection of diseased cells |
US9470520B2 (en) | 2013-03-14 | 2016-10-18 | Apparate International C.V. | LiDAR scanner |
EP2967507B1 (en) | 2013-03-15 | 2018-09-05 | Avinger, Inc. | Tissue collection device for catheter |
US9854979B2 (en) | 2013-03-15 | 2018-01-02 | Avinger, Inc. | Chronic total occlusion crossing devices with imaging |
WO2014142958A1 (en) | 2013-03-15 | 2014-09-18 | Avinger, Inc. | Optical pressure sensor assembly |
JP6517198B2 (ja) | 2013-07-08 | 2019-05-22 | アビンガー・インコーポレイテッドAvinger, Inc. | 介入療法を案内する弾性層の識別 |
JP6422872B2 (ja) * | 2013-09-11 | 2018-11-14 | オリンパス株式会社 | 光走査装置 |
US10062171B2 (en) * | 2013-09-16 | 2018-08-28 | Technion Research & Development Foundation Limited | 3D reconstruction from photometric stereo with shadows |
JP6127869B2 (ja) * | 2013-09-25 | 2017-05-17 | ソニー株式会社 | 固体撮像素子及びその駆動方法、並びに電子機器 |
WO2015077614A1 (en) | 2013-11-22 | 2015-05-28 | Schwarz Brent S | Lidar scanner calibration |
CN103654699B (zh) * | 2013-12-10 | 2016-05-25 | 西安电子科技大学 | 一种激发荧光双目内窥系统的成像方法 |
FR3015698B1 (fr) * | 2013-12-20 | 2022-10-14 | Turbomeca | Endoscope et procede pour son utilisation |
US10117563B2 (en) * | 2014-01-09 | 2018-11-06 | Gyrus Acmi, Inc. | Polyp detection from an image |
DE102014200833A1 (de) * | 2014-01-17 | 2015-07-23 | Olympus Winter & Ibe Gmbh | Verfahren zur Steuerung einer Videobildverarbeitung, Bildverarbeitungssteuerungssoftware sowie Video-Endoskopiesystem |
US10080484B2 (en) | 2014-01-31 | 2018-09-25 | University Of Washington | Multispectral wide-field endoscopic imaging of fluorescence |
CA2938972A1 (en) | 2014-02-06 | 2015-08-13 | Avinger, Inc. | Atherectomy catheters and occlusion crossing devices |
WO2015125976A1 (ja) * | 2014-02-21 | 2015-08-27 | オリンパス株式会社 | 光の走査軌跡の算出方法及び光走査装置 |
JP6309356B2 (ja) * | 2014-06-10 | 2018-04-11 | オリンパス株式会社 | 光ファイバスキャナ、照明装置および観察装置 |
JP6728128B2 (ja) | 2014-07-08 | 2020-07-22 | アビンガー・インコーポレイテッドAvinger, Inc. | 慢性完全閉塞高速クロッシングデバイス |
TW201606331A (zh) * | 2014-07-14 | 2016-02-16 | 海特根微光學公司 | 可操作以區別表示自一目標物反射之信號及表示一假性反射之信號之光電模組 |
WO2016011534A1 (en) | 2014-07-24 | 2016-01-28 | University Health Network | Collection and analysis of data for diagnostic purposes |
US9377533B2 (en) | 2014-08-11 | 2016-06-28 | Gerard Dirk Smits | Three-dimensional triangulation and time-of-flight based tracking systems and methods |
EP3150103A4 (en) * | 2014-09-25 | 2018-02-21 | Olympus Corporation | Endoscope system |
JP6392887B2 (ja) * | 2014-10-28 | 2018-09-19 | オリンパス株式会社 | 光走査型内視鏡装置 |
US10073177B2 (en) | 2014-11-14 | 2018-09-11 | Massachusetts Institute Of Technology | Methods and apparatus for phased array imaging |
WO2016109599A1 (en) * | 2014-12-29 | 2016-07-07 | Magic Leap, Inc. | Light projector using an acousto-optical control device |
KR102317329B1 (ko) * | 2015-01-02 | 2021-10-26 | 삼성전자주식회사 | 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치 |
WO2016117162A1 (ja) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | 光走査型観察システム |
US9910260B2 (en) | 2015-01-21 | 2018-03-06 | Siemens Energy, Inc. | Method and apparatus for turbine internal visual inspection with foveated image optical head |
US9912848B2 (en) * | 2015-01-21 | 2018-03-06 | Siemens Energy, Inc. | Method and apparatus for turbine internal visual inspection with foveated optical head and dual image display |
WO2016116963A1 (ja) * | 2015-01-21 | 2016-07-28 | オリンパス株式会社 | 光走査方法及び光走査装置 |
WO2016116962A1 (ja) * | 2015-01-21 | 2016-07-28 | オリンパス株式会社 | 光走査方法及び光走査装置 |
JP6567850B2 (ja) * | 2015-03-20 | 2019-08-28 | 富士通株式会社 | 撮影装置 |
FR3036195B1 (fr) * | 2015-05-12 | 2018-05-25 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procede d’observation d’un objet, avec prise en compte de la distance entre le dispositif et l’objet. |
CN105004282B (zh) * | 2015-06-19 | 2018-01-16 | 上海图漾信息科技有限公司 | 深度数据检测装置 |
CN105357511B (zh) * | 2015-12-08 | 2018-05-15 | 上海图漾信息科技有限公司 | 深度数据检测系统 |
CN107920780B (zh) | 2015-07-13 | 2022-01-11 | 阿维格公司 | 用于图像引导治疗/诊断导管的微模制畸变反射透镜 |
JP6698655B2 (ja) * | 2015-07-22 | 2020-05-27 | パナソニック株式会社 | 測距装置 |
JP6603074B2 (ja) | 2015-08-25 | 2019-11-06 | 株式会社トプコン | 眼底撮影装置 |
PL3139147T3 (pl) * | 2015-09-02 | 2021-05-17 | Trioptics Gmbh | Przyrząd i sposób pomiaru zależnego od długości fali optycznego parametru systemu optycznego |
US10408926B2 (en) * | 2015-09-18 | 2019-09-10 | Qualcomm Incorporated | Implementation of the focal plane 2D APD array for hyperion lidar system |
US9753126B2 (en) | 2015-12-18 | 2017-09-05 | Gerard Dirk Smits | Real time position sensing of objects |
US10313657B2 (en) * | 2015-12-25 | 2019-06-04 | Boe Technology Group Co., Ltd. | Depth map generation apparatus, method and non-transitory computer-readable medium therefor |
WO2017132247A1 (en) | 2016-01-25 | 2017-08-03 | Avinger, Inc. | Oct imaging catheter with lag correction |
EP3902249A1 (en) | 2016-03-01 | 2021-10-27 | Magic Leap, Inc. | Depth sensing systems and methods |
CA3016468A1 (en) | 2016-03-08 | 2017-09-14 | Zebra Medical Technologies, Inc. | Non-invasive detection of skin disease |
JP6959255B2 (ja) | 2016-04-01 | 2021-11-02 | アビンガー・インコーポレイテッドAvinger, Inc. | 粥腫切除用カテーテルデバイス |
EP3463123A4 (en) | 2016-06-03 | 2020-01-08 | Avinger, Inc. | CATHETER DEVICE WITH DETACHABLE DISTAL END |
US11224459B2 (en) | 2016-06-30 | 2022-01-18 | Avinger, Inc. | Atherectomy catheter with shapeable distal tip |
DE102016009936A1 (de) * | 2016-08-08 | 2018-02-08 | Blickfeld GmbH | LIDAR-System mit beweglicher Lichtfaser |
US20180217237A1 (en) * | 2016-08-11 | 2018-08-02 | Qualcomm Incorporated | Optimized piezoelectric driver for lidar beam deflection |
US10534074B2 (en) * | 2016-08-31 | 2020-01-14 | Qualcomm Incorporated | Hybrid scanning lidar systems |
JP6765928B2 (ja) * | 2016-10-11 | 2020-10-07 | 株式会社日立製作所 | 光走査装置、tof型分析装置、および光干渉断層計測装置 |
US11883132B2 (en) | 2016-10-28 | 2024-01-30 | University Of Washington | System and method for ranking bacterial activity leading to tooth and gum disease |
CN110073243B (zh) | 2016-10-31 | 2023-08-04 | 杰拉德·迪尔克·施密茨 | 利用动态体素探测的快速扫描激光雷达 |
CN110226184B (zh) | 2016-12-27 | 2023-07-14 | 杰拉德·迪尔克·施密茨 | 用于机器感知的系统和方法 |
CN106908148B (zh) * | 2017-03-06 | 2018-08-24 | 中国科学院合肥物质科学研究院 | 一种红外干涉图重建方法 |
CN106842227B (zh) * | 2017-03-07 | 2019-04-16 | 中国科学院大学 | 基于零折射率超材料的精密光学测距方法 |
US10262453B2 (en) * | 2017-03-24 | 2019-04-16 | Siemens Healthcare Gmbh | Virtual shadows for enhanced depth perception |
WO2018184919A1 (en) * | 2017-04-06 | 2018-10-11 | Philips Lighting Holding B.V. | Optical wake-up detection for a user interface device |
WO2018201082A1 (en) | 2017-04-28 | 2018-11-01 | Zebra Medical Technologies, Inc. | Systems and methods for imaging and measurement of sarcomeres |
US10473921B2 (en) | 2017-05-10 | 2019-11-12 | Gerard Dirk Smits | Scan mirror systems and methods |
US10591605B2 (en) | 2017-10-19 | 2020-03-17 | Gerard Dirk Smits | Methods and systems for navigating a vehicle including a novel fiducial marker system |
CN109726611B (zh) * | 2017-10-27 | 2021-07-23 | 北京小米移动软件有限公司 | 生物特征识别方法及装置、可读存储介质及电子设备 |
EP3731723A4 (en) | 2017-12-27 | 2021-10-20 | Ethicon LLC | HYPERSPECTRAL IMAGING IN AN INSUFFICIENTLY ILLUMINATED ENVIRONMENT |
EP3732508A1 (en) * | 2017-12-27 | 2020-11-04 | AMS Sensors Singapore Pte. Ltd. | Optoelectronic modules and methods for operating the same |
WO2019148214A1 (en) * | 2018-01-29 | 2019-08-01 | Gerard Dirk Smits | Hyper-resolved, high bandwidth scanned lidar systems |
DE102018110082A1 (de) * | 2018-04-26 | 2019-10-31 | avateramedical GmBH | Sterile Endoskophülle |
KR102513680B1 (ko) * | 2018-06-08 | 2023-03-24 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 깊이 정보 추출 방법 |
KR102545980B1 (ko) | 2018-07-19 | 2023-06-21 | 액티브 서지컬, 인크. | 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법 |
CN109410229A (zh) * | 2018-08-27 | 2019-03-01 | 南京珂亥韧光电科技有限公司 | 多目标透镜位置以及凹凸面识别的方法 |
WO2020087195A1 (zh) * | 2018-10-29 | 2020-05-07 | 陈台国 | 一种全像显示系统及形成全像的方法 |
JP2022526626A (ja) | 2019-04-08 | 2022-05-25 | アクティブ サージカル, インコーポレイテッド | 医療撮像のためのシステムおよび方法 |
US11931009B2 (en) | 2019-06-20 | 2024-03-19 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral imaging system |
US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
US11284785B2 (en) | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system |
US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
US11589819B2 (en) | 2019-06-20 | 2023-02-28 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a laser mapping imaging system |
US11083366B2 (en) | 2019-06-20 | 2021-08-10 | Cilag Gmbh International | Driving light emissions according to a jitter specification in a fluorescence imaging system |
US11102400B2 (en) | 2019-06-20 | 2021-08-24 | Cilag Gmbh International | Pulsed illumination in a fluorescence imaging system |
US11758256B2 (en) | 2019-06-20 | 2023-09-12 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
US11187658B2 (en) | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US11700995B2 (en) | 2019-06-20 | 2023-07-18 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
US11898909B2 (en) | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11903563B2 (en) | 2019-06-20 | 2024-02-20 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
US11754500B2 (en) | 2019-06-20 | 2023-09-12 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed fluorescence imaging system |
US11622094B2 (en) | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
US11674848B2 (en) | 2019-06-20 | 2023-06-13 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for hyperspectral imaging |
US11624830B2 (en) | 2019-06-20 | 2023-04-11 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for laser mapping imaging |
US11716543B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
US11147436B2 (en) | 2019-06-20 | 2021-10-19 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
CN110596720A (zh) * | 2019-08-19 | 2019-12-20 | 深圳奥锐达科技有限公司 | 距离测量系统 |
CN114599263A (zh) | 2019-08-21 | 2022-06-07 | 艾科缇弗外科公司 | 用于医疗成像的系统和方法 |
JP6732085B2 (ja) * | 2019-10-09 | 2020-07-29 | 株式会社トプコン | 眼底撮影装置 |
CN114746033A (zh) | 2019-10-18 | 2022-07-12 | 阿维格公司 | 阻塞横穿装置 |
CN113189601B (zh) * | 2020-01-13 | 2023-08-18 | 奇景光电股份有限公司 | 混合型深度估算系统 |
WO2021174227A1 (en) | 2020-02-27 | 2021-09-02 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
CN111458887B (zh) * | 2020-04-29 | 2021-03-19 | 吉林大学 | 一种核磁影像的智能读片装置 |
US11771323B2 (en) | 2020-11-15 | 2023-10-03 | The Trustees Of Dartmouth College | Optical time-of-flight imaging methods and systems for surgical guidance and fluorescence depth estimation in tissue |
US11940293B2 (en) | 2021-09-02 | 2024-03-26 | Apple Inc. | Finger devices with self-mixing interferometric proximity sensors |
CN116208849B (zh) * | 2023-05-05 | 2023-07-18 | 中国科学技术大学 | 一种超低功耗物联网图像采集和传输系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4264208A (en) * | 1978-10-25 | 1981-04-28 | Semperit Aktiengesellschaft | Method and apparatus for measuring the surface of an object |
US5103497A (en) * | 1989-11-14 | 1992-04-07 | Hicks John W | Flying spot endoscope |
US5280377A (en) * | 1991-06-28 | 1994-01-18 | Eastman Kodak Company | Beam scanning galvanometer with spring supported mirror |
US5557444A (en) * | 1994-10-26 | 1996-09-17 | University Of Washington | Miniature optical scanner for a two axis scanning system |
US5694237A (en) * | 1996-09-25 | 1997-12-02 | University Of Washington | Position detection of mechanical resonant scanner mirror |
US5982528A (en) * | 1998-01-20 | 1999-11-09 | University Of Washington | Optical scanner having piezoelectric drive |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3547520A (en) | 1967-12-13 | 1970-12-15 | Itek Corp | Stereoscope |
US4695163A (en) * | 1985-06-17 | 1987-09-22 | Schachar Ronald A | Method and apparatus for determining surface shapes using reflected laser light |
JPS62190404A (ja) * | 1986-02-17 | 1987-08-20 | Toshiba Corp | 物体形状測定装置 |
JPH02154188A (ja) * | 1988-12-06 | 1990-06-13 | Fujitsu Ltd | 距離測定装置 |
DE4002356C2 (de) * | 1990-01-26 | 1996-10-17 | Sick Optik Elektronik Erwin | Abstandsmeßgerät |
US5177631A (en) * | 1991-06-28 | 1993-01-05 | Eastman Kodak Company | Magnetic position sensor |
US5436655A (en) * | 1991-08-09 | 1995-07-25 | Olympus Optical Co., Ltd. | Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement |
US5267016A (en) * | 1991-11-27 | 1993-11-30 | United Technologies Corporation | Laser diode distance measurement |
JP2746790B2 (ja) * | 1992-03-02 | 1998-05-06 | 富士写真フイルム株式会社 | 立体画像記録方法および立体画像記録装置 |
US5751341A (en) * | 1993-01-05 | 1998-05-12 | Vista Medical Technologies, Inc. | Stereoscopic endoscope system |
GB9405835D0 (en) * | 1994-03-24 | 1994-05-11 | Amfax Ltd | Scanning apparatus and method |
JPH07287761A (ja) * | 1994-04-19 | 1995-10-31 | Canon Inc | 画像処理装置及び画像処理方法 |
IL110595A0 (en) * | 1994-08-09 | 1994-11-11 | Applitic Ltd | A random access multispectral video and illumination system |
US5649897A (en) * | 1994-11-02 | 1997-07-22 | Terumo Kabushiki Kaisha | Endoscope apparatus for compensating for change in polarization state during image transmission |
JPH11133484A (ja) * | 1997-10-29 | 1999-05-21 | Canon Inc | 複眼撮像装置 |
JP4105801B2 (ja) * | 1998-07-02 | 2008-06-25 | ペンタックス株式会社 | 3次元画像入力装置 |
GB9823689D0 (en) * | 1998-10-30 | 1998-12-23 | Greenagate Limited | Improved methods and apparatus for 3-D imaging |
US6396873B1 (en) * | 1999-02-25 | 2002-05-28 | Envision Advanced Medical Systems | Optical device |
WO2000071018A1 (de) * | 1999-05-21 | 2000-11-30 | Karl Storz Gmbh & Co. Kg | Laryngoskop |
US6975898B2 (en) * | 2000-06-19 | 2005-12-13 | University Of Washington | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system |
-
2001
- 2001-08-23 US US09/938,467 patent/US6563105B2/en not_active Expired - Lifetime
-
2002
- 2002-08-22 AU AU2002331723A patent/AU2002331723B2/en not_active Ceased
- 2002-08-22 JP JP2003523010A patent/JP4080426B2/ja not_active Expired - Lifetime
- 2002-08-22 CA CA002457506A patent/CA2457506A1/en not_active Abandoned
- 2002-08-22 WO PCT/US2002/027076 patent/WO2003019661A1/en active IP Right Grant
- 2002-08-22 EP EP02768705A patent/EP1430534A4/en not_active Withdrawn
- 2002-08-22 CN CNB028209168A patent/CN1310615C/zh not_active Expired - Fee Related
- 2002-08-22 KR KR10-2004-7002261A patent/KR20040047791A/ko not_active Application Discontinuation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4264208A (en) * | 1978-10-25 | 1981-04-28 | Semperit Aktiengesellschaft | Method and apparatus for measuring the surface of an object |
US5103497A (en) * | 1989-11-14 | 1992-04-07 | Hicks John W | Flying spot endoscope |
US5280377A (en) * | 1991-06-28 | 1994-01-18 | Eastman Kodak Company | Beam scanning galvanometer with spring supported mirror |
US5557444A (en) * | 1994-10-26 | 1996-09-17 | University Of Washington | Miniature optical scanner for a two axis scanning system |
US5694237A (en) * | 1996-09-25 | 1997-12-02 | University Of Washington | Position detection of mechanical resonant scanner mirror |
US5982528A (en) * | 1998-01-20 | 1999-11-09 | University Of Washington | Optical scanner having piezoelectric drive |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11047671B1 (en) | 2020-01-30 | 2021-06-29 | Veravanti Inc. | Forward looking RGB/optical coherence tomography duplex imager |
US11530910B2 (en) | 2020-01-30 | 2022-12-20 | Veravanti Inc. | Forward looking RGB/optical coherence tomography duplex imager |
Also Published As
Publication number | Publication date |
---|---|
US6563105B2 (en) | 2003-05-13 |
CN1575524A (zh) | 2005-02-02 |
JP4080426B2 (ja) | 2008-04-23 |
EP1430534A4 (en) | 2009-07-01 |
AU2002331723B2 (en) | 2007-03-22 |
JP2005501279A (ja) | 2005-01-13 |
US20020139920A1 (en) | 2002-10-03 |
CA2457506A1 (en) | 2003-03-06 |
WO2003019661A1 (en) | 2003-03-06 |
EP1430534A1 (en) | 2004-06-23 |
KR20040047791A (ko) | 2004-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1310615C (zh) | 深度增强的图像采集 | |
US8423110B2 (en) | Imaging device and related methods | |
US6294775B1 (en) | Miniature image acquistion system using a scanning resonant waveguide | |
AU2002331723A1 (en) | Image acquisition with depth enhancement | |
JP6246740B2 (ja) | 高分解能画像走査のための拡張された焦点深度 | |
US7312879B2 (en) | Distance determination in a scanned beam image capture device | |
US5103497A (en) | Flying spot endoscope | |
EP1607064B1 (en) | Method and apparatus for colour imaging a three-dimensional structure | |
EP1941843B1 (en) | Method and apparatus for colour imaging a three-dimensional structure | |
US20060072874A1 (en) | Configuration memory for a scanning beam device | |
JP2015508685A5 (zh) | ||
CN1255076C (zh) | 用于观察驱体的装置和方法 | |
AU7787691A (en) | Flying spot endoscope | |
WO2006041459A1 (en) | Configuration memory for a scanning beam device | |
CN107430270A (zh) | 光扫描装置的扫描轨迹测定方法、扫描轨迹测定装置和图像校准方法 | |
WO2016181453A1 (ja) | 内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070418 Termination date: 20180822 |