BR112021011113A2 - Sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão - Google Patents
Sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão Download PDFInfo
- Publication number
- BR112021011113A2 BR112021011113A2 BR112021011113-1A BR112021011113A BR112021011113A2 BR 112021011113 A2 BR112021011113 A2 BR 112021011113A2 BR 112021011113 A BR112021011113 A BR 112021011113A BR 112021011113 A2 BR112021011113 A2 BR 112021011113A2
- Authority
- BR
- Brazil
- Prior art keywords
- imaging system
- multispectral
- light
- image
- waveband
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 170
- 230000003595 spectral effect Effects 0.000 title claims abstract description 156
- 238000000701 chemical imaging Methods 0.000 claims abstract description 161
- 238000003384 imaging method Methods 0.000 claims abstract description 123
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 61
- 208000027418 Wounds and injury Diseases 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 23
- 230000035876 healing Effects 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 15
- 206010012601 diabetes mellitus Diseases 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000036074 healthy skin Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 9
- 238000001804 debridement Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 208000025865 Ulcer Diseases 0.000 claims description 8
- 230000001684 chronic effect Effects 0.000 claims description 8
- 231100000397 ulcer Toxicity 0.000 claims description 8
- 230000035755 proliferation Effects 0.000 claims description 7
- 206010061218 Inflammation Diseases 0.000 claims description 6
- 239000002872 contrast media Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000023597 hemostasis Effects 0.000 claims description 6
- 230000004054 inflammatory process Effects 0.000 claims description 6
- 238000000059 patterning Methods 0.000 claims description 6
- 238000007634 remodeling Methods 0.000 claims description 6
- 208000008960 Diabetic foot Diseases 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 206010052428 Wound Diseases 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000013461 design Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 11
- 230000003936 working memory Effects 0.000 description 11
- 238000003491 array Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000000576 coating method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005670 electromagnetic radiation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 239000010409 thin film Substances 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 241001428800 Cell fusing agent virus Species 0.000 description 4
- 230000004075 alteration Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 206010056340 Diabetic ulcer Diseases 0.000 description 3
- 238000002266 amputation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 208000004210 Pressure Ulcer Diseases 0.000 description 2
- 206010067584 Type 1 diabetes mellitus Diseases 0.000 description 2
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002301 combined effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000029663 wound healing Effects 0.000 description 2
- 206010004146 Basal cell carcinoma Diseases 0.000 description 1
- 206010006797 Burns first degree Diseases 0.000 description 1
- 206010006802 Burns second degree Diseases 0.000 description 1
- 206010006803 Burns third degree Diseases 0.000 description 1
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 206010051055 Deep vein thrombosis Diseases 0.000 description 1
- 208000032131 Diabetic Neuropathies Diseases 0.000 description 1
- 208000035874 Excoriation Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 102000003745 Hepatocyte Growth Factor Human genes 0.000 description 1
- 108090000100 Hepatocyte Growth Factor Proteins 0.000 description 1
- 206010020565 Hyperaemia Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 208000035346 Margins of Excision Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000009344 Penetrating Wounds Diseases 0.000 description 1
- 208000005764 Peripheral Arterial Disease Diseases 0.000 description 1
- 208000030831 Peripheral arterial occlusive disease Diseases 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 208000012322 Raynaud phenomenon Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 206010039710 Scleroderma Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 208000032109 Transient ischaemic attack Diseases 0.000 description 1
- 206010047249 Venous thrombosis Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 208000009621 actinic keratosis Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 108010035879 albumin-bilirubin complex Proteins 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 201000007917 background diabetic retinopathy Diseases 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000000711 cancerogenic effect Effects 0.000 description 1
- 231100000315 carcinogenic Toxicity 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 208000020832 chronic kidney disease Diseases 0.000 description 1
- 208000022831 chronic renal failure syndrome Diseases 0.000 description 1
- 230000007748 combinatorial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003018 immunosuppressive agent Substances 0.000 description 1
- 229940124589 immunosuppressive drug Drugs 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- 238000001659 ion-beam spectroscopy Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000007388 punch biopsy Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000002207 thermal evaporation Methods 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 201000010875 transient cerebral ischemia Diseases 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0202—Mechanical elements; Supports for optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
- Blocking Light For Cameras (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão. geralmente descrito, um ou mais de aspectos do presente pedido corresponde(m) a sistemas e técnicas para formação de imagem espectral usando um sistema de múltiplas aberturas com filtros de múltiplas passagens de banda curvos posicionados sobre cada abertura. a presente divulgação se refere adicionalmente a técnicas para implementar a decomposição espectral e registro de imagem para gerar um cubo de dados espectral usando informações de imagem recebidas de tais sistemas de formação de imagem. aspectos da presente divulgação se referem ao uso de tal cubo de dados para analisar o objeto convertido em imagem, por exemplo, para analisar o tecido em um ambiente clínico, realizar reconhecimento biométrico ou realizar análise de materiais.
Description
Relatório Descritivo da Patente de Invenção para: “SISTEMA
[001] Esse pedido reivindica o benefício do Pedido Provisório U.S. N de série 62/780.121 depositado em 14 de dezembro de 2018, intitulado “SYSTEM AND METHOD FOR HIGH PRECISION MULTI-APERTURE SPECTRAL IMAGING,” e Pedido Provisório U.S. N de série 62/818.375, depositado em 14 de março de 2019, intitulado “SYSTEM AND METHOD FOR HIGH PRECISION MULTI-APERTURE SPECTRAL IMAGING,” ambos expressamente incorporados nesse documento por referência em sua totalidade e para todos as finalidades.
[002] Alguns dos trabalhos descritos nessa divulgação foram feitos com o apoio do Governo dos Estados Unidos sob o Contrato nº HHSO100201300022C, concedido pela Autoridade de Pesquisa e Desenvolvimento Avançado Biomédico (BARDA), dentro do Gabinete do Secretário Adjunto para Preparação e Resposta no Departamento de Saúde e Serviços Humanos dos EUA. Alguns dos trabalhos descritos nessa divulgação foram feitos com o apoio do Governo dos Estados Unidos sob os contratos nos W81XWH-17-C-0170 e/ou W81XWH-18-C-0114, concedidos pelo Departamento de Departamento de Saúde Militar dos EUA (DHA). O Governo dos Estados Unidos pode ter certos direitos nessa invenção.
[003] Os sistemas e métodos divulgados nesse documento são direcionados à formação de imagem espectral e, mais particularmente, à formação de imagem espectral de alta precisão por meio de um sistema de formação de imagem de múltiplas aberturas.
[004] O espectro eletromagnético é a faixa de comprimentos de onda ou frequências sobre a qual a radiação eletromagnética (por exemplo, luz) se estende. Em ordem de comprimentos de onda mais longos para comprimentos de onda mais curtos, o espectro eletromagnético inclui ondas de rádio, micro-ondas, luz infravermelha (IR), luz visível (isto é, luz que é detectável pelas estruturas do olho humano), luz ultravioleta (UV), raios-x e raios gama. A formação de imagem espectral refere-se a um ramo da espectroscopia e fotografia em que alguma informação espectral ou um espectro completo é coletado em localizações em um plano de imagem. Os sistemas de formação de imagem multiespectral podem capturar várias bandas espectrais (da ordem de uma dúzia ou menos e tipicamente em regiões espectrais discretas), para as quais as medições da banda espectral são coletadas em cada pixel e podem se referir a larguras de banda de cerca de dezenas de nanômetros por canal espectral. Os sistemas de formação de imagem hiperespectral medem um número maior de bandas espectrais, por exemplo, até 200 ou mais, com alguns fornecendo uma amostragem contínua de bandas estreitas (por exemplo, larguras de banda espectrais da ordem de nanômetros ou menos) ao longo de uma porção do espectro eletromagnético.
[005] Os sistemas e técnicas de formação de imagem multiespectral divulgados nesse documento têm várias características, nenhuma das quais é a única responsável por seus atributos desejáveis. Sem limitar o escopo expressado pelas reivindicações que se seguem, certas características da formação de imagem espectral divulgada serão agora discutidas brevemente. Um habilitado na técnica entenderá como as características da formação de imagem espectral divulgada fornecem várias vantagens sobre os sistemas e métodos tradicionais.
[006] Um aspecto refere-se a um sistema de imagem multiespectral que compreende pelo menos um sensor de imagem; uma primeira abertura posicionada para permitir que a luz que entra passe para uma primeira região do sensor do pelo menos um sensor de imagem; uma segunda abertura posicionada para permitir que a luz que entra passe para uma segunda região do sensor do pelo menos um sensor de imagem; um primeiro filtro de múltiplas passagens de banda posicionado sobre a primeira abertura, em que o primeiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma primeira banda de onda única; um segundo filtro de múltiplas passagens de banda posicionado sobre a segunda abertura, em que o segundo filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz na pelo menos banda de onda comum e uma segunda banda de onda única; uma memória que armazena instruções para gerar um cubo de dados multiespectral; e pelo menos um processador configurado pelas instruções para pelo menos: receber sinais da primeira e da segunda regiões do sensor; e processar os sinais para gerar o cubo de dados multiespectral, em que o cubo de dados multiespectral inclui um primeiro canal espectral correspondente à banda de onda comum, um segundo canal espectral correspondente à primeira banda de onda única e um terceiro canal espectral correspondente à segunda banda de onda única; em que o processamento dos sinais compreende pelo menos: estimar, usando informações do primeiro canal espectral correspondente à banda de onda comum, uma disparidade entre os dados da primeira imagem capturados pela primeira região do sensor e os dados da segunda imagem capturados pela segunda região do sensor; e usar a disparidade para alinhar os dados de imagem do primeiro, do segundo e do terceiro canais espectrais para gerar o cubo de dados multiespectral.
[007] Em algumas modalidades, o primeiro filtro de múltiplas passagens de banda é posicionado na frente de uma lente do sistema de imagem multiespectral, atrás de uma lente do sistema de imagem multiespectral, dentro de uma lente do sistema de imagem multiespectral ou diretamente sobre uma superfície de um elemento de uma lente do sistema de imagem multiespectral. Em algumas modalidades, o pelo menos um processador é configurado pelas instruções para pelo menos realizar a decomposição espectral para gerar dados de imagem para cada um do primeiro, do segundo e do terceiro canais espectrais. Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente uma matriz de filtro de cor cobrindo a primeira e a segunda regiões do sensor, a matriz de filtro de cor incluindo uma padronagem de repetição de filtros de cor; em que um primeiro filtro de cor da padronagem de repetição é configurado para passar uma primeira distribuição ponderada de comprimentos de onda de luz incluindo a banda de onda comum; em que um segundo filtro de cor da padronagem de repetição é configurado para passar uma segunda distribuição ponderada de comprimentos de onda de luz incluindo a primeira banda de onda única; e em que um terceiro filtro de cor da padronagem de repetição é configurado para passar uma terceira distribuição ponderada de comprimentos de onda de luz, incluindo a segunda banda de onda única.
Em algumas modalidades, a banda de onda comum compreende pelo menos uma luz violeta, violeta-azulada, azul ou azul-esverdeada.
Em algumas modalidades, a banda de onda comum compreende luz tendo um comprimento de onda menor que
450 nm e maior que 380 nm.
Em algumas modalidades, a banda de onda comum compreende luz verde.
Em algumas modalidades,
a banda de onda comum compreende luz vermelha.
Em algumas modalidades, cada um do primeiro e do segundo filtro de múltiplas passagens de banda é configurado para passar uma segunda banda de onda comum que compreende pelo menos uma de luz verde, verde-azulada ou azul.
Em algumas modalidades,
cada um do primeiro e do segundo filtro de múltiplas passagens de banda é configurado para passar uma segunda banda de onda comum que compreende luz vermelha.
Em algumas modalidades, o primeiro e o segundo filtros de múltiplas passagens de banda são configurados para passar uma segunda banda de onda comum que não é filtrada por pelo menos um dos filtros de cor padronizados na matriz de filtro de cor que também não filtra a primeira banda de onda comum.
Em algumas modalidades, o pelo menos um processador é configurado pelas instruções para pelo menos realizar a decomposição espectral para isolar porções de dados de imagem capturados correspondentes à banda de onda comum e à segunda banda de onda comum.
Em algumas modalidades, o pelo menos um processador é configurado pelas instruções para, pelo menos,
analisar o tecido convertido em imagem usando o cubo de dados multiespectral.
[008] Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente uma terceira abertura posicionada para permitir que a luz que entra passe para uma terceira região do sensor do pelo menos um sensor de imagem; uma quarta abertura posicionada para permitir que a luz que entra passe para uma quarta região do sensor do pelo menos um sensor de imagem; um terceiro filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o terceiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma terceira banda de onda única; e um quarto filtro de múltiplas passagens de banda posicionado sobre a quarta abertura, em que o quarto filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz pelo menos na banda de onda comum e uma quarta banda de onda única. Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente uma quinta abertura posicionada para permitir que a luz que entra passe para uma quinta região do sensor de pelo menos um sensor de imagem; e um quinto filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o quinto filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda passada por pelo menos um do primeiro filtro de múltiplas passagens de banda, do segundo filtro de múltiplas passagens de banda, do terceiro filtro de múltiplas passagens de banda ou do quarto filtro de múltiplas passagens de banda.
Em algumas modalidades, o sistema de imagem multiespectral compreende: até 25 aberturas totais posicionadas para permitir que a luz que entra passe e até 25 regiões do sensor totais de pelo menos um sensor de imagem; e até 25 filtros de múltiplas passagens de banda, cada um posicionado sobre uma das 25 aberturas totais, em que cada filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma banda de onda única para a qual nenhum dos outros filtros de múltiplas passagens de banda é configurado para permitir a passagem; em que o número total de bandas de onda que podem passar é mais do que quatro e menos do que 51. Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente uma terceira abertura posicionada para permitir que a luz que entra passe para uma terceira região do sensor de pelo menos um sensor de imagem; e um terceiro filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o terceiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda passada por pelo menos um do primeiro filtro de múltiplas passagens de banda ou do segundo filtro de múltiplas passagens de banda. Em algumas modalidades, o primeiro, o segundo, o terceiro e o quarto filtros de múltiplas passagens de banda passam coletivamente sete, oito, nove ou dez bandas de onda distintas, incluindo a banda de onda comum e a primeira, a segunda, a terceira e a quarta bandas de onda exclusivas. Em algumas modalidades, cada um do primeiro, do segundo, do terceiro e do quarto filtros de múltiplas passagens de banda é configurado para passar a banda de onda comum que compreende luz azul, uma banda de onda comum adicional que compreende luz verde e duas bandas de onda adicionais. Em algumas modalidades, o pelo menos um processador é configurado pelas instruções para pelo menos gerar o cubo de dados multiespectral para incluir dez canais espectrais correspondentes às sete, oito, nove ou dez bandas de onda distintas.
[009] Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente uma placa de iluminação que compreende uma pluralidade de diodos emissores de luz (LEDs) configurados para emitir luz em sete, oito, nove ou dez bandas de onda distintas, em que LEDs individuais emitem luz em uma em particular das sete, oito, nove e dez bandas de onda distintas. Em algumas modalidades, o pelo menos um sensor de imagem compreende uma matriz de filtro de cor posicionada sobre fotodiodos do pelo menos um sensor de imagem, e em que a matriz de filtro de cor tem pelo menos dois filtros de cor diferentes. Em algumas modalidades, a matriz de filtros de cor tem mais de dois filtros de cor diferentes e não mais de 25 filtros de cor diferentes. Em algumas modalidades, as sete, oito, nove ou dez bandas de onda distintas compreendem faixas mais estreitas de luz do que aquelas que são passadas pelos três filtros de cor diferentes. Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente pelo menos uma fonte de luz configurada para emitir luz na banda de onda comum, a primeira banda de onda única e a segunda banda de onda única. Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente um elemento óptico de difusão posicionado sobre a pelo menos uma fonte de luz. Em algumas modalidades, pelo menos o primeiro filtro de múltiplas passagens de banda é um filtro curvo.
[0010] Outro aspecto se refere a um método de uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral, o método compreendendo a captura de uma primeira exposição compreendendo o primeiro, o segundo e o terceiro canais espectrais; capturar uma segunda exposição compreendendo o primeiro, o segundo e o terceiro canais espectrais; e gerar o cubo de dados multiespectral com base, pelo menos parcialmente, no uso da segunda exposição para reduzir uma razão de sinal para ruído da primeira exposição. Em algumas modalidades, o método compreende adicionalmente a ativação de um conjunto de iluminantes que emitem luz coletivamente na banda de onda comum, a primeira banda de onda única e a segunda banda de onda exclusiva durante a primeira e a segunda exposições.
Em algumas modalidades, cada uma da primeira exposição e da segunda exposição compreende pelo menos um quarto canal espectral e não mais do que dez canais espectrais totais.
Em algumas modalidades, o método compreende adicionalmente capturar uma terceira exposição usando luz ambiente; e subtrair a terceira exposição da primeira e da segunda exposições.
Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral com base no resultado da subtração da terceira exposição da primeira e da segunda exposições.
Em algumas modalidades, o método compreende adicionalmente registrar imagens capturadas pelas primeira e segunda regiões do sensor entre si com base nas informações do primeiro canal espectral.
Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral com base em um resultado de registrar as imagens capturadas pelas primeira e segunda regiões do sensor uma para a outra.
Em algumas modalidades, as imagens representam informações capturadas no primeiro canal espectral pelas primeira e segunda regiões do sensor, o método compreendendo adicionalmente identificar uma disparidade entre as imagens capturadas pelas primeira e segunda regiões do sensor no primeiro canal espectral correspondente à banda de onda comum; usar a disparidade para registrar uma primeira imagem adicional às imagens, a primeira imagem adicional representando informações capturadas pela primeira região do sensor no segundo canal espectral; e usar a disparidade para registrar uma segunda imagem adicional às imagens, a segunda imagem adicional representando informações capturadas pela segunda região do sensor no terceiro canal espectral.
Em algumas modalidades, cada exposição compreende mais de três canais espectrais, o método compreendendo adicionalmente o uso da disparidade para registrar pelo menos uma terceira imagem adicional às imagens, a terceira imagem adicional representando informações capturadas por uma terceira região do sensor no quarto canal espectral, em que um número total de imagens adicionais registradas para as imagens é um a menos do que o número total de canais espectrais.
Em algumas modalidades, o sistema de imagem multiespectral compreende adicionalmente um iluminante configurado para projetar um ou mais de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outra padronagem espacial, o método compreendendo adicionalmente a projeção, pelo iluminante no campo de visão de pelo menos um sensor de imagem, de luz compreendendo um ou mais de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outra padronagem espacial; e capturar uma exposição adicional usando a luz projetada pelo iluminante, em que o registro é baseado, pelo menos em parte, na exposição adicional.
Em algumas modalidades, a luz projetada pelo iluminante compreende pelo menos uma de luz tendo um comprimento de onda na banda de onda comum, iluminação de banda larga ou iluminação acumulativamente visível.
Em algumas modalidades, a exposição adicional é usada para confirmar a precisão do registro da imagem.
Em algumas modalidades, a exposição adicional é incluída no cálculo da disparidade para melhorar a precisão do registro.
Em algumas modalidades, o iluminante projeta uma pluralidade de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outras padronagens espaciais em configurações únicas pelo menos na banda de onda comum, iluminação de banda larga ou iluminação acumulativamente visível para melhorar adicionalmente a precisão do registro.
Em algumas modalidades, o sistema de formação de imagem multiespectral compreende adicionalmente um sensor adicional configurado para detectar o formato de objetos no campo de visão do pelo menos um sensor de imagem e o registro é baseado, pelo menos em parte, em uma forma detectada pelo sensor adicional.
Esse sensor adicional pode ser um sensor de abertura única ou um sensor de múltiplas aberturas, sensível às informações do campo de luz, ou pode ser sensível a outros sinais, tal como ultrassom ou lasers pulsados. Em algumas modalidades, o método compreende adicionalmente realizar a decomposição espectral para isolar o primeiro, o segundo e o terceiro canais espectrais. Em algumas modalidades, cada exposição compreende mais de três canais espectrais, o método adicionalmente compreendendo realizar a decomposição espectral para isolar todos os canais espectrais. Em algumas modalidades, o método compreende adicionalmente o uso da disparidade para determinar pelo menos uma das informações topográficas ou informações de profundidade. Em algumas modalidades, a disparidade é usada para determinar informações de profundidade para pixels individuais. Em algumas modalidades, o método compreende adicionalmente usar as informações de profundidade para determinar um volume de uma ferida convertida em imagem. Em algumas modalidades, o método compreende adicionalmente capturar uma exposição adicional que compreende pelo menos um quarto canal espectral que representa luz não visível; e gerar o cubo de dados multiespectral com base, pelo menos parcialmente, na exposição adicional. Em algumas modalidades, o método compreende adicionalmente ativar um terceiro conjunto de iluminantes que emitem a luz não visível durante a exposição adicional.
[0011] Outro aspecto se refere a um método de análise automatizada de tecido, o método compreendendo o uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral que representa o tecido convertido em imagem; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para prever pelo menos uma característica clínica do tecido; e prever a pelo menos uma característica clínica do tecido convertido em imagem com base em uma saída do sistema de aprendizado de máquina.
[0012] Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral usando os métodos de geração de cubo de dados multiespectral descritos nesse documento. Em algumas modalidades, a pelo menos uma característica clínica inclui uma pluralidade de estados de ferida ou estados de queimadura, o método compreendendo adicionalmente o uso da saída do sistema de aprendizado de máquina para gerar uma imagem classificada do tecido convertido em imagem mostrando áreas do tecido convertido em imagem classificadas em daqueles diferentes da pluralidade de estados de ferida ou estados de queimadura.
Em algumas modalidades, por exemplo, a pluralidade de estados de queimadura inclui pelo menos queimadura de primeiro grau, queimadura de segundo grau, queimadura de terceiro grau ou categorias de pele saudável, o método compreendendo adicionalmente a classificação de cada um de uma pluralidade de pixels que representam o tecido convertido em imagem como uma das categorias de queimadura de primeiro grau, queimadura de segundo grau, queimadura de terceiro grau ou pele saudável.
Em algumas modalidades, por exemplo, a pluralidade de estados de feridas inclui, pelo menos, hemostasia,
inflamação, proliferação, remodelação ou categorias de pele saudável, o método compreendendo adicionalmente a classificação de cada um de uma pluralidade de pixels que representam o tecido convertido em imagem como um de hemostasia, inflamação, proliferação, remodelação ou categorias de pele saudável.
Em algumas modalidades, a pelo menos uma característica clínica inclui um potencial de cicatrização, o método compreendendo adicionalmente o uso da saída do sistema de aprendizado de máquina para gerar uma imagem do tecido convertido em imagem que representa visualmente o potencial de cicatrização determinado em diferentes áreas do tecido convertido em imagem.
Em algumas modalidades, a pelo menos uma característica clínica inclui um estado cancerígeno ou não cancerígeno do tecido convertido em imagem, o método compreendendo adicionalmente a classificação de cada um de uma pluralidade de pixels que retratam o tecido convertido em imagem como o estado cancerígeno ou não cancerígeno.
Em algumas modalidades, a pelo menos uma característica clínica inclui a profundidade da ferida, o método compreendendo adicionalmente a saída de informações que identificam a profundidade de uma ferida no tecido convertido em imagem.
Em algumas modalidades, a pelo menos uma característica clínica inclui uma margem para desbridamento, o método compreendendo adicionalmente a emissão de informações que identificam a margem para desbridamento em ou ao redor de uma ferida no tecido convertido em imagem. Em algumas modalidades, a pelo menos uma característica clínica inclui uma úlcera diabética, não diabética ou crônica. Em algumas modalidades, a pelo menos uma característica clínica inclui uma úlcera de pé diabético.
[0013] Outro aspecto se refere a um método de reconhecimento biométrico automatizado, o método compreendendo o uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral que representa uma característica biométrica de um usuário; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para autenticar um determinado recurso biométrico; e autenticar ou rejeitar o usuário com base em uma saída do sistema de aprendizado de máquina.
[0014] Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral usando qualquer um dos métodos de geração de cubo de dados multiespectral descritos nesse documento.
[0015] Outro aspecto se refere a um método de análise automatizada de materiais, o método compreendendo o uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral que representa um material convertido em imagem; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para determinar uma ou mais de características de materiais; e determinar uma ou mais de características de materiais do material convertido em imagem com base em uma saída do sistema de aprendizado de máquina.
[0016] Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral usando qualquer um dos métodos de geração de cubo de dados multiespectral descritos nesse documento.
[0017] Outro aspecto se refere a um método que compreende a captura de informações de imagem usando um dispositivo de formação de imagem manual de múltiplas aberturas compreendendo pelo menos uma região do sensor de imagem tendo uma matriz de filtro de cor, em que a informação de imagem inclui um número maior de canais do que um número de cores de filtro de cor na matriz do filtro de cores; e processar a informação da imagem em um cubo de dados multiespectral incluindo o número de canais, em que cada um dos vários canais representa a luz em uma banda de onda diferente que mede aproximadamente 40 nm ou menos, mas não zero.
[0018] Em algumas modalidades, o dispositivo de formação de imagem manual de múltiplas aberturas compreende qualquer um dos sistemas de formação de imagem multiespectral descritos nesse documento. Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral usando o método de qualquer um dos métodos de geração de cubo de dados multiespectral descritos nesse documento.
[0019] Outro aspecto se refere a um método que compreende o uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral; e processar o cubo de dados multiespectral usando o pelo menos um processador do sistema de imagem multiespectral para determinar pelo menos uma característica de um objeto representado pelo cubo de dados multiespectral.
[0020] Em algumas modalidades, compreende adicionalmente gerar o cubo de dados multiespectral usando qualquer um dos métodos de geração de cubo de dados multiespectral descritos nesse documento.
[0021] Outro aspecto se refere a um método que compreende o uso de qualquer um dos sistemas de imagem multiespectral descritos nesse documento para gerar o cubo de dados multiespectral; transmitir o cubo de dados multiespectral a pelo menos um processador remoto através de uma rede; e processar o cubo de dados multiespectral usando pelo menos um processador remoto para determinar pelo menos uma característica de um objeto representado pelo cubo de dados multiespectral. Em algumas modalidades, o método compreende adicionalmente gerar o cubo de dados multiespectral usando qualquer um dos métodos de geração de cubo de dados multiespectral descritos nesse documento.
[0022] A Figura 1A ilustra um exemplo de luz incidente em um filtro em diferentes ângulos de raio principal.
[0023] A Figura 1B é um gráfico que ilustra as eficiências de transmissão de exemplo fornecidas pelo filtro da Figura 1A para vários ângulos de raios principais.
[0024] A Figura 2A ilustra um exemplo de um cubo de dados de imagem multiespectral.
[0025] A Figura 2B ilustra exemplos de como certas tecnologias de imagem multiespectral geram o cubo de dados da Figura 2A.
[0026] A Figura 2C representa um sistema de formação de imagem de instantâneo de exemplo que pode gerar o cubo de dados da Figura 2A.
[0027] A Figura 3A representa uma vista esquemática em seção transversal de um desenho óptico de um sistema de formação de imagem de múltiplas aberturas de exemplo com filtros de múltiplas passagens de banda curvos, de acordo com a presente divulgação.
[0028] As Figuras 3B-3D representam exemplos de desenhos ópticos para componentes ópticos de um trajeto de luz do sistema de formação de imagem de múltiplas aberturas da Figura 3A.
[0029] As Figuras 4A-4E representam uma modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0030] A Figura 5 representa outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0031] As Figuras 6A-6C representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0032] As Figuras 7A-7B representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0033] As Figuras 8A-8B representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0034] As Figuras 9A-9C representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0035] As Figuras 10A-10B representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B.
[0036] As Figuras 11A-11B representam um exemplo de conjunto de bandas de onda que podem ser passadas pelos filtros dos sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0037] A Figura 12 representa um diagrama de blocos esquemático de um sistema de formação de imagem que pode ser usado para os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0038] A Figura 13 é um fluxograma de um exemplo de processo para capturar dados de imagem usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0039] A Figura 14 representa um diagrama de blocos esquemático de um fluxo de trabalho para processamento de dados de imagem, por exemplo, dados de imagem capturados usando o processo da Figura 13 e/ou usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0040] A Figura 15 representa graficamente a correção de disparidade e disparidade para processar dados de imagem, por exemplo, dados de imagem capturados usando o processo da Figura 13 e/ou usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0041] A Figura 16 representa graficamente um fluxo de trabalho para realizar a classificação em termos de pixel em dados de imagem multiespectral, por exemplo, dados de imagem capturados usando o processo da Figura 13, processados de acordo com as Figuras 14 e 15, e/ou usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0042] A Figura 17 representa um diagrama de blocos esquemático de um sistema de computação distribuído de exemplo, incluindo os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B.
[0043] As Figuras 18A-18C ilustram um exemplo de modalidade manual de um sistema de formação de imagem multiespectral de múltiplas aberturas.
[0044] As Figuras 19A e 19B ilustram um exemplo de modalidade manual de um sistema de formação de imagem multiespectral de múltiplas aberturas.
[0045] As Figuras 20A e 20B ilustram um exemplo de sistema de formação de imagem multiespectral de múltiplas aberturas para um pequeno USB 3.0 fechado em um alojamento de câmera comum.
[0046] A Figura 21 ilustra um exemplo de sistema de formação de imagem multiespectral de múltiplas aberturas incluindo um iluminante adicional para registro de imagem melhorado.
[0047] Geralmente descrita, a presente divulgação se refere à formação de imagem espectral usando um sistema de múltiplas aberturas com filtros de múltiplas passagens de banda curvos posicionados sobre cada abertura. A presente divulgação se refere adicionalmente a técnicas para implementar a decomposição espectral e o registro de imagem para gerar um cubo de dados espectral usando informações de imagem recebidas de tais sistemas de formação de imagem. A tecnologia divulgada aborda uma série de desafios que estão tipicamente presentes na formação de imagem espectral, descritos abaixo, a fim de produzir dados de imagem que representam informações precisas sobre bandas de comprimento de onda que foram refletidas de um objeto convertido em imagem. Em algumas modalidades, os sistemas e métodos descritos nesse documento adquirem imagens de uma ampla área de tecido (por exemplo, 5,9 x 7,9 polegadas (38,6 x 50,97 cm2)) em um curto período de tempo (por exemplo, dentro de 6 segundos ou menos) e podem fazer isso sem exigir a injeção de agentes de contraste de formação de imagem. Em alguns aspectos, por exemplo, o sistema de formação de imagem multiespectral descrito nesse documento é configurado para adquirir imagens de uma ampla área de tecido, por exemplo,
5,9 x 7,9 polegadas (38,6 x 50,97 cm2), dentro de 6 segundos ou menos e, em que o referido sistema de formação de imagem multiespectral também está configurado para fornecer informações de análise de tecido, tal como a identificação de uma pluralidade de estados de queimadura, estados de feridas, potencial de cicatrização, uma característica clínica incluindo um estado cancerígeno ou não cancerígeno do tecido convertido em imagem, profundidade da ferida, uma margem para desbridamento ou a presença de uma úlcera diabética, não diabética ou crônica na ausência de agentes de contraste de imagem.
De modo similar, em alguns dos métodos descritos nesse documento, o sistema de formação de imagem multiespectral adquire imagens de uma ampla área de tecido, por exemplo, 5,9 x 7,9 polegadas (14,99 x 20,07 cm2),
em 6 segundos ou menos e o referido sistema de formação de imagem multiespectral produz informações de análise de tecido, como a identificação de um pluralidade de estados de queimadura, estados de feridas, potencial de cicatrização,
uma característica clínica incluindo um estado cancerígeno ou não cancerígeno do tecido convertido em imagem,
profundidade da ferida, uma margem para desbridamento ou a presença de uma úlcera diabética, não diabética ou crônica em a ausência de agentes de contraste de formação de imagem.
[0048] Um desses desafios nas soluções existentes é que as imagens capturadas podem sofrer distorções de cores que comprometem a qualidade dos dados da imagem. Isso pode ser particularmente problemático para aplicações que dependem da detecção e da análise precisas de certos comprimentos de onda de luz usando filtros ópticos. Especificamente, o sombreamento de cor é uma variação dependente da posição no comprimento de onda da luz através da área do sensor de imagem, devido ao fato de que a transmitância de um filtro de cor muda para comprimentos de onda mais curtos conforme o ângulo de luz incidente no filtro aumenta. Tipicamente, esse efeito é observado em filtros baseados em interferência, que são fabricados por meio da deposição de camadas finas com índices de refração variáveis em um substrato transparente. Consequentemente, comprimentos de onda mais longos (tal como luz vermelha) podem ser bloqueados mais nas bordas do sensor de imagem devido a ângulos de raios de luz incidentes maiores, resultando no mesmo comprimento de onda de luz que entra sendo detectado como uma cor espacialmente não uniforme através do sensor de imagem. Se não for corrigido, o sombreamento de cor se manifesta como mudança na cor perto das bordas da imagem capturada.
[0049] A tecnologia da presente divulgação fornece vantagens em relação a outros sistemas de formação de imagem multiespectrais no mercado porque não é restritiva na configuração de lentes e/ou sensores de imagem e seus respectivos campos de visão ou tamanhos de abertura. Será entendido que mudanças em lentes, sensores de imagem, tamanhos de abertura ou outros componentes dos sistemas de formação de imagem presentemente divulgados podem envolver outros ajustes ao sistema de formação de imagem como seria conhecido por aqueles habilitados na técnica. A tecnologia da presente divulgação também fornece melhorias sobre outros sistemas de formação de imagem multiespectrais em que os componentes que desempenham a função de resolver comprimentos de onda ou fazer com que o sistema como um todo seja capaz de resolver comprimentos de onda (por exemplo, filtros ópticos ou semelhantes) podem ser separáveis dos componentes que transduzem a energia da luz em saídas digitais (por exemplo, sensores de imagem ou semelhantes).
Isso reduz o custo, a complexidade e/ou o tempo de desenvolvimento para reconfigurar os sistemas de formação de imagem para diferentes comprimentos de onda multiespectrais.
A tecnologia da presente divulgação pode ser mais robusta do que outros sistemas de formação de imagem multiespectrais em que pode realizar as mesmas características de formação de imagem que outros sistemas de formação de imagem multiespectrais no mercado em um fator de forma menor e mais leve. A tecnologia da presente divulgação também é vantajosa em relação a outros sistemas de formação de imagem multiespectrais em que pode adquirir imagens multiespectrais em um instantâneo, reprodução de vídeo ou reprodução de vídeo de alta velocidade. A tecnologia da presente divulgação também fornece uma implementação mais robusta de sistemas de formação de imagem multiespectrais com base na tecnologia de múltiplas aberturas, pois a capacidade de multiplexar várias bandas espectrais em cada abertura reduz o número de aberturas necessárias para adquirir qualquer número particular de bandas espectrais em um conjunto de dados de imagem, reduzindo assim os custos por meio de um número reduzido de aberturas e coleta de luz melhorada (por exemplo, como aberturas maiores podem ser usadas dentro do tamanho e das dimensões fixos de matrizes de sensores disponíveis comercialmente). Finalmente, a tecnologia da presente divulgação pode fornecer todas essas vantagens sem uma compensação no que se refere à resolução ou qualidade de imagem.
[0050] A Figura 1A ilustra um exemplo de um filtro 108 posicionado ao longo do trajeto de luz em direção a um sensor de imagem 110 e também ilustra a luz incidente no filtro 108 em diferentes ângulos de raio. Os raios 102A, 104A, 106A são representados como linhas que, após passarem pelo filtro 108, são refratadas no sensor 110 por uma lente 112, que também pode ser substituída por qualquer outra óptica de formação de imagem, incluindo, mas não se limitando a, um espelho e/ou uma abertura. A luz para cada raio é presumida na Figura 1A como sendo de banda larga, por exemplo, tendo uma composição espectral que se estende ao longo de uma grande faixa de comprimento de onda para ser filtrada seletivamente pelo filtro 108. Os três raios 102A, 104A, 106A chegam cada um ao filtro 108 em um ângulo diferente.
Para fins ilustrativos, o raio de luz 102A é mostrado como sendo incidente substancialmente normal ao filtro 108, o raio de luz 104A tem um maior ângulo de incidência do que o raio de luz 102A e o raio de luz 106A tem um maior ângulo de incidência do que o raio de luz 104A. Os raios filtrados resultantes 102B, 104B, 106B exibem um espectro único devido à dependência angular das propriedades de transmitância do filtro 108, como visto pelo sensor 110. O efeito dessa dependência causa uma mudança na passagem de banda do filtro 108 para comprimentos de onda menores à medida que o ângulo de incidência aumenta. Adicionalmente, a dependência pode causar uma redução na eficiência de transmissão do filtro 108 e uma alteração da forma espectral da passagem de banda do filtro 108. Esses efeitos combinados são referidos como a transmissão espectral dependente do ângulo. A Figura 1B representa o espectro de cada raio de luz na Figura 1A, conforme visto por um espectrômetro hipotético na localização do sensor 110 para ilustrar o deslocamento da passagem de banda espectral do filtro 108 em resposta ao aumento do ângulo de incidência. As curvas 102C, 104C e 106C demonstram o encurtamento do comprimento de onda central da passagem de banda; portanto, o encurtamento dos comprimentos de onda da luz passada pelo sistema óptico no exemplo. Também mostrado, a forma da passagem de banda e a transmissão de pico também são alteradas devido à incidência do ângulo.
Para certas aplicações de consumo, o processamento de imagem pode ser aplicado para remover os efeitos visíveis dessa transmissão espectral dependente do ângulo. No entanto, essas técnicas de pós-processamento não permitem a recuperação de informações precisas sobre qual comprimento de onda de luz foi realmente incidente sobre o filtro 108.
Por conseguinte, os dados de imagem resultantes podem ser inutilizáveis para certas aplicações de alta precisão.
[0051] Outro desafio enfrentado por certos sistemas de formação de imagem espectral existentes é o tempo necessário para a captura de um conjunto completo de dados de imagem espectral, como discutido em conexão com as Figuras 2A e 2B.
Sensores de formação de imagem espectral amostram a irradiância espectral I (x,y,) de uma cena e, assim, coletam um conjunto de dados tridimensional (3D) tipicamente chamado de cubo de dados. A Figura 2A ilustra um exemplo de um cubo de dados de imagem espectral 120. Como ilustrado, o cubo de dados 120 representa três dimensões de dados de imagem: duas dimensões espaciais (x e y) correspondentes à superfície bidimensional (2D) do sensor de imagem, e um dimensão espectral () correspondente a uma banda de comprimento de onda particular. As dimensões do cubo de dados 120 podem ser fornecidas por NxNyN, onde Nx, Ny e N são o número de elementos de amostra ao longo das dimensões espaciais (x,y) e eixos espectrais , respectivamente. Como os cubos de dados têm uma dimensionalidade mais alta do que as matrizes de detectores 2D (por exemplo, sensores de imagem) que estão disponíveis atualmente, os sistemas de formação de imagem espectrais típicos capturam fatias 2D sequenciais no tempo, ou planos, do cubo de dados 120 (referido nesse documento como sistemas de formação de imagem por “varredura”), ou simultaneamente medem todos os elementos do cubo de dados dividindo-os em vários elementos 2D que podem ser recombinados no cubo de dados 120 no processamento (referido nesse documento como sistemas de formação de imagem “instantâneo”).
[0052] A Figura 2B ilustra exemplos de como certas tecnologias de imagem espectral de varredura geram o cubo de dados 120. Especificamente, a Figura 2B ilustra as porções 132, 134 e 136 do cubo de dados 120 que podem ser coletadas durante um único período de integração de detector. Um espectrômetro de varredura pontual, por exemplo, pode capturar uma porção 132 que se estende por todos os planos espectrais em uma única posição espacial (x,y). Um espectrômetro de varredura pontual pode ser usado para construir o cubo de dados 120 realizando uma série de integrações correspondentes a cada posição (x,y) através das dimensões espaciais. Um sistema de formação de imagem de roda de filtro, por exemplo, pode capturar uma porção 134 que se estende pela totalidade de ambas as dimensões espaciais x e y, mas apenas um único plano espectral . Um sistema de formação de imagem por varredura de comprimento de onda, tal como um sistema de formação de imagem com roda de filtro, pode ser usado para construir o cubo de dados 120 realizando uma série de integrações correspondentes ao número de planos espectrais . Um espectrômetro por varredura de linha, por exemplo, pode capturar uma porção 136 que se estende por todas as dimensões espectrais e todas da dimensão espacial (x ou y), mas apenas um único ponto ao longo da outra dimensão espacial (y ou x). Um espectrômetro por varredura de linha pode ser usado para construir o cubo de dados 120 realizando uma série de integrações correspondentes a cada posição dessa outra dimensão espacial (y ou x).
[0053] Para aplicações em que o objeto alvo e o sistema de formação de imagem estão ambos imóveis (ou permanecem relativamente parados durante os tempos de exposição), tais sistemas de formação de imagem por varredura fornecem o benefício de render um cubo de dados de alta resolução 120.
Para varredura de linha e sistemas de formação de imagem por varredura de comprimento de onda, isso pode ser devido ao fato de que cada imagem espectral ou espacial é capturada usando toda a área do sensor de imagem. No entanto, o movimento do sistema de formação de imagem e/ou objeto entre as exposições pode causar artefatos nos dados de imagem resultantes. Por exemplo, a mesma posição (x,y) no cubo de dados 120 pode realmente representar uma localização física diferente no objeto convertido em imagem através da dimensão espectral . Isso pode levar a erros na análise a jusante e/ou impor um requisito adicional para realizar o registro (por exemplo, alinhar a dimensão espectral de modo que uma determinada posição (x,y) corresponda à mesma localização física no objeto).
[0054] Em comparação, um sistema de formação de imagem de instantâneo 140 pode capturar um cubo de dados inteiro 120 em um único período de integração ou exposição, evitando assim tais problemas de qualidade de imagem induzidos por movimento. A Figura 2C representa um exemplo de sensor de imagem 142 e uma matriz de filtro óptico, tal como uma matriz de filtro de cor (CFA) 144 que pode ser usada para criar um sistema de formação de imagem de instantâneo. A CFA 144 nesse exemplo é uma padronagem de repetição de unidades de filtro de cor 146 ao longo da superfície do sensor de imagem 142.
Esse método de aquisição de informação espectral também pode ser referido como uma matriz de filtro multiespectral (MSFA) ou uma matriz de detector resolvido espectralmente (SRDA).
No exemplo ilustrado, a unidade de filtro de cor 146 inclui um arranjo 5x5 de diferentes filtros de cor, o que geraria 25 canais espectrais nos dados de imagem resultantes. Por meio desses filtros de cor diferentes, a CFA pode dividir a luz que entra nas bandas dos filtros e direcionar a luz dividida para fotorreceptores dedicados no sensor de imagem.
Dessa forma, para uma determinada cor 148, apenas 1/25 dos fotorreceptores realmente detectam um sinal que representa a luz desse comprimento de onda. Assim, embora 25 canais de cores diferentes possam ser gerados em uma única exposição com esse sistema de formação de imagem de instantâneo 140, cada canal de cor representa uma quantidade menor de dados medidos do que a saída total do sensor 142. Em algumas modalidades, uma CFA pode incluir um(a) ou mais de uma matriz de filtro (MSFA), uma matriz de detector resolvido espectralmente (SRDA) e/ou pode incluir um filtro Bayer convencional, filtro CMYK ou qualquer outro filtro baseado em absorção ou baseado em interferência. Um tipo de filtro baseado em interferência seria uma matriz de filtros de película fina arranjados em uma grade com cada elemento da grade correspondendo a um ou mais de elementos sensores.
Outro tipo de filtro baseado em interferência é o filtro
Fabry-Pérot. Filtros Fabry-Pérot de interferência nanoscópica, que exibem largura total de passagem de banda típica na metade do máximo (FWHM) na ordem de 20 a 50 nm, são vantajosos porque podem ser usados em algumas modalidades devido ao lento rolloff da passagem de banda dos filtros vista na transição de seu comprimento de onda central para sua banda de bloqueio. Esses filtros também exibem um OD baixo nessas bandas de bloqueio, permitindo ainda maior sensibilidade à luz fora de suas bandas de passagem. Esses efeitos combinados tornam esses filtros específicos sensíveis às regiões espectrais que, de outra forma, seriam bloqueadas pelo rápido rolloff de um filtro de interferência de alto OD com uma FWHM semelhante feita com muitas camadas de filme fino em um processo de deposição de revestimento, tal como na deposição evaporativa ou em pulverização catódica por feixe de íons. Em modalidades com configurações de filtro CMYK ou RGB (Bayer) à base de corante, a atenuação espectral lenta e a grande FWHM de bandas de passagem de filtro individuais são preferidas e fornecem uma porcentagem única de transmissão espectral para comprimentos de onda individuais ao longo de um espectro observado.
[0055] Por conseguinte, o cubo de dados 120 que resulta de um sistema de formação de imagem de instantâneo terá uma de duas propriedades que podem ser problemáticas para aplicativos de imagem de precisão. Como uma primeira opção,
o cubo de dados 120 que resulta de um sistema de formação de imagem de instantâneo pode ter tamanhos menores Nx e Ny do que o tamanho (x,y) da matriz do detector e, portanto, ser de resolução mais baixa do que o cubo de dados 120, que seria gerado por um sistema de formação de imagem por varredura tendo o mesmo sensor de imagem. Como uma segunda opção, o cubo de dados 120 que resulta de um sistema de formação de imagem de instantâneo pode ter os mesmos tamanhos Nx e Ny que o tamanho (x,y) da matriz de detector devido a valores de interpolação para certas posições (x,y). No entanto, a interpolação usada para gerar tal cubo de dados significa que certos valores no cubo de dados não são medições reais do comprimento de onda da luz incidente no sensor, mas sim estimativas de qual medição real pode ser baseada nos valores circundantes.
[0056] Outra opção existente para imagem multiespectral de exposição única é o divisor de feixe multiespectral. Em tais sistemas de formação de imagem, os cubos divisores de feixe dividem a luz incidente em bandas de cores distintas, com cada banda observada por sensores de imagem independentes. Embora seja possível alterar os desenhos do divisor de feixe para ajustar as bandas espectrais medidas, não é fácil dividir a luz incidente em mais de quatro feixes sem comprometer o desempenho do sistema. Assim, quatro canais espectrais parecem ser o limite prático dessa abordagem. Um método intimamente relacionado é usar filtros de filme fino em vez dos cubos/prismas divisores de feixe mais volumosos para dividir a luz, no entanto, essa abordagem ainda é limitada a cerca de seis canais espectrais devido às limitações de espaço e perdas de transmissão acumulativas através de filtros sucessivos.
[0057] Os problemas acima mencionados, entre outros, são endereçados em algumas modalidades pelo sistema de formação de imagem espectral de múltiplas aberturas divulgado com filtros de múltiplas passagens de banda curvos para filtrar a luz que entra através de cada abertura e as técnicas de processamento de dados de imagem associadas.
Essa configuração específica é capaz de atingir todos os objetivos de desenho de alta velocidade de formação de imagem, imagens de alta resolução e fidelidade precisa dos comprimentos de onda detectados. Por conseguinte, o desenho óptico divulgado e as técnicas de processamento de dados de imagem associadas podem ser usados em sistemas de formação de imagem espectral portáteis e/ou para alvos móveis de imagem, embora ainda produza um cubo de dados adequado para aplicações de alta precisão (por exemplo, análise clínica de tecido, reconhecimento biométrico, eventos clínicos transitórios). Essas aplicações de maior precisão podem incluir o diagnóstico de melanoma nos estágios anteriores (0 a 3) antes da metástase, a classificação da gravidade da ferida da queimadura no tecido da pele ou o diagnóstico do tecido da gravidade da úlcera do pé diabético.
Por conseguinte, o fator de forma pequeno e a aquisição espectral de instantâneo como representado em algumas modalidades permitirá o uso dessa invenção em ambientes clínicos com eventos transitórios, que incluem o diagnóstico de várias retinopatias diferentes (por exemplo, retinopatia diabética não proliferativa, retinopatia diabética proliferativa e degeneração macular relacionada à idade) e a formação de imagem de pacientes pediátricos em movimento.
Por conseguinte, será apreciado por aqueles habilitados na técnica que o uso de um sistema de múltiplas aberturas com filtro de múltiplas passagens de banda plano ou curvo, como divulgado nesse documento, representa um avanço tecnológico significativo sobre as implementações de formação de imagem espectral anteriores.
Especificamente, o sistema de múltiplas aberturas pode permitir a coleta de imagens espaciais 3D de ou relacionadas à curvatura, profundidade,
volume e/ou área do objeto com base na disparidade calculada das diferenças de perspectiva entre cada abertura.
No entanto, as estratégias de múltiplas aberturas apresentadas nesse documento não estão limitadas a qualquer filtro específico e podem incluir filtros planos e/ou finos, com base em interferência ou filtragem por absorção.
Essa invenção, como divulgada nesse documento, pode ser modificada para incluir filtros planos no espaço de imagem do sistema de formação de imagem no caso de lentes ou aberturas adequados que usem uma faixa pequena ou aceitável de ângulos de incidência. Os filtros também podem ser colocados no batente da abertura ou na pupila de entrada/saída das lentes de imagem como um habilitado na técnica de engenharia óptica pode considerar adequado para fazê-lo.
[0058] Vários aspectos da divulgação serão agora descritos com relação a certos exemplos e modalidades, que se destinam a ilustrar, mas não a limitar a divulgação.
Embora os exemplos e as modalidades descritos nesse documento se concentrem, para fins de ilustração, em cálculos e algoritmos específicos, um habilitado na técnica apreciará que os exemplos são apenas para ilustrar e não se destinam a ser limitantes. Por exemplo, embora alguns exemplos sejam apresentados no contexto de uma formação de imagem multiespectral, o sistema de formação de imagem de múltiplas aberturas divulgado e os filtros associados podem ser configurados para alcançar a imagem hiperespectral em outras implementações. Além disso, embora certos exemplos sejam apresentados como a obtenção de benefícios para aplicações alvo portáteis e/ou em movimento, será apreciado que o projeto do sistema de formação de imagem divulgado e técnicas de processamento associadas podem produzir um cubo de dados de alta precisão adequado para sistemas de formação de imagem fixos e/ou para análise de alvos relativamente imóveis.
Visão geral de Faixas Eletromagnéticas e Sensores de Imagem
[0059] Certas cores ou porções do espectro eletromagnético são referidas nesse documento e serão agora discutidas com relação ao seu comprimento de onda, conforme definido pelas definições ISO 21348 de categorias espectrais de irradiância. Como descrito mais abaixo, em certas aplicações de formação de imagem, as faixas de comprimento de onda para cores específicas podem ser agrupadas para passar por um determinado filtro.
[0060] A radiação eletromagnética variando de comprimentos de onda de ou aproximadamente 760 nm a comprimentos de onda de ou aproximadamente 380 nm são tipicamente considerados o espectro “visível”, isto é, a porção do espectro reconhecível pelos receptores de cor do olho humano. Dentro do espectro visível, a luz vermelha é tipicamente considerada como tendo um comprimento de onda de ou aproximadamente 700 nanômetros (nm), ou estar na faixa de ou aproximadamente 760 nm a 610 nm ou aproximadamente 610 nm. A luz laranja tipicamente é considerada como tendo um comprimento de onda de ou aproximadamente 600 nm, ou estar na faixa de ou aproximadamente 610 nm a aproximadamente 591 nm ou 591 nm. A luz amarela tipicamente é considerada como tendo um comprimento de onda de ou aproximadamente 580 nm,
ou estar na faixa de ou aproximadamente 591 nm a aproximadamente 570 nm ou 570 nm. A luz verde tipicamente é considerada como tendo um comprimento de onda de aproximadamente 550 nm, ou estar na faixa de aproximadamente 570 nm a aproximadamente 500 nm ou 500 nm. A luz azul tipicamente é considerada como tendo um comprimento de onda de ou aproximadamente 475 nm, ou estar na faixa de ou aproximadamente 500 nm a aproximadamente 450 nm ou 450 nm.
A luz violeta (roxa) tipicamente é considerada como tendo um comprimento de onda de aproximadamente 400 nm, ou estar na faixa de aproximadamente 450 nm a aproximadamente 360 nm ou 360 nm.
[0061] Voltando-se para faixas fora do espectro visível, infravermelho (IR) se refere à radiação eletromagnética com comprimentos de onda mais longos do que aqueles da luz visível e é geralmente invisível ao olho humano. Os comprimentos de onda de IV se estendem da borda vermelha nominal do espectro visível em aproximadamente 760 nm ou 760 nm a aproximadamente 1 milímetro (mm) ou 1 mm.
Dentro dessa faixa, infravermelho próximo (IV-próximo) se refere à porção do espectro que é adjacente à faixa vermelha, variando de comprimentos de onda entre aproximadamente 760 nm ou 760 nm a aproximadamente 1400 nm ou 1400 nm.
[0062] A radiação ultravioleta (UV) se refere a alguma radiação eletromagnética com comprimentos de onda mais curtos do que aqueles da luz visível e é geralmente invisível ao olho humano. Os comprimentos de onda UV se estendem da borda violeta nominal do espectro visível em aproximadamente 40 nm ou 40 nm a aproximadamente 400 nm. Dentro dessa faixa, ultravioleta próximo (NUV) se refere à porção do espectro que é adjacente à faixa violeta, variando de comprimentos de onda entre aproximadamente 400 nm ou 400 nm a aproximadamente 300 nm ou 300 nm, ultravioleta médio (MUV) varia de comprimentos de onda entre aproximadamente 300 nm ou 300 nm a aproximadamente 200 nm ou 200 nm, e ultravioleta distante (FUV) varia de comprimentos de onda entre aproximadamente 200 nm ou 200 nm a aproximadamente 122 nm ou 122 nm.
[0063] Os sensores de imagem descritos nesse documento podem ser configurados para detectar radiação eletromagnética em qualquer uma das faixas descritas acima, dependendo das faixas de comprimento de onda específicas que são adequadas para uma aplicação específica. A sensibilidade espectral de um dispositivo de carga acoplada à base de silício típico (CCD) ou sensor de semicondutor de óxido de metal complementar (CMOS) se estende ao longo do espectro visível e também se estende consideravelmente no espectro infravermelho próximo (IV) e às vezes no Espectro UV. Algumas implementações podem, alternativamente ou adicionalmente, usar matrizes CCD ou CMOS retroiluminadas ou frontalmente iluminadas. Para aplicações que exigem alta SNR e medições de nível científico, algumas implementações podem, alternativamente ou adicionalmente, usar câmeras semicondutoras de óxido metálico complementar (sCMOS) ou câmeras CCD de multiplicação de elétrons (EMCCD). Outras implementações podem, alternativamente ou adicionalmente, usar sensores conhecidos por operar em faixas de cores específicas (por exemplo, infravermelho de onda curta (SWIR), infravermelho de onda média (MWIR) ou infravermelho de onda longa (LWIR)) e matrizes de filtro óptico correspondentes, com base nas aplicações pretendidas. Esses podem, alternativamente ou adicionalmente, incluir câmeras baseadas em materiais detectores, incluindo arseneto de gálio e índio (InGaAs) ou antimoneto de índio (InSb) ou baseadas em matrizes de microbolômetro.
[0064] Os sensores de imagem usados nas técnicas de formação de imagem multiespectral divulgadas podem ser usados em conjunto com uma matriz de filtro óptico, tal como uma matriz de filtro de cor (CFA). Algumas CFAs podem dividir a luz que entra na faixa visível nas categorias vermelha (R), verde (G) e azul (B) para direcionar a luz visível dividida para receptores de fotodiodo vermelhos, verdes ou azuis dedicados no sensor de imagem. Um exemplo comum de CFA é a padronagem Bayer, que é uma padronagem específica para arranjar filtros de cor RGB em uma grade retangular de fotossensores. A padronagem Bayer é 50% verde, 25% vermelho e 25% azul, com fileiras de filtros de cor vermelha e verde repetidos alternando com fileiras de filtros repetitivos de cor azul e verde. Algumas CFAs (por exemplo, para sensores de RGB-IV-próximo) também podem separar a luz IV-próximo e direcionar a luz IV-próximo dividida para receptores de fotodiodo dedicados no sensor de imagem.
[0065] Como tal, as faixas de comprimento de onda dos componentes do filtro da CFA podem determinar as faixas de comprimento de onda representadas por cada canal de imagem em uma imagem capturada. Por conseguinte, um canal vermelho de uma imagem pode corresponder às regiões de comprimento de onda vermelho do filtro de cor e pode incluir alguma luz amarela e laranja, variando de aproximadamente 570 nm ou 570 nm a aproximadamente 760 nm ou 760 nm em várias modalidades.
Um canal verde de uma imagem pode corresponder a uma região de comprimento de onda verde de um filtro de cor e pode incluir alguma luz amarela, variando de aproximadamente 570 nm ou 570 nm a aproximadamente 480 nm ou 480 nm em várias modalidades. Um canal azul de uma imagem pode corresponder a uma região de comprimento de onda azul de um filtro de cor e pode incluir alguma luz violeta, variando de aproximadamente 490 nm ou 490 nm a aproximadamente 400 nm ou 400 nm em várias modalidades. Como uma pessoa de habilidade comum na técnica apreciará, os comprimentos de onda exatos de início e fim (ou porções do espectro eletromagnético) que definem as cores de uma CFA (por exemplo, vermelho, verde e azul) podem variar dependendo da implementação da CFA.
[0066] Além disso, as CFAs de luz visível típicas são transparentes à luz fora do espectro visível. Portanto, em muitos sensores de imagem, a sensibilidade a IV é limitada por um filtro de IV reflexivo de filme fino na face do sensor que bloqueia o comprimento de onda infravermelho ao passar a luz visível. No entanto, isso pode ser omitido em alguns dos sistemas de formação de imagem divulgados para permitir a passagem de luz IV. Assim, os canais vermelho, verde e/ou azul também podem ser usados para coletar bandas de comprimento de onda IV. Em algumas implementações, o canal azul também pode ser usado para coletar certas bandas de comprimento de onda NUV. As respostas espectrais distintas dos canais vermelho, verde e azul no que se refere às suas eficiências de transmissão exclusivas em cada comprimento de onda em uma pilha de imagens espectrais podem fornecer uma resposta ponderada exclusivamente de bandas espectrais a serem decompostas usando os perfis de transmissão conhecidos. Por exemplo, isso pode incluir a resposta de transmissão conhecida nas regiões de comprimento de onda IV e UV para os canais vermelho, azul e verde, permitindo seu uso na coleta de bandas dessas regiões.
[0067] Como descrito em mais detalhes abaixo, filtros de cor adicionais podem ser colocados antes da CFA ao longo do trajeto da luz em direção ao sensor de imagem, a fim de refinar seletivamente as bandas específicas de luz que se tornam incidentes no sensor de imagem. Alguns dos filtros divulgados podem ser uma combinação de filtros dicróicos (película fina) e/ou de absorção ou um único filtro dicróico e/ou de absorção. Alguns dos filtros de cor divulgados podem ser filtro de múltiplas passagens de banda que passam frequências dentro de uma determinada faixa (em uma passagem de banda) e rejeitam (atenua) frequências fora dessa faixa (em uma faixa de bloqueio). Alguns dos filtros de cor divulgados podem ser filtros de múltiplas passagens de banda que passam por várias faixas descontínuas de comprimentos de onda. Essas “bandas de onda” podem ter faixas de passagem de banda menores, atenuação de faixa de bloqueio maior e rolloff espectral mais nítido, que é definido como a inclinação da resposta espectral conforme as transições do filtro da banda de passagem para a faixa de bloqueio, do que a faixa de cor maior do filtro com CFA.
Por exemplo, esses filtros de cor divulgados podem cobrir uma banda de passagem de aproximadamente 20 nm ou 20 nm ou aproximadamente 40 nm ou 40 nm. A configuração particular de tais filtros de cor pode determinar as bandas de comprimento de onda reais que incidem sobre o sensor, o que pode aumentar a precisão das técnicas de formação de imagem divulgadas. Os filtros de cor descritos nesse documento podem ser configurados para bloquear seletivamente ou passar bandas específicas de radiação eletromagnética em qualquer uma das faixas descritas acima, dependendo das bandas de comprimento de onda específicas que são adequadas para uma aplicação particular.
[0068] Como descrito nesse documento, um “pixel” pode ser usado para descrever a saída gerada por um elemento da matriz de detector 2D. Em comparação, um fotodiodo, um único elemento fotossensível nessa matriz, se comporta como um transdutor capaz de converter fótons em elétrons por meio do efeito fotoelétrico, que é então convertido em um sinal utilizável usado para determinar o valor do pixel. Um único elemento do cubo de dados pode ser referido como um “voxel” (por exemplo, um elemento de volume). Um “vetor espectral” refere-se a um vetor que descreve os dados espectrais em uma posição particular (x,y) em um cubo de dados (por exemplo, o espectro de luz recebido de um ponto particular no espaço do objeto). Um único plano horizontal do cubo de dados (por exemplo, uma imagem que representa uma única dimensão espectral), é referido nesse documento como um “canal de imagem”. Certas modalidades descritas nesse documento podem capturar informações de vídeo espectral e as dimensões de dados resultantes podem assumir a forma de “hipercubo” NxNyNNt, onde Nt é o número de quadros capturados durante uma sequência de vídeo.
Visão geral de exemplos de sistemas de formação de imagem de múltiplas aberturas com filtros de múltiplas passagens de banda curvos
[0069] A Figura 3A representa uma vista esquemática de um exemplo de sistema de formação de imagem de múltiplas aberturas 200 com filtros de múltiplas passagens de banda curvos, de acordo com a presente divulgação. A vista ilustrada inclui uma primeira região do sensor de imagem 225A (fotodiodos PD1-PD3) e uma segunda região do sensor de imagem 225B (fotodiodos PD4-PD6). Os fotodiodos PD1-PD6 podem ser, por exemplo, fotodiodos formados em um substrato semicondutor, por exemplo, em um sensor de imagem CMOS.
Geralmente, cada um dos fotodiodos PD1-PD6 pode ser uma única unidade de qualquer material, semicondutor, elemento sensor ou outro dispositivo que converte luz incidente em corrente.
Será apreciado que uma pequena porção do sistema geral é ilustrada com o propósito de explicar sua estrutura e operação, e que na implementação as regiões do sensor de imagem podem ter centenas ou milhares de fotodiodos (e filtros de cor correspondentes). As regiões do sensor de imagem 225A e 225B podem ser implementadas como sensores separados ou como regiões separadas do mesmo sensor de imagem, dependendo da implementação. Embora a Figura 3A represente duas aberturas e trajetos de luz e regiões do sensor correspondentes, será apreciado que os princípios de desenho óptico ilustrados pela Figura 3A podem ser estendidos para três ou mais aberturas e trajetos de luz e regiões do sensor correspondentes, dependendo da implementação.
[0070] O sistema de formação de imagem de múltiplas aberturas 200 inclui uma primeira abertura 210A que fornece um primeiro trajeto de luz em direção à primeira região do sensor 225A e uma segunda abertura 210B que fornece um primeiro trajeto de luz em direção à segunda região do sensor 225B. Essas aberturas podem ser ajustáveis para aumentar ou diminuir o brilho da luz que incide sobre a imagem ou para que a duração de determinadas exposições da imagem possa ser alterada e o brilho da luz que incide nas regiões do sensor de imagem não seja alterado. Essas aberturas também podem estar localizadas em qualquer posição ao longo dos eixos ópticos desse sistema de múltiplas aberturas, como considerado razoável por um habilitado na técnica de desenho óptico. O eixo óptico dos componentes ópticos posicionados ao longo do primeiro trajeto de luz é ilustrado pela linha tracejada 230A e o eixo óptico dos componentes ópticos posicionados ao longo do segundo trajeto de luz é ilustrado pela linha tracejada 230B e será apreciado que essas linhas tracejadas não representam uma estrutura física do sistema de formação de imagem de múltiplas aberturas 200. Os eixos ópticos 230A, 230B são separados por uma distância D, o que pode resultar em disparidade entre as imagens capturadas pelas primeira e segunda regiões do sensor 225A, 225B.
Disparidade se refere à distância entre dois pontos correspondentes nas imagens esquerda e direita (ou superior e inferior) de um par estereoscópico, de modo que o mesmo ponto físico no espaço do objeto pode aparecer em locais diferentes em cada imagem. As técnicas de processamento para compensar e alavancar essa disparidade são descritas em mais detalhes abaixo.
[0071] Cada eixo óptico 230A, 230B passa por um centro C da abertura correspondente e os componentes ópticos também podem ser centrados ao longo desses eixos ópticos (por exemplo, o ponto de simetria rotacional de um componente óptico pode ser posicionado ao longo do eixo óptico). Por exemplo, o primeiro filtro de múltiplas passagens de banda curvo 205A e a primeira lente de imagem 215A podem ser centralizados ao longo do primeiro eixo óptico 230A e o segundo filtro de múltiplas passagens de banda curvo 205B e a segunda lente de imagem 215B podem ser centralizados ao longo do segundo eixo óptico 230B.
[0072] Como usado nesse documento em relação ao posicionamento de elementos ópticos, “sobre” e “acima” referem-se à posição de uma estrutura (por exemplo, um filtro de cor ou lente) de modo que a luz entre no sistema de formação de imagem 200 a partir do espaço do objeto que se propaga pela estrutura antes de atingir (ou incidir sobre)
outra estrutura.
Para ilustrar, ao longo do primeiro trajeto de luz, o filtro de múltiplas passagens de banda curvo 205A está posicionado acima da abertura 210A, a abertura 210A está posicionada acima da lente de imagem 215A, a lente de imagem 215A está posicionada acima da CFA 220A e a CFA 220A está posicionada acima da primeira região do sensor de imagem
225A.
Consequentemente, a luz do espaço do objeto (por exemplo, o espaço físico sendo convertido em imagem) passa primeiro através do filtro de múltiplas passagens de banda curvo 205A, depois da abertura 210A, depois da lente de imagem 215A, depois da CFA 220A e, finalmente, é incidente na primeira região do sensor de imagem 225A.
O segundo trajeto de luz (por exemplo, filtro de múltiplas passagens de banda curvo 205B, abertura 210B, lente de imagem 215B,
CFA 220B, segunda região do sensor de imagem 225B) segue um arranjo similar.
Em outras implementações, a abertura 210A,
210B e/ou lentes de formação de imagem 215A, 215B podem ser posicionadas acima do filtro de múltiplas passagens de banda curvo 205A, 205B.
Adicionalmente, outras implementações podem não usar uma abertura física e podem contar com a abertura translúcida da óptica para controlar o brilho da luz que é convertida em imagem na região do sensor 225A,
225B.
Por conseguinte, as lentes 215A, 215B podem ser colocadas acima da abertura 210A, 210B e do filtro de múltiplas passagens de banda curvo 205A, 205B.
Nessa implementação, a abertura 210A, 210B e a lente 215A, 215B também podem ser colocadas acima ou abaixo uma da outra, conforme considerado necessário por um habilitado na técnica de desenho óptico.
[0073] A primeira CFA 220A posicionada sobre a primeira região do sensor 225A e a segunda CFA 220B posicionada sobre a segunda região do sensor 225B podem atuar como filtros de passagem seletiva de comprimento de onda e dividir a luz que entra na faixa visível em faixas vermelha, verde e azul (como indicado pela notação R, G e B). A luz é “dividida” permitindo que apenas certos comprimentos de onda selecionados passem por cada um dos filtros de cor na primeira e na segunda CFAs 220A, 220B. A luz dividida é recebida por diodos vermelhos, verdes ou azuis dedicados no sensor de imagem. Embora os filtros de cor vermelha, azul e verde sejam comumente usados, em outras modalidades os filtros de cor podem variar de acordo com os requisitos do canal de cor dos dados de imagem capturados, por exemplo, incluindo filtros de passagem ultravioleta, infravermelho ou infravermelho próximo, como com uma CFA de RGB-IV.
[0074] Como ilustrado, cada filtro da CFA é posicionado sobre um único fotodiodo PD1-PD6. A Figura 3A também ilustra microlentes de exemplo (indicadas por ML) que podem ser formadas ou posicionadas de outra forma sobre cada filtro de cor, a fim de focar a luz que entra em regiões de detector ativo. Outras implementações podem ter vários fotodiodos sob um único filtro (por exemplo, grupamentos de 2, 4 ou mais fotodiodos adjacentes). No exemplo ilustrado, o fotodiodo PD1 e o fotodiodo PD4 estão sob filtros de cor vermelha e, portanto, produziriam informações de pixel do canal vermelho; o fotodiodo PD2 e o fotodiodo PD5 estão sob filtros de cor verde e, portanto, produziriam informações de pixel do canal verde; e o fotodiodo PD3 e o fotodiodo PD6 estão sob filtros de cor azul e, portanto, produziriam informações de pixel do canal azul. Além disso, como descrito em mais detalhes abaixo, os canais de cor específicos emitidos por determinados fotodiodos podem ser ainda limitados a bandas de onda mais estreitas com base em iluminantes ativados e/ou as bandas de onda específicas passadas pelos filtros de múltiplas passagens de banda 205A, 205B, de modo que um determinado fotodiodo possa produzir diferentes informações de canal de imagem durante diferentes exposições.
[0075] As lentes de imagem 215A, 215B podem ser moldadas para focar uma imagem da cena do objeto nas regiões do sensor 225A, 225B. Cada lente de imagem 215A, 215B pode ser composta de tantos elementos ópticos e superfícies necessários para a formação de imagem e não estão limitados a lentes convexas únicas como apresentado na Figura 3A, permitindo o uso de uma ampla variedade de lentes de formação de imagem ou conjuntos de lentes que seriam disponíveis comercialmente ou por desenho personalizado. Cada elemento ou conjunto de lentes pode ser formado ou ligado em conjunto em uma pilha ou mantido em série usando um cilindro optomecânico com um anel ou bisel de retenção. Em algumas modalidades, os elementos ou conjuntos de lentes podem incluir um ou mais de grupos de lentes ligadas, tais como dois ou mais componentes ópticos cimentados ou de outra forma ligados entre si. Em várias modalidades, qualquer um dos filtros de múltiplas passagens de banda descritos nesse documento pode ser posicionado na frente de um conjunto de lentes do sistema de formação de imagem multiespectral, na frente de um singleto do sistema de imagem multiespectral, atrás de um conjunto de lentes do sistema de imagem multiespectral, atrás um singleto do sistema de formação de imagem multiespectral, dentro de um conjunto de lentes do sistema de imagem multiespectral, dentro de um grupo de lentes ligadas do sistema de imagem multiespectral, diretamente sobre uma superfície de um singleto do sistema de imagem multiespectral ou diretamente sobre uma superfície de um elemento de um conjunto de lentes do sistema de imagem multiespectral. Além disso, a abertura 210A e 210B pode ser removida e as lentes 215A, 215B podem ser da variedade tipicamente usada em fotografia com câmeras digitais de reflexo por uma lente (DSLR) ou sem espelho.
Adicionalmente, essas lentes podem ser da variedade usada em visão de máquina usando rosqueamento para montagem por montagem C ou montagem S. O ajuste de foco pode ser fornecido pelo movimento das lentes de imagem 215A, 215B em relação às regiões do sensor 225A, 225B ou movimento das regiões do sensor 225A, 225B em relação às lentes de imagem 215A, 215B, por exemplo, com base em focagem manual, autofoco com base em contraste ou outras técnicas de autofoco adequadas.
[0076] Os filtros de múltiplas passagens de banda 205A, 205B podem ser configurados para passar seletivamente várias bandas de onda estreitas de luz, por exemplo, bandas de onda de 10-50 nm em algumas modalidades (ou bandas de onda mais largas ou estreitas em outras modalidades). Como ilustrado na Figura 3A, ambos os filtros de múltiplas passagens de banda 205A, 205B podem passar a banda de onda c (a “banda de onda comum”). Em implementações com três ou mais trajetos de luz, cada filtro de múltiplas passagens de banda pode passar por essa banda de onda comum. Dessa forma, cada região do sensor captura informações de imagem na mesma banda de onda (o “canal comum”). Essas informações de imagem nesse canal comum podem ser usadas para registrar os conjuntos de imagens capturadas por cada região do sensor, como descrito em mais detalhes abaixo. Algumas implementações podem ter uma banda de onda comum e canal comum correspondente, ou podem ter várias bandas de onda comuns e canais comuns correspondentes.
[0077] Além da banda de onda comum c, cada filtro de múltiplas passagens 205A, 205B pode ser configurado para passar seletivamente uma ou mais bandas de onda exclusivas.
Dessa forma, o sistema de formação de imagem 200 é capaz de aumentar o número de canais espectrais distintos capturados coletivamente pelas regiões do sensor 205A, 205B além do que pode ser capturado por uma única região do sensor. Isso é ilustrado na Figura 3A por filtro de múltiplas passagens de banda 205A passando a banda de onda única u1, e filtros de múltiplas passagens de banda 205B passando a banda de onda única u2, onde u1 e u2 representam bandas de onda diferentes umas das outras. Embora representado como passando por duas bandas de onda, cada uma das múltiplas passagens de banda divulgadas pode passar um conjunto de duas ou mais bandas de onda. Por exemplo, algumas implementações podem passar quatro bandas de onda cada, como descrito em relação às Figuras 11A e 11B. Em várias modalidades, um número maior de bandas de onda pode ser passado. Por exemplo, algumas implementações de quatro câmeras podem incluir filtros de múltiplas passagens de banda configurados para passar 8 bandas de onda. Em algumas modalidades, o número de bandas de onda pode ser, por exemplo, 4, 5, 6, 7, 8, 9, 10, 12, 15, 16 ou mais bandas de onda.
[0078] Os filtros de múltiplas passagens de banda 205A, 205B têm uma curvatura selecionada para reduzir a transmissão espectral dependente do ângulo através das respectivas regiões do sensor 225A, 225B. Como resultado, ao receber iluminação de banda estreita do espaço do objeto, cada fotodiodo através da área das regiões do sensor 225A, 225B que é sensível a esse comprimento de onda (por exemplo, o filtro de cor sobrejacente passa por esse comprimento de onda) deve receber substancialmente o mesmo comprimento de onda de luz, em vez de fotodiodos perto da borda do sensor experimentando a mudança de comprimento de onda descrita acima em relação à Figura 1A. Isso pode gerar dados de imagem espectral mais precisos do que usar filtros planos.
[0079] A Figura 3B representa um projeto óptico de exemplo para componentes ópticos de um trajeto de luz do sistema de formação de imagem de múltiplas aberturas da Figura 3A. Especificamente, a Figura 3B representa um dupleto acromático personalizado 240 que pode ser usado para fornecer os filtros de múltiplas passagens de banda 205A, 205B. O dupleto acromático personalizado 240 passa a luz através de um alojamento 250 para um sensor de imagem 225. O alojamento 250 pode incluir aberturas 210A, 210B e lentes de formação de imagem 215A, 215B descritas acima.
[0080] O dupleto acromático 240 é configurado para corrigir aberturas ópticas como introduzidas pela incorporação de superfícies necessárias para os revestimentos de filtro de múltiplas passagens de banda 205A, 205B. O dupleto acromático ilustrado 240 inclui duas lentes individuais, que podem ser feitas de vidros ou outros materiais ópticos tendo diferentes quantidades de dispersão e diferentes indicadores de refração. Outras implementações podem usar três ou mais lentes. Essas lentes duplas acromáticas podem ser projetadas para incorporar os revestimentos de filtro de múltiplas passagens de banda 205A, 205B sobre a superfície frontal curva 242, enquanto elimina aberrações ópticas introduzidas que estariam presentes através da incorporação de uma superfície óptica singleto curva com os revestimentos de filtro depositados 205A, 205B, embora ainda limite o poder óptico ou de focagem fornecido pelo dupleto acromático 240 devido ao efeito combinatório da superfície frontal curva 242 e a superfície traseira curva de 244, embora ainda mantendo os elementos primários para focalizar a luz restrita às lentes alojadas no alojamento
250. Assim, o dupleto acromático 240 pode contribuir para a alta precisão dos dados de imagem capturados pelo sistema
200. Essas lentes individuais podem ser montadas lado a lado, por exemplo, sendo coladas ou cimentadas, e moldadas de modo que a aberração de uma das lentes sejam contrabalançadas pelas da outra. A superfície frontal curva 242 ou a superfície traseira curva 244 do dupleto acromático 240 podem ser revestidas com o revestimento de filtro de múltiplas passagens de banda 205A, 205B. Outros desenhos de dupleto podem ser implementados com os sistemas descritos nesse documento.
[0081] Outras variações dos desenhos ópticos descritos nesse documento podem ser implementadas. Por exemplo, em algumas modalidades, um trajeto de luz pode incluir um singleto ou outro singleto óptico, tal como da variedade de côncavo-convexo positivo ou negativo, como representado na Figura 3A, em vez do dupleto 240 representado na Figura 3B.
A Figura 3C ilustra um exemplo de implementação em que um filtro plano 252 está incluído entre o alojamento da lente 250 e o sensor 225. O dupleto acromático 240 na Figura 3C fornece correção de aberração óptica como introduzida pela inclusão do filtro plano 252 contendo um perfil de transmissão de múltiplas bandas de passagem, embora não contribua significativamente para a potência óptica como fornecida pelas lentes contidas no alojamento 250. A Figura 3D ilustra outro exemplo de uma implementação em que o revestimento de múltiplas passagens de banda é implementado por meio de um revestimento de múltiplas passagens de banda 254 aplicado na superfície frontal do conjunto de lentes contido dentro do alojamento 250. Como tal, esse revestimento de múltiplas passagens de banda 254 pode ser aplicado a qualquer superfície curva de qualquer elemento óptico que resida dentro do alojamento 250.
[0082] As Figuras 4A-4E representam uma modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 300, com um desenho óptico como descrito em relação às Figuras 3A e 3B. Especificamente, a Figura 4A representa uma vista em perspectiva do sistema de formação de imagem 300 com o alojamento 305 ilustrado com translucidez para revelar os componentes internos. O alojamento 305 pode ser maior ou menor em relação ao alojamento ilustrado 305, por exemplo, com base em uma quantidade desejada de recursos de computação incorporados. A Figura 4B representa uma vista frontal do sistema de formação de imagem 300. A Figura 4C representa uma vista lateral em corte do sistema de formação de imagem 300, cortado ao longo da linha C-C ilustrada na Figura 4B. A Figura 4D representa uma vista inferior do sistema de formação de imagem 300 representando a placa de processamento 335. As Figuras 4A-4D são descritas juntas abaixo.
[0083] O alojamento 305 do sistema de formação de imagem 300 pode ser encerrado em outro alojamento. Por exemplo, implementações manuais podem encerrar o sistema dentro de um alojamento opcionalmente com uma ou mais alças em forma para facilitar a retenção estável do sistema de formação de imagem
300. Exemplos de implementações manuais são representadas em mais detalhes nas Figuras 18A-18C e nas Figuras 19A-19B. A superfície superior do alojamento 305 inclui quatro aberturas 320A-320D. Um filtro de múltiplas passagens de banda 325A-325D diferente é posicionado sobre cada abertura
320A-320D e mantido no lugar por uma capa de filtro 330A- 330B. Os filtros de múltiplas passagens de banda 325A-325D podem ser curvos e cada um passa por uma banda de onda comum e pelo menos uma banda de onda única, como descrito nesse documento, a fim de obter formação de imagem multiespectral de alta precisão através de um maior número de canais espectrais do que seria de outra forma capturado pelo sensor de imagem devido à sua matriz de filtro de cor sobreposta.
O sensor de imagem, lentes de formação de imagem e filtros de cor descritos acima são posicionados dentro dos alojamentos da câmera 345A-345D. Em algumas modalidades, um único alojamento de câmera pode encerrar os sensores de imagem, lentes de formação de imagem e filtros de cor descritos acima, por exemplo, como mostrado nas Figuras 20A- 20B. Na implementação representada, sensores separados são, portanto, usados (por exemplo, um sensor dentro de cada alojamento de câmera 345A-345D), mas será apreciado que um único sensor de imagem abrangendo todas as regiões expostas através das aberturas 320A-320D poderia ser usado em outras implementações. Os alojamentos da câmera 345A-345D são presos ao alojamento do sistema 305 usando suportes 340 nessa modalidade e podem ser presos usando outros meios adequados em várias implementações.
[0084] A superfície superior do alojamento 305 suporta uma placa de iluminação opcional 310 coberta por um elemento difusor óptico 315. A placa de iluminação 310 é descrita em mais detalhes em relação à Figura 4E, abaixo. O elemento difusor 315 pode ser composto de vidro, plástico ou outro material óptico para difundir a luz emitida a partir da placa de iluminação 310 de modo que o espaço do objeto receba iluminação substancialmente espacialmente uniforme. Mesmo a iluminação do objeto alvo pode ser benéfica em certas aplicações de imagem, por exemplo, análise clínica de tecido convertido em imagem, porque fornece, dentro de cada comprimento de onda, uma quantidade substancialmente uniforme de iluminação em toda a superfície do objeto. Em algumas modalidades, os sistemas de formação de imagem divulgados nesse documento podem utilizar luz ambiente em vez de ou além da luz da placa de iluminação opcional.
[0085] Devido ao calor gerado pela placa de iluminação 310 em uso, o sistema de formação de imagem 300 inclui um dissipador de calor 350 incluindo uma série de aletas de dissipação de calor 355. As aletas de dissipação de calor 355 podem se estender para o espaço entre os alojamentos da câmera 345A-345D, e a porção superior do dissipador de calor 350 pode extrair calor da placa de iluminação 310 para as aletas 355. O dissipador de calor 350 pode ser feito de materiais termicamente condutores adequados. O dissipador de calor 350 pode ajudar adicionalmente a dissipar o calor de outros componentes, de modo que algumas implementações de sistemas de formação de imagem possam ser sem ventoinha.
[0086] Uma série de suportes 365 no alojamento 305 prende uma placa de processamento 335 em comunicação com as câmeras 345A-345D. A placa de processamento 335 pode controlar a operação do sistema de formação de imagem 300.
Embora não ilustrado, o sistema de formação de imagem 300 também pode ser configurado com uma ou mais memória(s), por exemplo, armazenando dados gerados pelo uso do sistema de formação de imagem e/ou módulos de instruções executáveis por computador para controle do sistema. A placa de processamento 335 pode ser configurada de várias maneiras, dependendo dos objetivos do desenho do sistema. Por exemplo, a placa de processamento pode ser configurada (por exemplo, por um módulo de instruções executáveis por computador) para controlar a ativação de LEDs específicos da placa de iluminação 310. Algumas implementações podem usar um acionador de LED redutor síncrono altamente estável, que pode permitir controle de software de corrente de LED analógico e também detecção de falha do LED. Algumas implementações podem fornecer adicionalmente funcionalidade de análise de dados de imagem para a placa de processamento (por exemplo, por módulos de instruções executáveis por computador) 335 ou para uma placa de processamento separada.
Embora não ilustrado, o sistema de formação de imagem 300 pode incluir interconexões de dados entre os sensores e a placa de processamento 335 de modo que a placa de processamento 335 possa receber e processar dados dos sensores e entre a placa de iluminação 310 e a placa de processamento 335 de modo que a placa de processamento possa acionar a ativação de LEDs específicos da placa de iluminação
310.
[0087] A Figura 4E representa uma placa de iluminação de exemplo 310 que pode ser incluída no sistema de formação de imagem 300, isolada dos outros componentes. A placa de iluminação 310 inclui quatro braços que se estendem de uma região central, com LEDs posicionados ao longo de cada braço em três colunas. Os espaços entre LEDs em colunas adjacentes são deslocados lateralmente um do outro para criar separação entre LEDs adjacentes. Cada coluna de LEDs inclui várias linhas com cores diferentes de LEDs. Quatro LEDs verdes 371 estão posicionados na região central, com um LED verde em cada canto da região central. Começando na linha mais interna (por exemplo, mais próximo do centro), cada coluna inclui uma linha de dois LEDs vermelhos profundos 372 (para um total de oito LEDs vermelhos profundos). Continuando radialmente para fora, cada braço tem uma linha de um LED âmbar 374 na coluna central, uma linha de dois LEDs azuis curtos 376 nas colunas mais externas (para um total de oito LEDs azuis curtos), outra linha de um LED âmbar 374 na coluna central (para um total de oito LEDs âmbar), uma linha tendo um LED
373 IV-próximo não PPG e um LED vermelho 375 nas colunas mais externas (para um total de quatro de cada), e um LED IV-próximo PPG 377 na coluna central (para um total de quatro LEDs IV-próximo PPG). Um LED “PPG” se refere a um LED ativado durante uma série de exposições sequenciais para capturar informações fotopletismográficas (PPG) que representam o fluxo sanguíneo pulsátil em tecido vivo. Será entendido que uma variedade de outras cores e/ou arranjos das mesmas pode ser usada em placas de iluminação de outras modalidades.
[0088] A Figura 5 representa outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas, com um desenho óptico como descrito em relação às Figuras 3A e 3B. Similar ao desenho do sistema de formação de imagem 300, o sistema de formação de imagem 400 inclui quatro trajetos de luz, mostrados nesse documento como aberturas 420A-420D tendo grupos de lentes de filtro de múltiplas passagens de banda 425A-425D, que são presos ao alojamento 405 por anéis de retenção 430A-430D. O sistema de formação de imagem 400 também inclui uma placa de iluminação 410 presa à face frontal do alojamento 405 entre os anéis de retenção 430A-430D e um difusor 415 posicionado sobre a placa de iluminação 410 para auxiliar na emissão de luz espacialmente uniforme no objeto alvo.
[0089] A placa de iluminação 410 do sistema 400 inclui quatro ramificações de LEDs em forma de cruz, com cada ramificação incluindo duas colunas de LEDs próximos. Assim, a placa de iluminação 410 é mais compacta do que a placa de iluminação 310 descrita acima e pode ser adequada para uso com sistemas de formação de imagem tendo requisitos de fator de forma menores. Nessa configuração de exemplo, cada ramificação inclui uma linha mais externa com um LED verde e um LED azul e, movendo-se para dentro, inclui duas linhas de LEDs amarelos, uma linha de LEDs laranjas, uma linha com um LED vermelho e um LED vermelho escuro e uma linha tendo um LED âmbar e um LED IV-próximo. Por conseguinte, nessa implementação, os LEDs são arranjados de modo que os LEDs que emitem luz de comprimentos de onda mais longos fiquem no centro da placa de iluminação 410, enquanto os LEDs que emitem luz de comprimentos de onda mais curtos estão nas bordas da placa de iluminação 410.
[0090] As Figuras 6A-6C representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 500, com um desenho óptico como descrito em relação às Figuras 3A e 3B. Especificamente, a Figura 6A representa uma vista em perspectiva do sistema de formação de imagem 500, a Figura 6B representa uma vista frontal do sistema de formação de imagem 500 e a Figura 6C representa uma vista lateral em corte do sistema de formação de imagem 500, cortado ao longo da linha C-C ilustrada na Figura 6B. O sistema de formação de imagem 500 inclui componentes similares aos descritos acima em relação ao sistema de formação de imagem 300 (por exemplo, um alojamento 505, placa de iluminação 510, placa de difusão 515, filtros de múltiplas passagens de banda 525A-525D presos sobre aberturas por meio de anéis de retenção 530A-530D), mas representa um fator de forma mais curto (por exemplo, em uma modalidade com menos componentes e/ou com componentes de computação incorporados menores). O sistema 500 também inclui uma montagem 540 direta de câmera para quadro para maior rigidez e robustez do alinhamento da câmera.
[0091] As Figuras 7A-7B representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 600. As Figuras 7A-7B ilustram outro arranjo possível de fontes de luz 610A-610C em torno de um sistema de formação de imagem de múltiplas aberturas 600. Como representado, quatro conjuntos de lentes com filtros de múltiplas passagens de banda 625A-625D com um desenho óptico como descrito em relação às Figuras 3A-3D podem ser dispostos em uma configuração retangular ou quadrada para fornecer luz a quatro câmeras 630A-630D (incluindo sensores de imagem).
Três elementos emissores de luz retangulares 610A-610C podem ser dispostos paralelos um ao outro fora e entre os conjuntos de lentes com filtros de múltiplas passagens de banda 625A- 625D. Podem ser painéis emissores de luz de amplo espectro ou arranjos de LEDs que emitem bandas de onda de luz discretas.
[0092] As Figuras 8A-8B representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 700. As Figuras 8A-8B ilustram outro arranjo possível de fontes de luz 710A-710D em torno de um sistema de formação de imagem de múltiplas aberturas 700. Como representado, quatro conjuntos de lentes com filtros de múltiplas passagens de banda 725A-725D, empregando um desenho óptico como descrito em relação às Figuras 3A-3D, podem ser dispostos em uma configuração retangular ou quadrada para fornecer luz a quatro câmeras 730A-730D (incluindo sensores de imagem). As quatro câmeras 730A-730D são ilustradas em uma configuração de exemplo mais próxima que pode minimizar as diferenças de perspectiva entre as lentes. Quatro elementos emissores de luz retangulares 710A- 710D podem ser posicionados em um quadrado em torno dos conjuntos de lentes com filtros de múltiplas passagens de banda 725A-725D. Eles podem ser painéis emissores de luz de amplo espectro ou arranjos de LEDs que emitem bandas de onda discretas de luz.
[0093] As Figuras 9A-9C representam outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 800. O sistema de formação de imagem 800 inclui um quadro 805 acoplado a uma frente de quadro de agrupamento de lentes 830 que inclui aberturas 820 e estruturas de suporte para lentes de microvídeo 825, que pode ser fornecido com filtro de múltiplas passagens de banda usando um desenho óptico como descrito em relação às Figuras 3A-3D. As lentes de microvídeo 825 fornecem luz para quatro câmeras 845 (incluindo lentes de imagem e regiões do sensor de imagem) montadas atrás de uma estrutura de agrupamento de lentes
840. Quatro arranjos lineares de LEDs 811 são arranjados ao longo dos quatro lados da frente da estrutura de agrupamento de lentes 830, cada um fornecido com seu próprio elemento de difusão 815. As Figuras 9B e 9C representam dimensões de exemplo em polegadas para mostrar um tamanho possível do sistema de formação de imagem de múltiplas aberturas 800.
[0094] A Figura 10A representa outra modalidade de um sistema de formação de imagem multiespectral de múltiplas aberturas 900, com um desenho óptico como descrito em relação às Figuras 3A-3D. O sistema de formação de imagem 900 pode ser implementado como um conjunto de filtros de múltiplas passagens de banda 905 que são acopláveis sobre uma câmera de múltiplas aberturas 915 de um dispositivo móvel 910. Por exemplo, certos dispositivos móveis 910, tais como smartphones, podem ser equipados com sistemas de formação de imagem estereoscópica tendo duas aberturas que conduzem a duas regiões do sensor de imagem. As técnicas de formação de imagem espectral de múltiplas aberturas divulgadas podem ser implementadas em tais dispositivos, fornecendo-lhes um conjunto adequado de filtro de múltiplas passagens de banda 905 para passar várias bandas de onda mais estreitas de luz para as regiões do sensor. Opcionalmente, o conjunto de filtro de múltiplas passagens de banda 905 pode ser equipado com um iluminante (tal como uma matriz de LED e difusor) que fornece luz nessas bandas de onda para o espaço do objeto.
[0095] O sistema 900 também pode incluir um aplicativo móvel que configura o dispositivo móvel para realizar o processamento que gera o cubo de dados multiespectral, bem como processar o cubo de dados multiespectral (por exemplo, para classificação clínica de tecido, reconhecimento biométrico, análise de materiais ou outras aplicações).
Alternativamente, o aplicativo móvel pode configurar o dispositivo 910 para enviar o cubo de dados multiespectral através de uma rede para um sistema de processamento remoto e, em seguida, receber e exibir um resultado da análise. Um exemplo de interface de usuário 910 para tal aplicativo é mostrado na Figura 10B.
[0096] As Figuras 11A-11B representam um exemplo de conjunto de bandas de onda que pode ser passado pelos filtros de implementações de quatro filtros dos sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B, por exemplo, para um sensor de imagem tendo a CFA Bayer (ou outra CFA de RGB ou RGB-IV). A resposta de transmissão espectral das bandas de onda conforme passadas pelos filtros de múltiplas passagens de banda mostrada pelas linhas sólidas nos gráficos 1000 da Figura 11A e são representadas por 𝑇 ʎ , onde n representa o número da câmera, variando de 1 a 4. As linhas tracejadas representam a resposta espectral combinada de 𝑇ʎ com a transmissão espectral de um pixel verde, 𝑄ʎ , um pixel vermelho, 𝑄ʎ , ou um pixel azul, 𝑄ʎ , que estaria presente em uma CFA Bayer típica. Essas curvas de transmissão também incluem os efeitos da eficiência quântica devido ao sensor usado nesse exemplo.
Como ilustrado, este conjunto de quatro câmeras captura coletivamente oito canais ou bandas de onda exclusivos. Cada filtro passa duas bandas de onda comuns (os dois picos mais à esquerda) para as respectivas câmeras, bem como duas bandas de onda adicionais. Nessa implementação, a primeira e a terceira câmeras recebem luz em uma primeira banda de onda IV-próximo compartilhada (o pico mais à direita), e a segunda e a quarta câmeras recebem luz em uma segunda banda de onda IV-próximo compartilhada (o segundo pico mais à direita).
Cada uma das câmeras também recebe uma banda de onda exclusiva variando de aproximadamente 550 nm ou 550 nm a aproximadamente 800 nm ou 800 nm. Assim, a câmera pode capturar oito canais espectrais exclusivos usando uma configuração compacta. Um gráfico 1010 na Figura 11B representa a irradiância espectral de uma placa de LED, como descrito na Figura 4E, que pode ser usada como iluminação para as 4 câmeras mostradas na Figura 11A.
[0097] Nessa implementação, as oito bandas de onda foram selecionadas com base na produção de canais espectrais adequados para a classificação clínica do tecido e também podem ser otimizadas em relação à razão de sinal-ruído (SNR) e taxa de fotograma, limitando o número de LEDs (que introduzem calor no sistema de formação de imagem). As oito bandas de onda incluem uma banda de onda comum de luz azul (o pico mais à esquerda nos gráficos 1000) que é passada por todos os quatro filtros, porque o tecido (por exemplo, tecido animal incluindo tecido humano) exibe maior contraste em comprimentos de onda azuis do que em comprimentos de onda verdes ou vermelhos. Especificamente, o tecido humano exibe seu maior contraste quando visualizado em uma banda de onda centrada em cerca de 420 nm, como mostrado nos gráficos 1000.
Como o canal correspondente à banda de onda comum é usado para correção de disparidade, esse contraste mais alto pode produzir uma correção mais precisa. Por exemplo, na correção de disparidade, o processador de imagem pode empregar métodos locais ou globais para encontrar um conjunto de disparidades de modo que uma figura de mérito correspondente à similaridade entre quadrados de imagem locais ou imagens seja maximizada. Alternativamente, o processador de imagem pode empregar métodos similares que minimizam uma figura de mérito correspondente à não similaridade. Essas figuras de mérito podem ser baseadas em entropia, correlação, diferenças absolutas ou em métodos de aprendizado profundo.
Métodos globais de cálculo de disparidade podem operar iterativamente, terminando quando a figura de mérito é estável. Os métodos locais podem ser usados para calcular a disparidade ponto a ponto, usando um quadrado fixo em uma imagem como uma entrada para a figura de mérito e um número de quadrados diferentes, cada um determinado por um valor diferente de disparidade em teste, a partir da outra imagem.
Todos esses métodos podem ter restrições impostas à faixa de disparidades que são consideradas. Essas restrições podem ser baseadas no conhecimento da profundidade e da distância do objeto, por exemplo. As restrições também podem ser impostas com base em uma faixa de gradientes esperados em um objeto. As restrições nas disparidades calculadas também podem ser impostas pela geometria projetiva, tal como a restrição epipolar. A disparidade pode ser calculada em várias resoluções, com a saída das disparidades calculadas em resoluções mais baixas atuando como valores iniciais ou restrições nas disparidades calculadas no próximo nível de resolução. Por exemplo, uma disparidade calculada em um nível de resolução de 4 pixels em um cálculo pode ser usada para definir restrições de ± 4 pixels em um próximo cálculo de disparidade em resolução mais alta. Todos os algoritmos que calculam a partir da disparidade se beneficiarão de um contraste mais alto, especialmente se essa fonte de contraste estiver correlacionada para todos os pontos de vista. De um modo geral, a banda de onda comum pode ser selecionada com base na correspondência com a formação de imagem de maior contraste do material que se espera que seja convertida em imagem para uma aplicação particular.
[0098] Após a captura da imagem, a separação de cores entre canais adjacentes pode não ser perfeita e, portanto, essa implementação também tem uma banda de onda comum adicional passada por todos os filtros - representada nos gráficos 1000 como a banda de onda verde adjacente à banda de onda azul. Isso ocorre porque os pixels do filtro de cor azul são sensíveis a regiões do espectro verde devido à sua ampla passagem de banda espectral. Isso tipicamente se manifesta como sobreposição espectral, que também pode ser caracterizada como interferência intencional, entre pixels RGB adjacentes. Essa sobreposição permite que a sensibilidade espectral das câmeras de cor seja semelhante à sensibilidade espectral de uma retina humana, de modo que o espaço de cor resultante seja qualitativamente similar à visão humana. Consequentemente, ter um canal verde comum pode permitir a separação da porção do sinal gerado pelos fotodiodos azuis que realmente correspondem à luz azul recebida, separando a porção do sinal devido à luz verde.
Isso pode ser realizado usando algoritmos de decomposição espectral que fatoram a transmitância (mostrada na legenda por T com uma linha preta sólida) do filtro de múltiplas passagens de banda, a transmitância do filtro de cor com CFA correspondente (mostrado na legenda por Q com linhas tracejadas de vermelho, verde e azul). Será apreciado que algumas implementações podem usar luz vermelha como uma banda de onda comum e, em tais casos, um segundo canal comum pode não ser necessário.
[0099] A Figura 12 ilustra um diagrama de blocos de alto nível de um exemplo de sistema de formação de imagem compacto 1100 com recursos de formação de imagem espectral de alta resolução, o sistema 1100 tendo um conjunto de componentes incluindo um processador 1120 ligado a uma câmera espectral de múltiplas aberturas 1160 e iluminante(s) 1165. Uma memória de trabalho 1105, armazenamento 1110, visor eletrônico 1125 e memória 1130 também estão em comunicação com o processador
1120. Como descrito nesse documento, o sistema 1100 pode capturar um número maior de canais de imagem do que cores diferentes de filtros na CFA do sensor de imagem usando diferentes filtros de múltiplas passagens de banda colocados sobre diferentes aberturas da câmera espectral de múltiplas aberturas 1160.
[00100] O sistema 1100 pode ser um dispositivo, tais como, um(a) telefone celular, câmera digital, computador tablet, assistente digital pessoal ou semelhante. O sistema
1100 também pode ser um dispositivo mais estacionário, tal como um computador pessoal de mesa, estação de videoconferência ou semelhante, que usa uma câmera interna ou externa para capturar imagens. O sistema 1100 também pode ser uma combinação de um dispositivo de captura de imagem e um dispositivo de processamento separado que recebe dados de imagem do dispositivo de captura de imagem. Uma pluralidade de aplicativos pode estar disponível para o usuário no sistema 1100. Esses aplicativos podem incluir aplicativos fotográficos tradicionais, captura de imagens paradas e vídeo, aplicativos de correção dinâmica de cores e aplicativos de correção de sombreamento de brilho, entre outros.
[00101] O sistema de captura de imagem 1100 inclui a câmera espectral de múltiplas aberturas 1160 para capturar imagens. A câmera espectral de múltiplas aberturas 1160 pode ser, por exemplo, qualquer um dos dispositivos das Figuras 3A-10B. A câmera espectral de múltiplas aberturas 1160 pode ser acoplada ao processador 1120 para transmitir imagens capturadas em diferentes canais espectrais e de diferentes regiões do sensor para o processador de imagem 1120. O(s) iluminante(s) 1165 também pode(m) ser controlados pelo processador para emitir luz em certos comprimentos de onda durante certas exposições, como descrito em mais detalhes abaixo. O processador de imagem 1120 pode ser configurado para realizar várias operações em uma imagem capturada recebida, a fim de produzir um cubo de dados multiespectral com disparidade corrigida e alta qualidade.
[00102] O processador 1120 pode ser uma unidade de processamento de uso geral ou um processador especialmente projetado para aplicativos de formação de imagem. Como mostrado, o processador 1120 está conectado a uma memória 1130 e uma memória de trabalho 1105. Na modalidade ilustrada, a memória 1130 armazena um módulo de controle de captura 1135, módulo de geração de cubo de dados 1140, módulo de análise de cubo de dados 1145 e sistema operacional 1150.
Esses módulos incluem instruções que configuram o processador para realizar várias tarefas de processamento de imagem e gerenciamento de dispositivo. A memória de trabalho 1105 pode ser usada pelo processador 1120 para armazenar um conjunto de instruções do processador contido nos módulos de memória 1130. Alternativamente, a memória de trabalho 1105 também pode ser usada pelo processador 1120 para armazenar dados dinâmicos criados durante a operação do dispositivo
1100.
[00103] Como mencionado acima, o processador 1120 é configurado por vários módulos armazenados na memória 1130.
O módulo de controle de captura 1135 inclui instruções que configuram o processador 1120 para ajustar a posição do foco da câmera espectral de múltiplas aberturas 1160, em algumas implementações. O módulo de controle de captura 1135 também inclui instruções que configuram o processador 1120 para capturar imagens com a câmera espectral de múltiplas aberturas 1160, por exemplo, imagens multiespectrais capturadas em diferentes canais espectrais, bem como imagens PPG capturadas no mesmo canal espectral (por exemplo, um canal IV-próximo). A formação de imagem PPG sem contato normalmente usa comprimentos de onda do infravermelho próximo (IV-próximo) como iluminação para aproveitar a maior penetração de fótons no tecido nesse comprimento de onda.
Portanto, o processador 1120, juntamente com o módulo de controle de captura 1135, a câmera espectral de múltiplas aberturas 1160 e a memória de trabalho 1105 representam um meio para capturar um conjunto de imagens espectrais e/ou uma sequência de imagens.
[00104] O módulo de geração de cubo de dados 1140 inclui instruções que configuram o processador 1120 para gerar um cubo de dados multiespectral com base em sinais de intensidade recebidos dos fotodiodos de diferentes regiões do sensor. Por exemplo, o módulo de geração de cubo de dados 1140 pode estimar uma disparidade entre as mesmas regiões de um objeto convertido em imagem com base em um canal espectral correspondente à banda de onda comum passada por todos os filtros de múltiplas passagens de banda e pode usar essa disparidade para registrar todas as imagens espectrais em todos canais capturados entre si (por exemplo, de modo que o mesmo ponto no objeto seja representado por substancialmente a mesma localização de pixel (x,y) em todos os canais espectrais). As imagens registradas formam coletivamente o cubo de dados multiespectral e as informações de disparidade podem ser usadas para determinar as profundidades de diferentes objetos convertidos em imagem, por exemplo, uma diferença de profundidade entre o tecido saudável e uma localização mais profunda dentro de um local da ferida. Em algumas modalidades, o módulo de geração de cubos de dados 1140 também pode realizar a decomposição espectral para identificar quais porções dos sinais de intensidade do fotodiodo correspondem a quais bandas de onda passadas, por exemplo, com base em algoritmos de decomposição espectral que fatoram as transmitâncias do filtro e a eficiência quântica do sensor.
[00105] O módulo de análise de cubo de dados 1145 pode implementar várias técnicas para analisar o cubo de dados multiespectral gerado pelo módulo de geração de cubo de dados 1140, dependendo da aplicação. Por exemplo, algumas implementações do módulo de análise de cubo de dados 1145 podem fornecer o cubo de dados multiespectral (e, opcionalmente, informações de profundidade) para um modelo de aprendizado de máquina treinado para classificar cada pixel de acordo com um determinado estado. Esses estados podem ser estados clínicos no caso de formação de imagens de tecido, por exemplo, estados de queimadura (por exemplo, queimadura de primeiro grau, queimadura de segundo grau, queimadura de terceiro grau ou categorias de tecido saudável), estados de ferida (por exemplo, hemostasia, inflamação, proliferação, remodelação ou categorias de pele saudável), potencial de cicatrização (por exemplo, uma pontuação refletindo a probabilidade de o tecido se cicatrizar de um estado ferido, com ou sem uma terapia específica), estados de perfusão, estados cancerígenos ou outros estados de tecido relacionados à ferida. O módulo de análise do cubo de dados 1145 também pode analisar o cubo de dados multiespectral para reconhecimento biométrico e/ou análise de materiais.
[00106] O módulo de sistema operacional 1150 configura o processador 1120 para gerenciar a memória e os recursos de processamento do sistema 1100. Por exemplo, o módulo de sistema operacional 1150 pode incluir acionadores de dispositivo para gerenciar recursos de hardware, tais como, visor eletrônico 1125, armazenamento 1110, câmera espectral de múltiplas aberturas 1160, ou iluminante(s)
1165. Portanto, em algumas modalidades, as instruções contidas nos módulos de processamento de imagem discutidos acima podem não interagir com esses recursos de hardware diretamente, mas, em vez disso, interagir por meio de sub-
rotinas padrão ou APIs localizados no componente do sistema operacional 1150. As instruções dentro do sistema operacional 1150 podem, então, interagir diretamente com esses componentes de hardware.
[00107] O processador 1120 pode ser adicionalmente configurado para controlar a exibição 1125 para exibir as imagens capturadas e/ou um resultado da análise do cubo de dados multiespectral (por exemplo, uma imagem classificada) para um usuário. O visor 1125 pode ser externo a um dispositivo de formação de imagem incluindo a câmera espectral de múltiplas aberturas 1160 ou pode ser parte do dispositivo de formação de imagem. O visor 1125 também pode ser configurado para fornecer um localizador de vista para um usuário antes de capturar uma imagem. O visor 1125 pode compreender uma tela LCD ou LED e pode implementar tecnologias sensíveis ao toque.
[00108] O processador 1120 pode gravar dados no módulo de armazenamento 1110, por exemplo, dados que representam imagens capturadas, cubo de dados multiespectral e resultados de análises de cubos de dados. Embora o módulo de armazenamento 1110 seja representado graficamente como um dispositivo de disco tradicional, aqueles habilitados na técnica entenderiam que o módulo de armazenamento 1110 pode ser configurado como qualquer dispositivo de mídia de armazenamento. Por exemplo, o módulo de armazenamento 1110 pode incluir uma unidade de disco, tal como uma unidade de disquete, unidade de disco rígido, unidade de disco óptico ou unidade de disco magneto-óptico, ou uma memória de estado sólido, tal como uma memória FLASH, RAM, ROM e/ou EEPROM. O módulo de armazenamento 1110 também pode incluir várias unidades de memória e qualquer uma das unidades de memória pode ser configurada para estar dentro do dispositivo de captura de imagem 1100 ou pode ser externa ao sistema de captura de imagem 1100. Por exemplo, o módulo de armazenamento 1110 pode incluir instruções de programa de sistema contendo memória ROM armazenadas dentro do sistema de captura de imagem 1100. O módulo de armazenamento 1110 também pode incluir cartões de memória ou memórias de alta velocidade configuradas para armazenar imagens capturadas que podem ser removíveis da câmera.
[00109] Embora a Figura 12 represente um sistema que compreende componentes separados para incluir um processador, sensor de imagem e memória, um habilitado na técnica reconheceria que esses componentes separados podem ser combinados em uma variedade de maneiras para atingir objetivos de desenho específicos. Por exemplo, em uma modalidade alternativa, os componentes da memória podem ser combinados com os componentes do processador para economizar custos e melhorar o desempenho.
[00110] Adicionalmente, embora a Figura 12 ilustre dois componentes de memória - componente de memória 1130 compreendendo vários módulos e uma memória separada 1105 compreendendo uma memória de trabalho - um habilitado na técnica reconheceria várias modalidades que utilizam diferentes arquiteturas de memória. Por exemplo, um desenho pode utilizar ROM ou memória RAM estática para o armazenamento de instruções do processador implementando os módulos contidos na memória 1130. Alternativamente, as instruções do processador podem ser lidas na inicialização do sistema a partir de um dispositivo de armazenamento de disco que está integrado no sistema 1100 ou conectado via uma porta de dispositivo externo. As instruções do processador podem então ser carregadas na RAM para facilitar a execução pelo processador. Por exemplo, a memória de trabalho 1105 pode ser uma memória RAM, com instruções carregadas na memória de trabalho 1105 antes da execução pelo processador 1120.
Visão geral das técnicas de processamento de imagem de exemplo
[00111] A Figura 13 é um fluxograma de um exemplo de processo 1200 para capturar dados de imagem usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B e 12. A Figura 13 representa quatro exemplos de exposições que podem ser usados para gerar um cubo de dados multiespectral, como descrito nesse documento - uma exposição visível 1205, uma exposição visível adicional 1210, uma exposição não visível 1215 e uma exposição ambiente 1220. Será apreciado que essas podem ser capturadas em qualquer ordem, e algumas exposições podem ser opcionalmente removidas ou adicionadas a um fluxo de trabalho específico, como descrito abaixo. Além disso, o processo 1200 é descrito com referência às bandas de onda das Figuras 11A e 11B, no entanto fluxos de trabalho similares podem ser implementados usando dados de imagem gerados com base em outros conjuntos de bandas de onda. Adicionalmente, a correção de campo plano pode adicionalmente ser implementada de acordo com várias técnicas de correção de campo plano conhecidas, para melhorar a aquisição de imagem e/ou correção de disparidade em várias modalidades.
[00112] Para a exposição visível 1205, os LEDs dos primeiros cinco picos (os cinco picos esquerdos correspondentes à luz visível nos gráficos 1000 da Figura 11A) podem ser ligados por um sinal de controle para a placa de iluminação. A onda da saída de luz pode precisar se estabilizar, em um momento específico para determinados LEDs, por exemplo, 10 ms. O módulo de controle de captura 1135 pode iniciar a exposição das quatro câmeras após esse tempo e pode continuar essa exposição por uma duração de cerca de 30 ms, por exemplo. Depois disso, o módulo de controle de captura 1135 pode cessar a exposição e retirar os dados das regiões do sensor (por exemplo, transferindo sinais de intensidade de fotodiodo brutos para a memória de trabalho 1105 e/ou armazenamento de dados 1110). Esses dados podem incluir um canal espectral comum para uso na correção de disparidade, como descrito nesse documento.
[00113] A fim de aumentar a SNR, algumas implementações podem capturar a exposição visível adicional 1210 usando o mesmo processo descrito para a exposição visível 1205. Ter duas exposições idênticas ou quase idênticas pode aumentar a SNR para produzir uma análise mais precisa dos dados de imagem. No entanto, isso pode ser omitido em implementações onde a SNR de uma única imagem é aceitável. Uma exposição duplicada com o canal espectral comum também pode permitir uma correção de disparidade mais precisa em algumas implementações.
[00114] Algumas implementações também podem capturar uma exposição não visível 1215 correspondente à luz IV- próximo ou IV. Por exemplo, o módulo de controle de captura 1135 pode ativar dois LEDs IV-próximo diferentes correspondentes aos dois canais IV-próximo mostrados na Figura 11A. A onda da saída de luz pode precisar se estabilizar, em um momento específico para determinados LEDs, por exemplo, 10 ms. O módulo de controle de captura 1135 pode iniciar a exposição das quatro câmeras após esse tempo e continuar essa exposição por um período de cerca de
30 ms, por exemplo. Depois disso, o módulo de controle de captura 1135 pode cessar a exposição e retirar os dados das regiões do sensor (por exemplo, transferindo sinais de intensidade de fotodiodo brutos para a memória de trabalho 1105 e/ou armazenamento de dados 1110). Nessa exposição, pode não haver banda de onda comum passada para todas as regiões do sensor, uma vez que pode ser assumido com segurança que não há mudança no formato ou posicionamento do objeto em relação às exposições 1205, 1210 e, portanto, os valores de disparidade calculados anteriormente podem ser usados para registrar os canais IV-próximo.
[00115] Em algumas implementações, múltiplas exposições podem ser capturadas sequencialmente para gerar dados PPG que representam a mudança na forma de um local de tecido devido ao fluxo de sangue pulsátil. Essas exposições PPG podem ser capturadas em um comprimento de onda não visível em algumas implementações. Embora a combinação de dados PPG com dados multiespectrais possa aumentar a precisão de certas análises de imagens médicas, a captura de dados PPG também pode introduzir tempo adicional no processo de captura de imagem. Esse tempo adicional pode introduzir erros devido ao movimento do formador de imagens manual e/ou objeto, em algumas implementações. Assim, certas implementações podem omitir a captura de dados PPG.
[00116] Algumas implementações podem capturar adicionalmente a exposição ambiente 1220. Para essa exposição, todos os LEDs podem ser desligados para capturar uma imagem usando iluminação ambiente (por exemplo, luz solar, luz de outras fontes de iluminação). O módulo de controle de captura 1135 pode iniciar a exposição das quatro câmeras após esse tempo e pode manter a exposição em andamento por um período desejado de, por exemplo, cerca de 30 ms. Depois disso, o módulo de controle de captura 1135 pode cessar a exposição e retirar os dados das regiões do sensor (por exemplo, transferindo sinais de intensidade de fotodiodo brutos para a memória de trabalho 1105 e/ou armazenamento de dados 1110). Os valores de intensidade da exposição ambiente 1220 podem ser subtraídos dos valores da exposição visível 1205 (ou a exposição visível 1205 corrigida para SNR pela segunda exposição 1210) e também da exposição não visível 1215, a fim de remover a influência de luz ambiente do cubo de dados multiespectral. Isso pode aumentar a precisão da análise a jusante, isolando a porção dos sinais gerados que representam a luz emitida pelos iluminantes e refletida do local do objeto/tecido. Algumas implementações podem omitir essa etapa se a precisão analítica for suficiente usando apenas as exposições visíveis 1205, 1210 e não visíveis 1215.
[00117] Será apreciado que os tempos de exposição específicos listados acima são exemplos de uma implementação e que em outras implementações o tempo de exposição pode variar dependendo do sensor de imagem, intensidade do iluminante e objeto convertido em imagem.
[00118] A Figura 14 representa um diagrama de blocos esquemático de um fluxo de trabalho 1300 para processar dados de imagem, por exemplo, dados de imagem capturados usando o processo 1200 da Figura 13 e/ou usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B e 12. O fluxo de trabalho 1300 mostra a saída de duas regiões do sensor de RGB 1301A, 1301B, no entanto, o fluxo de trabalho 1300 pode ser estendido para um maior número de regiões do sensor e regiões do sensor correspondentes a diferentes canais de cores de CFA.
[00119] As saídas do sensor RGB das duas regiões do sensor 1301A, 1301B são armazenadas nos módulos de saída do sensor 2D 1305A, 1305B, respectivamente. Os valores de ambas as regiões do sensor são enviados para os módulos de mapeamento não linear 1310A, 1310B, que podem realizar correção de disparidade identificando disparidade entre as imagens capturadas usando o canal comum e, em seguida, aplicando essa disparidade determinada em todos os canais para registrar todas as imagens espectrais para um outro.
[00120] As saídas de ambos os módulos de mapeamento não linear 1310A, 1310B são então fornecidas para o módulo de cálculo de profundidade 1335, que pode calcular uma profundidade de uma região particular de interesse nos dados de imagem. Por exemplo, a profundidade pode representar a distância entre o objeto e o sensor de imagem. Em algumas implementações, vários valores de profundidade podem ser calculados e comparados para determinar a profundidade do objeto em relação a algo diferente do sensor de imagem. Por exemplo, a maior profundidade do leito da ferida pode ser determinada, bem como a profundidade (maior, mais baixa ou média) do tecido saudável ao redor do leito da ferida.
Subtraindo a profundidade do tecido saudável da profundidade do leito da ferida, a profundidade mais profunda da ferida pode ser determinada. Essa comparação de profundidade pode, adicionalmente, ser realizada em outros pontos no leito da ferida (por exemplo, todas ou algumas amostras predeterminadas), a fim de construir um mapa 3D da profundidade da ferida em vários pontos (mostrado na Figura 14 como z(x,y) onde z seria um valor de profundidade). Em algumas modalidades, maior disparidade pode melhorar o cálculo de profundidade, embora maior disparidade também possa resultar em algoritmos mais intensivos em computação para tais cálculos de profundidade.
[00121] As saídas de ambos os módulos de mapeamento não linear 1310A, 1310B também são fornecidas para o módulo de equações lineares 1320, que pode tratar os valores sensoreados como um conjunto de equações lineares para decomposição espectral. Uma implementação pode usar a equação pseudoinversa de Moore-Penrose como uma função de pelo menos a eficiência quântica do sensor e os valores de transmitância do filtro para calcular os valores espectrais reais (por exemplo, a intensidade da luz em comprimentos de onda específicos que foram incidentes em cada ponto de imagem (x,y). Isso pode ser usado em implementações que requerem alta precisão, tais como diagnósticos clínicos e outras aplicações biológicas. A aplicação da decomposição espectral também pode fornecer uma estimativa do fluxo de fótons e SNR.
[00122] Com base nas imagens de canal espectral com correção de disparidade e na decomposição espectral, o fluxo de trabalho 1300 pode gerar um cubo de dados espectral 1325, por exemplo, no formato ilustrado de F (x,y,), onde F representa a intensidade da luz a uma localização de imagem específica (x,y) em um comprimento de onda específico ou banda de onda .
[00123] A Figura 15 representa graficamente a disparidade e correção de disparidade para processar dados de imagem, por exemplo, dados de imagem capturados usando o processo da Figura 13 e/ou usando os sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A- 10B e 12. O primeiro conjunto de imagens 1410 mostram dados de imagem da mesma localização física em um objeto, como capturado por quatro regiões do sensor diferentes. Como ilustrado, a localização desse objeto não está na mesma localização nas imagens brutas, com base nos quadros de coordenadas (x,y) das grades de fotodiodo das regiões do sensor de imagem. O segundo conjunto de imagens 1420 mostra a mesma localização do objeto após a correção da disparidade, que agora está na mesma localização (x,y) no quadro de coordenadas das imagens registradas. Será apreciado que tal registro pode envolver o corte de certos dados de regiões de borda das imagens que não se sobrepõem inteiramente umas às outras.
[00124] A Figura 16 representa graficamente um fluxo de trabalho 1500 para realizar a classificação em termos de pixel em dados de imagem multiespectral, por exemplo, dados de imagem capturados usando o processo da Figura 13, processados de acordo com as Figuras 14 e 15 e/ou usando sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B e 12.
[00125] No bloco 1510, o sistema de formação de imagem multiespectral de múltiplas aberturas 1513 pode capturar dados de imagem que representam pontos físicos 1512 em um objeto 1511. Nesse exemplo, o objeto 1511 inclui tecido de um paciente que tem uma ferida. Uma ferida pode compreender uma queimadura, uma úlcera diabética (por exemplo, uma úlcera de pé diabético), uma úlcera não diabética (por exemplo,
úlceras de pressão ou feridas de cicatrização lenta), uma úlcera crônica, uma incisão pós-cirúrgica, um local de amputação (antes ou depois do procedimento de amputação), uma lesão cancerígena ou tecido danificado. Onde as informações de PPG são incluídas, os sistemas de formação de imagem divulgados fornecem um método para avaliar patologias envolvendo alterações no fluxo sanguíneo do tecido e na frequência cardíaca, incluindo: perfusão de tecido; saúde cardiovascular; feridas como úlceras; doença arterial periférica e saúde respiratória.
[00126] No bloco 1520, os dados capturados pelo sistema de formação de imagem multiespectral de múltiplas aberturas 1513 podem ser processados em um cubo de dados multiespectral 1525 tendo uma série de comprimentos de onda diferentes 1523 e, opcionalmente, uma série de imagens diferentes no mesmo comprimento de onda correspondente a tempos diferentes (dados PPG 1522). Por exemplo, o processador de imagem 1120 pode ser configurado pelo módulo de geração de cubo de dados 1140 para gerar o cubo de dados multiespectral 1525 de acordo com o fluxo de trabalho 1300.
Algumas implementações também podem associar valores de profundidade com vários pontos ao longo das dimensões espaciais, como descrito acima.
[00127] No bloco 1530, o cubo de dados multiespectral 1525 pode ser analisado como dados de entrada 1525 em um modelo de aprendizado de máquina 1532 para gerar um mapeamento classificado 1535 do tecido convertido em imagem.
O mapeamento classificado pode atribuir cada pixel nos dados da imagem (que, após o registro, representam pontos específicos no objeto convertido em imagem 1511) a uma determinada classificação de tecido ou a uma determinada pontuação de potencial de cicatrização. As diferentes classificações e pontuações podem ser representadas usando cores ou padrões visualmente distintos na imagem classificada de saída. Assim, embora uma série de imagens sejam capturadas do objeto 1511, a saída pode ser uma única imagem do objeto (por exemplo, uma imagem RGB típica) sobreposta com representações visuais de classificação em pixels.
[00128] O modelo de aprendizado de máquina 1532 pode ser uma rede neural artificial em algumas implementações.
Redes neurais artificiais são artificiais no sentido de que são entidades computacionais, inspiradas por redes neurais biológicas, mas modificadas para implementação por dispositivos de computação. As redes neurais artificiais são usadas para modelar relacionamentos complexos entre entradas e saídas ou para encontrar padrões nos dados, onde a dependência entre as entradas e as saídas não pode ser facilmente verificada. Uma rede neural tipicamente inclui uma camada de entrada, uma ou mais de camadas intermediárias
(“ocultas”) e uma camada de saída, com cada camada incluindo um número de nós. O número de nós pode variar entre as camadas. Uma rede neural é considerada “profunda” quando inclui duas ou mais camadas ocultas. Os nós em cada camada se conectam a alguns ou todos os nós na camada subsequente e os pesos dessas conexões são tipicamente aprendidos a partir dos dados durante o processo de treinamento, por exemplo, através da retropropagação em que os parâmetros de rede são ajustados para produzir saídas esperadas dadas as entradas correspondentes em dados de treinamento rotulados.
Assim, uma rede neural artificial é um sistema adaptativo que é configurado para mudar sua estrutura (por exemplo, a configuração da conexão e/ou pesos) com base nas informações que fluem através da rede durante o treinamento, e os pesos das camadas ocultas podem ser considerados como uma codificação de padronagens significativas nos dados.
[00129] Uma rede neural totalmente conectada é aquela em que cada nó na camada de entrada está conectado a cada nó na camada subsequente (a primeira camada oculta), cada nó nessa primeira camada oculta é conectado por sua vez a cada nó na camada oculta subsequente e assim por diante até que cada nó na camada oculta final seja conectado a cada nó na camada de saída.
[00130] Uma CNN é um tipo de rede neural artificial e, como a rede neural artificial descrita acima, uma CNN é composta de nós e tem pesos aprendíveis.
No entanto, as camadas de uma CNN podem ter nós arranjados em três dimensões: largura, altura e profundidade, correspondendo à matriz 2x2 de valores de pixel em cada quadro de vídeo (por exemplo, a largura e altura) e ao número de quadros de vídeo na sequência (por exemplo, a profundidade). Os nós de uma camada podem estar conectados apenas localmente a uma pequena região da camada de largura e altura anterior a ela, chamada de campo receptivo.
Os pesos da camada oculta podem assumir a forma de um filtro convolucional aplicado ao campo receptivo.
Em algumas modalidades, os filtros convolucionais podem ser bidimensionais e, portanto, convoluções com o mesmo filtro podem ser repetidas para cada quadro (ou transformação convoluída de uma imagem) no volume de entrada ou para o subconjunto designado dos quadros.
Em outras modalidades, os filtros convolucionais podem ser tridimensionais e, assim,
se estender por toda a profundidade de nós do volume de entrada.
Os nós em cada camada convolucional de uma CNN podem compartilhar pesos de modo que o filtro convolucional de uma determinada camada seja replicado em toda a largura e altura do volume de entrada (por exemplo, por um quadro inteiro),
reduzindo o número geral de pesos treináveis e aumentando a aplicabilidade da CNN a conjuntos de dados fora dos dados de treinamento.
Os valores de uma camada podem ser agrupados para reduzir o número de cálculos em uma camada subsequente
(por exemplo, os valores que representam certos pixels podem ser encaminhados enquanto outros são descartados), e mais adiante na profundidade das máscaras de grupamento de CNN podem reintroduzir quaisquer valores descartados retorna o número de pontos de dados ao tamanho anterior. Várias camadas, opcionalmente com algumas totalmente conectadas, podem ser empilhadas para formar a arquitetura de CNN.
[00131] Durante o treinamento, uma rede neural artificial pode ser exposta a pares em seus dados de treinamento e pode modificar seus parâmetros para ser capaz de prever a saída de um par quando fornecida com a entrada.
Por exemplo, os dados de treinamento podem incluir cubos de dados multiespectral (a entrada) e mapeamentos classificados (a saída esperada) que foram rotulados, por exemplo, por um médico que designou áreas da ferida que correspondem a certos estados clínicos e/ou com rótulos de cicatrização (1) ou de não cicatrização (0) em algum momento após a formação de imagem inicial da ferida, quando a cicatrização real é conhecida. Outras implementações do modelo de aprendizado de máquina 1532 podem ser treinadas para fazer outros tipos de previsões, por exemplo, a probabilidade de cicatrização de uma ferida para uma redução de área percentual específica ao longo de um período de tempo especificado (por exemplo, redução de área de pelo menos 50% em 30 dias) ou estados de feridas, tais como, hemostasia, inflamação, proliferação,
remodelação ou categorias de pele saudável.
Algumas implementações também podem incorporar métricas do paciente nos dados de entrada para adicionalmente aumentar a precisão da classificação ou podem segmentar dados de treinamento com base nas métricas do paciente para treinar diferentes instâncias do modelo de aprendizado de máquina 1532 para uso com outros pacientes com as mesmas métricas do paciente.
As métricas do paciente podem incluir informações textuais ou histórico médico ou aspectos dos mesmos que descrevem as características do paciente ou do estado de saúde do paciente, por exemplo, a área de uma ferida, lesão ou úlcera,
o IMC do paciente, o estado diabético do paciente, o existência de doença vascular periférica ou inflamação crônica no paciente, o número de outras feridas que o paciente tem ou teve, se o paciente está tomando ou tomou recentemente fármacos imunossupressores (por exemplo,
quimioterapia) ou outros fármacos que afetam positiva ou adversamente a taxa de cicatrização de feridas, HbA1c,
insuficiência renal crônica estágio IV, diabetes tipo II vs tipo I, anemia crônica, asma, uso de drogas, tabagismo,
neuropatia diabética, trombose venosa profunda, infarto do miocárdio anterior, ataques isquêmicos transitórios ou apneia do sono ou qualquer combinação dos mesmos.
Essas métricas podem ser convertidas em uma representação vetorial por meio de processamento apropriado, por exemplo, por meio de word-to-vec embeddings, um vetor tendo valores binários que representam se o paciente tem ou não a métrica do paciente (por exemplo, tem ou não diabetes tipo I), ou valores numéricos que representam o grau em que o paciente tem a métrica de cada paciente.
[00132] No bloco 1540, o mapeamento classificado 1535 pode ser enviado a um usuário. Nesse exemplo, o mapeamento classificado 1535 usa uma primeira cor 1541 para indicar pixels classificados de acordo com um primeiro estado e usa uma segunda cor 1542 para indicar pixels classificados de acordo com um segundo estado. A classificação e o mapeamento classificado resultante 1535 podem excluir pixels de fundo, por exemplo, com base no reconhecimento de objeto, identificação de cor de fundo e/ou valores de profundidade.
Como ilustrado, algumas implementações do sistema de formação de imagem multiespectral de múltiplas aberturas 1513 podem projetar o mapeamento classificado 1535 de volta para o local do tecido. Isso pode ser particularmente benéfico quando o mapeamento classificado inclui uma representação visual de uma margem recomendada e/ou profundidade de excisão.
[00133] Esses métodos e sistemas podem fornecer assistência a médicos e cirurgiões no processo de tratamento de feridas dérmicas, tais como, excisão de queimadura, nível de amputação, remoção de lesão e decisões de triagem de ferida.
As alternativas descritas nesse documento podem ser usadas para identificar e/ou classificar a gravidade das úlceras de decúbito, hiperemia, deterioração dos membros,
fenômeno de Raynaud, esclerodermia, feridas crônicas,
abrasões, lacerações, hemorragia, lesões por ruptura,
punções, feridas penetrantes, câncer de pele, tais como carcinoma de células basais, carcinoma de células escamosas,
melanoma, ceratose actínica ou qualquer tipo de alteração de tecido, em que a natureza e a qualidade do tecido difere de um estado normal.
Os dispositivos descritos nesse documento também podem ser usados para monitorar o tecido saudável,
facilitar e melhorar os procedimentos de tratamento de feridas, por exemplo, permitindo uma abordagem mais rápida e refinada para determinar a margem de desbridamento e avaliar o progresso da recuperação de uma ferida ou doença,
especialmente após a aplicação de um tratamento.
Em algumas alternativas descritas nesse documento, são fornecidos dispositivos que permitem a identificação de tecido saudável adjacente ao tecido ferido, a determinação de uma margem de excisão e/ou profundidade, o monitoramento do processo de recuperação após o implante de uma prótese, tal como um dispositivo auxiliar para ventrículo esquerdo, a avaliação da viabilidade de um enxerto de tecido ou implante celular regenerativo, ou o monitoramento da recuperação cirúrgica,
especialmente após procedimentos reconstrutivos.
Além disso,
alternativas descritas nesse documento podem ser usadas para avaliar a mudança em uma ferida ou a geração de tecido saudável após uma ferida, em particular, após a introdução de um agente terapêutico, tal como um esteróide, fator de crescimento de hepatócitos, fator de crescimento de fibroblastos, um antibiótico, ou células regenerativas, tal como uma população de células isoladas ou concentradas que compreende células-tronco, células endoteliais e/ou células precursoras endoteliais.
Visão geral do exemplo de ambiente de computação distribuída
[00134] A Figura 17 representa um diagrama de blocos esquemático de um sistema de computação distribuído de exemplo 1600 incluindo um sistema de formação de imagem multiespectral de múltiplas aberturas 1605, que pode ser qualquer um dos sistemas de formação de imagem multiespectral de múltiplas aberturas das Figuras 3A-10B e 12. Como indicado, os servidores de análise de cubo de dados 1615 podem incluir um ou mais computador(es), talvez arranjados em um agrupamento de servidores ou como uma torre de servidores. A memória e os processadores que constituem esses computadores podem estar localizados dentro de um computador ou distribuídos por vários computadores (incluindo computadores remotos uns dos outros).
[00135] O sistema de formação de imagem multiespectral de múltiplas aberturas 1605 pode incluir hardware de rede (por exemplo, uma Internet sem fio,
satélite, Bluetooth ou outro transceptor) para se comunicar através da rede 1610 com dispositivos de usuário 1620 e servidores de análise de cubo de dados 1615. Por exemplo, em algumas implementações, o processador do sistema de formação de imagem multiespectral de múltiplas aberturas 1605 pode ser configurado para controlar a captura de imagem e, em seguida, enviar dados brutos para os servidores de análise de cubo de dados 1615. Outras implementações do processador do sistema de formação de imagem multiespectral de múltiplas aberturas 1605 podem ser configuradas para controlar a captura de imagem e realizar a decomposição espectral e correção de disparidade para gerar um cubo de dados multiespectral, que é então enviado para os servidores de análise de cubo de dados 1615. Algumas implementações podem realizar processamento completo e análise localmente no sistema de formação de imagem multiespectral de múltiplas aberturas 1605, e podem enviar o cubo de dados multiespectral e análise resultante para os servidores de análise de cubo de dados 1615 para análise agregada e/ou uso no treinamento ou retreinamento de modelos de aprendizado de máquina.
Como tal, os servidores de análise de cubo de dados 1615 podem fornecer modelos de aprendizado de máquina atualizados para o sistema de formação de imagem multiespectral de múltiplas aberturas 1605. A carga de processamento de geração do resultado final da análise do cubo de dados multiespectral pode ser dividida entre o sistema de formação de imagem de múltiplas aberturas 1605 e os servidores de análise de cubo de dados 1615 de várias maneiras, dependendo do poder de processamento do sistema de formação de imagem de múltiplas aberturas 1605.
[00136] A rede 1610 pode compreender qualquer rede apropriada, incluindo uma intranet, a Internet, uma rede celular, uma rede de área local ou qualquer outra rede ou combinação das mesmas. Os dispositivos de usuário 1620 podem incluir qualquer dispositivo de computação equipado com rede, por exemplo, computadores desktop, laptops, smartphones, tablets, leitores eletrônicos, consoles de jogos e semelhantes. Por exemplo, os resultados (por exemplo, imagens classificadas) determinados pelo sistema de formação de imagem de múltiplas aberturas 1605 e os servidores de análise de cubos de dados 1615 podem ser enviados para dispositivos de usuários designados de pacientes, médicos, sistemas de informação hospitalar que armazenam registros médicos eletrônicos de pacientes e/ou bancos de dados de saúde centralizados (por exemplo, do Centro para controle de Doença) em cenários de classificação de tecidos.
Resultados de Implementação de Exemplo
[00137] Antecedentes: A morbidade e mortalidade resultantes de queimaduras são um grande problema para os combatentes feridos e seus prestadores de cuidados. A incidência de queimaduras entre vítimas de combate tem sido historicamente de 5 a 20%, com aproximadamente 20% dessas vítimas exigindo cirurgia de queimadura complexa no centro de queimados do Instituto de Pesquisa Cirúrgica do Exército dos EUA (ISR) ou equivalente. A cirurgia de queimaduras requer treinamento especializado e, portanto, é fornecida pela equipe do ISR em vez da equipe do Hospital Militar dos EUA. O número limitado de especialistas em queimaduras leva a uma alta complexidade logística no atendimento aos soldados queimados. Portanto, um novo método objetivo de detecção pré-operatória e intraoperatória da profundidade da queimadura poderia permitir que um grupamento mais amplo de equipe médica, incluindo pessoal de sem ISR, fosse alistado no cuidado de pacientes com queimaduras sofridas em combate.
Esse grupamento ampliado de prestadores de cuidados poderia então ser aproveitado para fornecer cuidados mais complexos para queimaduras, mais adiante, no papel de cuidados aos combatentes com feridas de queimaduras.
[00138] A fim de começar a abordar essa necessidade, um novo dispositivo de formação de imagem baseado em carrinho que usa imagem multiespectral (MSI) e algoritmos de inteligência artificial (AI) para auxiliar na determinação pré-operatória do potencial de cicatrização de queimaduras foi desenvolvido. Esse dispositivo adquire imagens de uma ampla área de tecido (por exemplo, 5,9 x 7,9 in2 (38,6 x 50,97 cm2) em um curto período de tempo (por exemplo, dentro de 6, 5, 4, 3, 2 ou 1 segundo (s)) e não requer a injeção de agentes de contraste de imagem. Esse estudo baseado em uma população civil mostra que a precisão desse dispositivo na determinação do potencial de cicatrização de queimaduras excede o julgamento clínico por especialistas em queimaduras (por exemplo, 70-80%).
[00139] Métodos: Civis com várias gravidades de queimaduras foram fotografadas dentro de 72 horas após a lesão de queimadura e, em seguida, em vários pontos de tempo subsequentes até 7 dias após a queimadura. A verdadeira gravidade da queimadura em cada imagem foi determinada usando avaliações de cicatrização de 3 semanas ou biópsias por punção. A precisão do dispositivo para identificar e diferenciar tecido cicatricial e não cicatricial em queimaduras de primeiro, segundo e terceiro grau foi analisada em uma base de pixel por imagem.
[00140] Resultados: Os dados foram coletados de 38 indivíduos civis com 58 queimaduras no total e 393 imagens.
O algoritmo de IA alcançou 87,5% de sensibilidade e 90,7% de especificidade na previsão de tecido queimado que não cicatriza.
[00141] Conclusões: O dispositivo e seu algoritmo de IA demonstraram precisão na determinação do potencial de cicatrização de queimaduras que excede a precisão do julgamento clínico de especialistas em queimaduras. O trabalho futuro está focado em redesenhar o dispositivo para portabilidade e avaliar seu uso em um ambiente intraoperatório. Mudanças de desenho para portabilidade incluem reduzir o tamanho do dispositivo para um sistema manual, aumentar o campo de visão, reduzir o tempo de aquisição para um único instantâneo e avaliar o dispositivo para uso em um ambiente intraoperatório usando um modelo de porcino. Esses desenvolvimentos foram implementados em um subsistema de MSI de bancada que mostra equivalência em testes básicos de imagem.
Iluminantes adicionais para registro de imagem
[00142] Em várias modalidades, um ou mais de iluminantes adicionais podem ser usados em conjunto com qualquer uma das modalidades divulgadas nesse documento, a fim de melhorar a precisão do registro de imagem. A Figura 21 ilustra um exemplo de modalidade de um formador de imagem espectral de múltiplas aberturas 2100 incluindo um projetor
2105. Em algumas modalidades, o projetor 2105 ou outro iluminante adequado pode ser, por exemplo, um dos iluminantes 1165 descritos com referência à Figura 12 acima. Em modalidades que incluem um iluminante adicional, tal como um projetor 2105 para registro, o método pode incluir adicionalmente uma exposição adicional. O iluminante adicional, tal como o projetor 2105, pode projetar, no campo de visão do formador de imagem 2100, um ou mais de pontos,
franjas, grades, manchas granulares dispersas aleatórias ou qualquer outra padronagem espacial adequada em uma banda espectral, várias bandas espectrais ou em uma banda larga,
que são individualmente ou acumulativamente visíveis em todas as câmeras do formador de imagem 2100. Por exemplo, o projetor 2105 pode projetar luz do canal compartilhado ou comum, iluminação de banda larga ou iluminação acumulativamente visível que pode ser usada para confirmar a precisão do registro da imagem calculado com base na abordagem de banda comum acima mencionada.
Como usado nesse documento, “iluminação acumulativamente visível” se refere a uma pluralidade de comprimentos de onda selecionados de modo que a padronagem seja transduzida por cada um dos sensores de imagem no sistema de formação de imagem multiespectral.
Por exemplo, a iluminação acumulativamente visível pode incluir uma pluralidade de comprimentos de onda de modo que cada canal transduza pelo menos um da pluralidade de comprimentos de onda, mesmo se nenhum da pluralidade de comprimentos de onda for comum a todos os canais.
Em algumas modalidades, o tipo de padronagem projetado pelo projetor
2105 pode ser selecionado com base no número de aberturas nas quais a padronagem será convertida em imagem.
Por exemplo, se a padronagem for vista por apenas uma abertura,
a padronagem pode, de preferência, ser relativamente densa
(por exemplo, pode ter uma autocorrelação relativamente estreita, tal como na ordem de 1-10 pixels, 20 pixels, menos que 50 pixels, menos que 100 pixels, etc.), enquanto padronagens menos densas ou menos estreitamente autocorrelacionadas podem ser úteis onde a padronagem será visualizada por uma pluralidade de aberturas.
Em algumas modalidades, a exposição adicional que é capturada com a padronagem espacial projetada é incluída no cálculo da disparidade de modo a melhorar a precisão do registro em comparação com modalidades sem a exposição capturada com uma padronagem espacial projetada.
Em algumas modalidades, o iluminante adicional projeta, no campo de visão do formador de imagem, franjas em uma banda espectral, várias bandas espectrais ou em uma banda larga, que são individualmente ou acumulativamente visíveis em todas as câmeras, tais como, no canal compartilhado ou comum, ou iluminação de banda larga que pode ser usada para melhorar o registro de imagens com base na fase das franjas.
Em algumas modalidades, o iluminante adicional projeta, no campo de visão do formador de imagem, uma pluralidade de arranjos espaciais únicos de pontos, grades e/ou manchas granulares dispersas aleatórias em uma banda espectral, várias bandas espectrais ou em uma banda larga, que são visíveis individualmente ou acumulativamente em todas as câmeras, tal como no canal comum ou compartilhado, ou iluminação de banda larga que pode ser usada para melhorar o registro das imagens. Em algumas modalidades, o método inclui adicionalmente um sensor adicional com uma única abertura ou uma pluralidade de aberturas, que pode detectar a forma do objeto ou dos objetos no campo de visão. Por exemplo, o sensor pode usar LIDAR, campo de luz ou técnicas de ultrassom para adicionalmente melhorar a precisão do registro das imagens usando a abordagem de banda comum mencionada acima. Esse sensor adicional pode ser uma abertura única ou um sensor de múltiplas aberturas, sensível às informações do campo de luz, ou pode ser sensível a outros sinais, tal(tais) como ultrassom ou laseres pulsados.
Terminologia
[00143] Todos os métodos e as tarefas descritos nesse documento podem ser realizados e totalmente automatizados por um sistema de computador. O sistema de computador pode, em alguns casos, incluir vários computadores ou dispositivos de computação distintos (por exemplo, servidores físicos, estações de trabalho, matrizes de armazenamento, recursos de computação em nuvem, etc.) que se comunicam e interoperam em uma rede para realizar as funções descritas. Cada um desses dispositivos de computação inclui tipicamente um processador (ou múltiplos processadores) que executa instruções de programa ou módulos armazenados em uma memória ou outro meio ou dispositivo de armazenamento legível por computador não transitório (por exemplo, dispositivos de armazenamento em estado sólido, unidades de disco, etc.). As várias funções divulgadas nesse documento podem ser incorporadas em tais instruções de programa ou podem ser implementadas em circuitos específicos de aplicação (por exemplo, ASICs ou FPGAs) do sistema de computador. Onde o sistema de computador inclui vários dispositivos de computação, esses dispositivos podem, mas não precisam, ser colocalizados. Os resultados dos métodos e tarefas divulgados podem ser armazenados de forma persistente, transformando dispositivos de armazenamento físico, tais como chips de memória em estado sólido ou discos magnéticos, em um estado diferente. Em algumas modalidades, o sistema de computador pode ser um sistema de computação baseado em nuvem cujos recursos de processamento são compartilhados por várias entidades de negócios distintas ou outros usuários.
[00144] Os processos divulgados podem começar em resposta a um evento, tal como em uma programação predeterminada ou determinada dinamicamente, sob demanda quando iniciada por um usuário ou administrador do sistema, ou em resposta a algum outro evento. Quando o processo é iniciado, um conjunto de instruções do programa executável armazenado em uma ou mais de mídias legíveis por computador não transitórias (por exemplo, disco rígido, memória flash,
mídia removível, etc.) pode ser carregado na memória (por exemplo, RAM) de um servidor ou outro dispositivo de computação. As instruções executáveis podem então ser executadas por um processador de computador baseado em hardware do dispositivo de computação. Em algumas modalidades, o processo ou as porções do mesmo podem ser implementados em vários dispositivos de computação e/ou vários processadores, em série ou em paralelo.
[00145] Dependendo da modalidade, certos atos, eventos ou funções, de qualquer um dos processos ou algoritmos descritos nesse documento, podem ser realizados em uma sequência diferente, podem ser adicionados, fundidos ou deixados de fora completamente (por exemplo, nem todas as operações descritas ou eventos são necessários para a prática do algoritmo). Além disso, em certas modalidades, as operações ou os eventos podem ser realizados simultaneamente, por exemplo, por meio de processamento de multirosqueamento, processamento de interrupção ou vários processadores ou núcleos de processador ou em outras arquiteturas paralelas, em vez de sequencialmente.
[00146] Os vários blocos, módulos, rotinas e etapas de algoritmo lógicos ilustrativos descritos em conexão com as modalidades divulgadas nesse documento podem ser implementados como hardware eletrônico (por exemplo, dispositivos ASICs ou FPGA), software de computador que é executado em hardware de computador ou combinações de ambos.
Além disso, os vários blocos e módulos lógicos ilustrativos descritos em conexão com as modalidades divulgadas nesse documento podem ser implementados ou executados por uma máquina, tal como um dispositivo processador, um processador de sinal digital (“DSP”), um circuito integrado específico de aplicativo (“ASIC”), uma matriz de portas programáveis em campo (“FPGA”) ou outro dispositivo lógico programável, porta discreta ou lógica de transistor, componentes de hardware discretos ou qualquer combinação desses projetados para realizar as funções descritas nesse documento. Um dispositivo processador pode ser um microprocessador, mas, em alternativa, o dispositivo processador pode ser um controlador, microcontrolador ou máquina de estado, combinações dos mesmos ou semelhantes. Um dispositivo processador pode incluir circuitos elétricos configurados para processar instruções executáveis por computador. Em outra modalidade, um dispositivo processador inclui um FPGA ou outro dispositivo programável que realiza operações lógicas sem processar instruções executáveis por computador.
Um dispositivo processador também pode ser implementado como uma combinação de dispositivos de computação, por exemplo, uma combinação de um DSP e um microprocessador, uma pluralidade de microprocessadores, um ou mais de microprocessadores em conjunto com um núcleo de DSP ou qualquer outra configuração desse tipo. Embora descrito nesse documento principalmente com relação à tecnologia digital, um dispositivo processador também pode incluir componentes principalmente analógicos. Por exemplo, algumas ou todas as técnicas de renderização descritas nesse documento podem ser implementadas em circuitos analógicos ou circuitos mistos analógicos e digitais. Um ambiente de computação pode incluir qualquer tipo de sistema de computador, incluindo, mas não limitado a, um sistema de computador baseado em um microprocessador, um computador mainframe, um processador de sinal digital, um dispositivo de computação manual, um controlador de dispositivo ou uma máquina computacional dentro de um aparelho, para citar alguns.
[00147] Os elementos de um(a) método, processo, rotina ou algoritmo descritos em conexão com as modalidades divulgadas nesse documento podem ser incorporados diretamente em hardware, em um módulo de software executado por um dispositivo processador ou em uma combinação dos dois.
Um módulo de software pode residir na memória RAM, memória flash, memória ROM, memória EPROM, memória EEPROM, registros, disco rígido, um disco removível, um CD-ROM ou qualquer outra forma de um meio de armazenamento legível por computador não transitório. Um exemplo de meio de armazenamento pode ser acoplado ao dispositivo processador de modo que o dispositivo processador possa ler informações do, e gravar informações no, meio de armazenamento. Em alternativa, o meio de armazenamento pode ser parte integrante do dispositivo processador. O dispositivo do processador e o meio de armazenamento podem residir em um ASIC. O ASIC pode residir em um terminal de usuário. Em alternativa, o dispositivo processador e o meio de armazenamento podem residir como componentes discretos em um terminal de usuário.
[00148] Linguagem condicional usada nesse documento, como, entre outros, “pode”, “poderia”, “por exemplo,” e semelhantes, a menos que especificamente indicado de outra forma, ou entendido de outra forma dentro do contexto como usado, é geralmente destinado a transmitir que certas modalidades incluem, enquanto outras modalidades não incluem, certos recursos, elementos ou etapas. Assim, tal linguagem condicional geralmente não se destina a implicar que recursos, elementos ou etapas são de alguma forma necessários para uma ou mais modalidades ou que uma ou mais modalidades incluem necessariamente lógica para decidir, com ou sem outra entrada ou solicitação, se esse(a)s recursos, elementos ou etapas estão incluído(a)s ou devem ser realizado(a)s em qualquer modalidade particular. Os termos “compreendendo”, “incluindo”, “tendo” e semelhantes são sinônimos e são usados de forma inclusiva, de forma aberta,
e não excluem elementos, recursos, atos, operações adicionais e assim por diante. Além disso, o termo “ou” é usado em seu sentido inclusivo (e não em seu sentido exclusivo) de modo que quando usado, por exemplo, para conectar uma lista de elementos, o termo “ou” significa um, alguns ou todos os elementos da lista.
[00149] Linguagem disjuntiva, tal como a expressão “pelo menos um de X, Y ou Z”, a menos que especificamente indicado de outra forma, é entendida de outra forma com o contexto usado em geral para apresentar que um item, termo, etc., pode ser tanto X, Y ou Z, ou qualquer combinação dos mesmos (por exemplo, X, Y ou Z). Assim, tal linguagem disjuntiva geralmente não se destina a, e não deve, implicar que certas modalidades requerem pelo menos um de X, pelo menos um de Y e pelo menos um de Z a cada um estar presente.
[00150] Embora a descrição detalhada acima tenha mostrado, descrito e apontado novos recursos aplicados a várias modalidades, pode ser entendido que várias omissões, substituições e mudanças na forma e detalhes dos dispositivos ou algoritmos ilustrados podem ser feitas sem se afastar do escopo da divulgação. Como pode ser reconhecido, certas modalidades descritas nesse documento podem ser incorporadas em uma forma que não fornece todos os recursos e benefícios estabelecidos nesse documento, pois alguns recursos podem ser usados ou praticados separadamente de outros. Todas as alterações que vêm dentro do significado e faixa de equivalência das reivindicações devem ser abrangidas dentro de seu escopo.
Claims (73)
1. Sistema de imagem multiespectral, caracterizado pelo fato de que compreende: pelo menos um sensor de imagem; uma primeira abertura posicionada para permitir que a luz que entra passe para uma primeira região do sensor do pelo menos um sensor de imagem; uma segunda abertura posicionada para permitir que a luz que entra passe para uma segunda região do sensor do pelo menos um sensor de imagem; um primeiro filtro de múltiplas passagens de banda posicionado sobre a primeira abertura, em que o primeiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma primeira banda de onda única; um segundo filtro de múltiplas passagens de banda posicionado sobre a segunda abertura, em que o segundo filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz pelo menos na banda de onda comum e uma segunda banda de onda única; uma memória que armazena instruções para gerar um cubo de dados multiespectral; e pelo menos um processador configurado pelas instruções para pelo menos: receber sinais das primeira e segunda regiões do sensor;
e processar os sinais para gerar o cubo de dados multiespectral, em que o cubo de dados multiespectral inclui um primeiro canal espectral correspondente à banda de onda comum, um segundo canal espectral correspondente à primeira banda de onda única e um terceiro canal espectral correspondente à segunda banda de onda única; em que o processamento dos sinais compreende pelo menos: estimar, usando informações do primeiro canal espectral correspondente à banda de onda comum, uma disparidade entre os dados da primeira imagem capturados pela primeira região do sensor e os dados da segunda imagem capturados pela segunda região do sensor; e usar a disparidade para alinhar os dados de imagem do primeiro, do segundo e do terceiro canais espectrais para gerar o cubo de dados multiespectral.
2. Sistema de imagem multiespectral, de acordo com a reivindicação 1, caracterizado pelo fato de que o primeiro filtro de múltiplas passagens de banda está posicionado na frente de um conjunto de lentes do sistema de imagem multiespectral, na frente de um singleto do sistema de imagem multiespectral, atrás de um conjunto de lentes do sistema de imagem multiespectral, atrás de um singleto do sistema de imagem multiespectral, dentro de um conjunto de lentes do sistema de imagem multiespectral, dentro de um grupo de lentes ligadas do sistema de imagem multiespectral, diretamente sobre uma superfície de um singleto do sistema de imagem multiespectral ou diretamente sobre uma superfície de um elemento de um conjunto de lentes do sistema de imagem multiespectral.
3. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 2, caracterizado pelo fato de que pelo menos um processador é configurado pelas instruções para pelo menos realizar a decomposição espectral para gerar dados de imagem para cada um dos primeiro, segundo e terceiro canais espectrais.
4. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que compreende adicionalmente: uma matriz de filtro de cor cobrindo a primeira e a segunda regiões do sensor, a matriz de filtro de cor incluindo uma padronagem de repetição de filtros de cor; em que um primeiro filtro de cor da padronagem de repetição é configurado para passar uma primeira distribuição ponderada de comprimentos de onda de luz incluindo a banda de onda comum; em que um segundo filtro de cor da padronagem de repetição é configurado para passar uma segunda distribuição ponderada de comprimentos de onda de luz incluindo a primeira banda de onda única; e em que um terceiro filtro de cor da padronagem de repetição é configurado para passar uma terceira distribuição ponderada de comprimentos de onda de luz, incluindo a segunda banda de onda única.
5. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a banda de onda comum compreende pelo menos uma luz violeta, violeta-azul, azul ou azul-esverdeada.
6. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a banda de onda comum compreende luz tendo um comprimento de onda menor que 450 nm e maior que 380 nm.
7. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a banda de onda comum compreende luz verde.
8. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a banda de onda comum compreende luz vermelha.
9. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 5 a 8, caracterizado pelo fato de que o primeiro e o segundo filtros de múltiplas passagens de banda são configurados para passar uma segunda banda de onda comum compreendendo pelo menos uma luz verde, verde-azulada ou azul.
10. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 5 a 8, caracterizado pelo fato de que o primeiro e o segundo filtros de múltiplas passagens de banda são configurados para passar uma segunda banda de onda comum que compreende luz vermelha.
11. Sistema de formaço de imagem multiespectral, de acordo com as reivindicações 5 a 8, caracterizado pelo fato de que o primeiro e o segundo filtros de múltiplas passagens de banda são configurados para passar uma segunda banda de onda comum que não é filtrada por pelo menos um dos filtros de cor padronizados na matriz de filtro de cor que também não filtra a primeira banda de onda comum.
12. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 9 e 10, caracterizado pelo fato de que pelo menos um processador é configurado pelas instruções para pelo menos realizar a decomposição espectral para isolar porções de dados de imagem capturados correspondentes à banda de onda comum e à segunda banda de onda comum.
13. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que pelo menos um processador é configurado pelas instruções para, pelo menos, analisar o tecido convertido em imagem usando o cubo de dados multiespectral.
14. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que compreende adicionalmente: uma terceira abertura posicionada para permitir que a luz que entra passe para uma terceira região do sensor do pelo menos um sensor de imagem; uma quarta abertura posicionada para permitir que a luz que entra passe para uma quarta região do sensor do pelo menos um sensor de imagem; um terceiro filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o terceiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma terceira banda de onda única; e um quarto filtro de múltiplas passagens de banda posicionado sobre a quarta abertura, em que o quarto filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz pelo menos na banda de onda comum e uma quarta banda de onda única.
15. Sistema de imagem multiespectral, de acordo com a reivindicação 14, caracterizado pelo fato de que compreende adicionalmente: uma quinta abertura posicionada para permitir que a luz que entra passe para uma quinta região do sensor do pelo menos um sensor de imagem; e um quinto filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o quinto filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda passada por pelo menos um do primeiro filtro de múltiplas passagens de banda, do segundo filtro de múltiplas passagens de banda, do terceiro filtro de múltiplas passagens de banda ou do quarto filtro de múltiplas passagens de banda.
16. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que o sistema de imagem multiespectral compreende: até 25 aberturas totais posicionadas para permitir que a luz que entra passe e até 25 regiões totais do sensor de pelo menos um sensor de imagem; e até 25 filtros de múltiplas passagens de banda, cada um posicionado sobre uma das 25 aberturas totais, em que cada filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda comum e uma banda de onda única para a qual nenhum dos outros filtros de múltiplas passagens de banda é configurado para permitir a passagem; em que o número total de bandas de onda que podem passar é maior que quatro e menor que 51.
17. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que compreende adicionalmente: uma terceira abertura posicionada para permitir que a luz que entra passe para uma terceira região do sensor do pelo menos um sensor de imagem; e um terceiro filtro de múltiplas passagens de banda posicionado sobre a terceira abertura, em que o terceiro filtro de múltiplas passagens de banda é configurado para permitir a passagem de luz em pelo menos uma banda de onda passada por pelo menos um do primeiro filtro de múltiplas passagens de banda ou do segundo filtro de múltiplas passagens de banda.
18. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 14 a 16, caracterizado pelo fato de que o primeiro, o segundo, o terceiro e o quarto filtros de múltiplas passagens de banda passam coletivamente sete, oito, nove ou dez bandas de onda distintas, incluindo a banda de onda comum e a primeira, a segunda, a terceira e a quarta bandas de onda exclusivas.
19. Sistema de imagem multiespectral, de acordo com a reivindicação 18, caracterizado pelo fato de que o primeiro, o segundo, o terceiro e o quarto filtros de múltiplas passagens de banda são configurados para passar a banda de onda comum que compreende luz azul, uma banda de onda comum adicional que compreende luz verde e duas bandas de onda adicionais.
20. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 18 e 19, caracterizado pelo fato de que pelo menos um processador é configurado pelas instruções para, pelo menos, gerar o cubo de dados multiespectral para incluir dez canais espectrais correspondentes a sete, oito, nove ou dez bandas de onda distintas.
21. Sistema de imagem multiespectral, de acordo com a reivindicação 20, caracterizado pelo fato de que compreende adicionalmente uma placa de iluminação que compreende uma pluralidade de diodos emissores de luz (LEDs) configurados para emitir luz em sete, oito, nove ou dez bandas de onda distintas, em que LEDs individuais emitem luz em uma banda de onda em particular, uma das sete, oito, nove e ou dez bandas de onda distintas.
22. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 18 a 21, caracterizado pelo fato de que pelo menos um sensor de imagem compreende uma matriz de filtro de cor posicionada sobre fotodiodos do pelo menos um sensor de imagem, e em que a matriz de filtro de cor tem pelo menos dois filtros de cor diferentes.
23. Sistema de imagem multiespectral, de acordo com a reivindicação 22, caracterizado pelo fato de que a matriz de filtro de cor tem mais do que dois filtros de cor diferentes e não mais do que 25 filtros de cor diferentes.
24. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 22 e 23, caracterizado pelo fato de que as sete, oito, nove ou dez bandas de onda distintas compreendem faixas mais estreitas de luz do que aquelas que são passadas pelos três filtros de cor diferentes.
25. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 24, caracterizado pelo fato de que compreende adicionalmente pelo menos uma fonte de luz configurada para emitir luz na banda de onda comum, a primeira banda de onda única e a segunda banda de onda única.
26. Sistema de imagem multiespectral, de acordo com a reivindicação 25, caracterizado pelo fato de que compreende adicionalmente um elemento óptico de difusão posicionado sobre pelo menos uma fonte de luz.
27. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 26, caracterizado pelo fato de que pelo menos o primeiro filtro de múltiplas passagens de banda é um filtro curvo.
28. Método de uso do sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral, caracterizado pelo fato de que compreende: capturar uma primeira exposição compreendendo o primeiro, o segundo e o terceiro canais espectrais; capturar uma segunda exposição compreendendo o primeiro, o segundo e o terceiro canais espectrais; e gerar o cubo de dados multiespectral com base, pelo menos parcialmente, no uso da segunda exposição para reduzir uma razão de sinal para ruído da primeira exposição.
29. Método, de acordo com a reivindicação 28, caracterizado pelo fato de que compreende adicionalmente a ativação de um conjunto de iluminantes que coletivamente emitem luz na banda de onda comum, a primeira banda de onda única e a segunda banda de onda única durante a primeira e a segunda exposições.
30. Método, de acordo com qualquer uma das reivindicações 28 e 29, caracterizado pelo fato de que cada uma da primeira exposição e da segunda exposição compreende pelo menos um quarto canal espectral e não mais do que dez canais espectrais totais.
31. Método, de acordo com qualquer uma das reivindicações 28 a 30, caracterizado pelo fato de que compreende adicionalmente: capturar uma terceira exposição usando luz ambiente; e subtrair a terceira exposição da primeira e da segunda exposições.
32. Método, de acordo com a reivindicação 31, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral com base em um resultado da subtração da terceira exposição da primeira e da segunda exposições.
33. Método, de acordo com qualquer uma das reivindicações 28 a 32, caracterizado pelo fato de que compreende adicionalmente registrar imagens capturadas pelas primeira e segunda regiões do sensor uma para a outra com base em informações no primeiro canal espectral.
34. Método, de acordo com a reivindicação 33, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral com base em um resultado de registrar as imagens capturadas pelas primeira e segunda regiões do sensor uma pela outra.
35. Método, de acordo com qualquer uma das reivindicações 33 a 34, caracterizado pelo fato de que as imagens representam informações capturadas no primeiro canal espectral pelas primeira e segunda regiões do sensor, o método compreendendo adicionalmente: identificar uma disparidade entre as imagens capturadas pelas primeira e segunda regiões do sensor no primeiro canal espectral correspondente à banda de onda comum; usar a disparidade para registrar uma primeira imagem adicional às imagens, a primeira imagem adicional representando informações capturadas pela primeira região do sensor no segundo canal espectral; e usar a disparidade para registrar uma segunda imagem adicional às imagens, a segunda imagem adicional representando informações capturadas pela segunda região do sensor no terceiro canal espectral.
36. Método, de acordo com a reivindicação 35, caracterizado pelo fato de que cada exposição compreende mais de três canais espectrais, o método compreendendo adicionalmente o uso da disparidade para registrar pelo menos uma terceira imagem adicional às imagens, a terceira imagem adicional representando informações capturadas por uma terceira região do sensor no quarto canal espectral, em que um número total de imagens adicionais registradas para as imagens é um a menos que o número total de canais espectrais.
37. Método, de acordo com qualquer uma das reivindicações 33 a 36, caracterizado pelo fato de que o sistema de imagem multiespectral compreende adicionalmente um iluminante configurado para projetar um ou mais de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outra padronagem espacial, o método compreendendo adicionalmente: projetar, pelo iluminante em um campo de visão de pelo menos a primeira abertura, luz compreendendo um ou mais de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outra padronagem espacial; e capturar uma exposição adicional usando a luz projetada pelo iluminante; em que o registro é baseado, pelo menos em parte, na exposição adicional.
38. Método, de acordo com a reivindicação 37, caracterizado pelo fato de que a luz projetada pelo iluminante compreende pelo menos uma de luz tendo um comprimento de onda na banda de onda comum, iluminação de banda larga ou iluminação acumulativamente visível.
39. Método, de acordo com a reivindicação 37, caracterizado pelo fato de que a exposição adicional é usada para confirmar a precisão do registro da imagem.
40. Método, de acordo com a reivindicação 37, caracterizado pelo fato de que a exposição adicional é incluída no cálculo da disparidade para melhorar a precisão do registro.
41. Método, de acordo com a reivindicação 37, caracterizado pelo fato de que o iluminante projeta uma pluralidade de pontos, franjas, grades, manchas granulares dispersas aleatórias ou outras padronagens espaciais em configurações únicas, pelo menos na banda de onda comum, iluminação de banda larga ou iluminação acumulativamente visível.
42. Método, de acordo com qualquer uma das reivindicações 33 a 41, caracterizado pelo fato de que o sistema de imagem multiespectral compreende adicionalmente um sensor adicional configurado para detectar o formato de objetos no campo de visão de pelo menos um sensor de imagem,
e em que o registro é baseado em pelo menos em parte em um formato detectado pelo sensor adicional.
43. Método, de acordo com qualquer uma das reivindicações 33 a 42, caracterizado pelo fato de que o iluminante projeta a luz em um campo de visão de uma pluralidade de aberturas do sistema de imagem multiespectral.
44. Método, de acordo com qualquer uma das reivindicações 28 a 43, caracterizado pelo fato de que compreende adicionalmente realizar a decomposição espectral para isolar o primeiro, o segundo e o terceiro canais espectrais.
45. Método, de acordo com a reivindicação 37, caracterizado pelo fato de que cada exposição compreende mais de três canais espectrais, o método compreendendo adicionalmente realizar a decomposição espectral para isolar todos os canais espectrais.
46. Método, de acordo com qualquer uma das reivindicações 35 a 45, caracterizado pelo fato de que compreende adicionalmente usar a disparidade para determinar pelo menos uma das informações topográficas ou informações de profundidade.
47. Método, de acordo com a reivindicação 46, caracterizado pelo fato de que a disparidade é usada para determinar informações de profundidade para pixels individuais.
48. Método, de acordo com a reivindicação 47, caracterizado pelo fato de que compreende adicionalmente usar as informações de profundidade para determinar um volume de uma ferida convertida em imagem.
49. Método, de acordo com qualquer uma das reivindicações 44 e 45, caracterizado pelo fato de que compreende adicionalmente: capturar uma exposição adicional compreendendo pelo menos um quarto canal espectral que representa a luz não visível; e gerar o cubo de dados multiespectral com base, pelo menos parcialmente, na exposição adicional.
50. Método, de acordo com a reivindicação 49, caracterizado pelo fato de que compreende adicionalmente ativar um terceiro conjunto de iluminantes que emitem a luz não visível durante a exposição adicional.
51. Método de análise automatizada de tecido, caracterizado pelo fato de que compreende: usar o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral que representa o tecido convertido em imagem; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para prever pelo menos uma característica clínica do tecido, tal como uma ferida ou uma queimadura; e predizer a pelo menos uma característica clínica do tecido convertido em imagem com base em uma saída do sistema de aprendizado de máquina.
52. Método, de acordo com a reivindicação 51, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
53. Método, de acordo com a reivindicação 51, caracterizado pelo fato de que pelo menos uma característica clínica inclui uma pluralidade de estados de ferida ou estados de queimadura, o método compreendendo adicionalmente o uso da saída do sistema de aprendizado de máquina para gerar uma imagem classificada do tecido convertido em imagem mostrando áreas do tecido convertido em imagem classificado em diferentes estados da pluralidade de estados de feridas ou estados de queimadura.
54. Método, de acordo com a reivindicação 53, caracterizado pelo fato de que a pluralidade de estados de queimadura inclui pelo menos queimadura de primeiro grau, queimadura de segundo grau, queimadura de terceiro grau ou categorias de pele saudável ou, em que a pluralidade de estados de ferida inclui pelo menos hemostasia, inflamação, proliferação, remodelação ou categorias de pele saudável, o método compreendendo adicionalmente a classificação de cada um de uma pluralidade de pixels que representam o tecido convertido em imagem como uma de queimadura de primeiro grau, queimadura de segundo grau, queimadura de terceiro grau ou categorias de pele saudável ou o método compreendendo adicionalmente a classificação de cada uma de uma pluralidade de pixels representando o tecido convertido em imagem como um de hemostasia, inflamação, proliferação, remodelação ou das categorias de pele saudável.
55. Método, de acordo com a reivindicação 54, caracterizado pelo fato de que pelo menos uma característica clínica inclui um potencial de cicatrização, o método compreendendo adicionalmente o uso da saída do sistema de aprendizado de máquina para gerar uma imagem do tecido convertido em imagem que representa visualmente o potencial de cicatrização determinado em diferentes áreas do tecido convertido em imagem.
56. Método, de acordo com qualquer uma das reivindicações 51 a 55, caracterizado pelo fato de que pelo menos uma característica clínica inclui um estado cancerígeno ou não cancerígeno do tecido convertido em imagem, o método compreendendo adicionalmente a classificação de cada um de uma pluralidade de pixels que representam o tecido convertido em imagem como o estado cancerígeno ou não cancerígeno.
57. Método, de acordo com qualquer uma das reivindicações 51 a 56, caracterizado pelo fato de que pelo menos uma característica clínica inclui profundidade ou volume da ferida, o método compreendendo adicionalmente a saída de informações que identificam uma profundidade ou um volume de uma ferida no tecido convertido em imagem.
58. Método, de acordo com qualquer uma das reivindicações 51 a 57, caracterizado pelo fato de que pelo menos uma característica clínica inclui uma margem para desbridamento, o método compreendendo adicionalmente a emissão de informações que identificam a margem para desbridamento em ou ao redor de uma ferida no tecido convertido em imagem.
59. Método, de acordo com qualquer uma das reivindicações 51 a 58, caracterizado pelo fato de que pelo menos uma característica clínica inclui uma úlcera diabética, não diabética ou crônica.
60. Método, de acordo com a reivindicação 59, caracterizado pelo fato de que pelo menos uma característica clínica inclui uma úlcera de pé diabético.
61. Método de reconhecimento biométrico automatizado, caracterizado pelo fato de que compreende: usar o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral que representa um recurso biométrico de um usuário; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para autenticar um determinado recurso biométrico; e autenticar ou rejeitar o usuário com base em uma saída do sistema de aprendizado de máquina.
62. Método, de acordo com a reivindicação 61, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
63. Método de análise automatizada de materiais, caracterizado pelo fato de que compreende: usar o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral que representa um material convertido em imagem; fornecer o cubo de dados multiespectral como entrada para um sistema de aprendizado de máquina treinado para determinar uma ou mais de características de materiais; e determinar uma ou mais de características de materiais do material de formação de imagem com base em uma saída do sistema de aprendizado de máquina.
64. Método, de acordo com a reivindicação 63, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
65. Método, caracterizado pelo fato de que compreende: capturar informações de imagem usando um dispositivo de formação de imagem manual de múltiplas aberturas compreendendo pelo menos uma região do sensor de imagem tendo uma matriz de filtro de cor, em que a informação de imagem inclui um maior número de canais do que um número de cores de filtro de cor na matriz de filtro de cor; e processar a informação da imagem em um cubo de dados multiespectral incluindo o número de canais, em que cada um dos vários canais representa a luz em uma banda de onda diferente que mede aproximadamente 40 nm ou menos, mas não zero.
66. Método, de acordo com a reivindicação 65, caracterizado pelo fato de que o dispositivo de formação de imagem manual de múltiplas aberturas compreende o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27.
67. Método, de acordo com qualquer uma das reivindicações 65-66, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
68. Método, caracterizado pelo fato de que compreende: usar o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral; e processar o cubo de dados multiespectral usando o pelo menos um processador do sistema de imagem multiespectral para determinar pelo menos uma característica de um objeto representado pelo cubo de dados multiespectral.
69. Método, de acordo com a reivindicação 68, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
70. Método, caracterizado pelo fato de que compreende: usar o sistema de imagem multiespectral, conforme definido em qualquer uma das reivindicações 1 a 27, para gerar o cubo de dados multiespectral; transmitir o cubo de dados multiespectral para pelo menos um processador remoto através de uma rede; e processar o cubo de dados multiespectral usando pelo menos um processador remoto para determinar pelo menos uma característica de um objeto representado pelo cubo de dados multiespectral.
71. Método, de acordo com a reivindicação 70, caracterizado pelo fato de que compreende adicionalmente gerar o cubo de dados multiespectral usando o método conforme definido em qualquer uma das reivindicações 28 a 50.
72. Sistema de imagem multiespectral, de acordo com qualquer uma das reivindicações 1 a 27, caracterizado pelo fato de que o sistema de imagem multiespectral é configurado para adquirir imagens de uma ampla área de tecido, por exemplo, 5,9 x 7,9 polegadas (38,6 x 50,97 cm2), dentro de 6 segundos ou menos e, em que o referido sistema de imagem multiespectral é configurado para fornecer informações de análise de tecido, tal como a identificação de uma pluralidade de estados de queimadura, estados de ferida, potencial de cicatrização, uma característica clínica incluindo um estado cancerígeno ou não cancerígeno do tecido convertido em imagem, profundidade da ferida, uma margem para desbridamento ou a presença de uma úlcera diabética, não diabética ou crônica na ausência de agentes de contraste de formação de imagem.
73. Método, de acordo com qualquer uma das reivindicações 43 a 60, caracterizado pelo fato de que o sistema de imagem multiespectral adquire imagens de uma ampla área de tecido, por exemplo, 5,9 x 7,9 polegadas (38,6 x 50,97 cm2), dentro de 6 segundos ou menos e, em que o referido sistema de imagem multiespectral produz informações de análise de tecido, tal como a identificação de uma pluralidade de estados de queimadura, estados de ferida, potencial de cicatrização, uma característica clínica incluindo um estado cancerígeno ou não cancerígeno do tecido convertido em imagem, profundidade da ferida, volume da ferida, uma margem para desbridamento ou a presença de uma úlcera diabética, não diabética ou crônica na ausência de agentes de contraste de formação de imagem.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862780121P | 2018-12-14 | 2018-12-14 | |
| US62/780,121 | 2018-12-14 | ||
| US201962818375P | 2019-03-14 | 2019-03-14 | |
| US62/818,375 | 2019-03-14 | ||
| PCT/US2019/065818 WO2020123722A1 (en) | 2018-12-14 | 2019-12-11 | System and method for high precision multi-aperture spectral imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112021011113A2 true BR112021011113A2 (pt) | 2021-08-31 |
Family
ID=71077492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112021011113-1A BR112021011113A2 (pt) | 2018-12-14 | 2019-12-11 | Sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11631164B2 (pt) |
| EP (1) | EP3899463A4 (pt) |
| JP (3) | JP7186298B2 (pt) |
| KR (1) | KR20210099126A (pt) |
| CN (1) | CN113260835A (pt) |
| BR (1) | BR112021011113A2 (pt) |
| WO (1) | WO2020123722A1 (pt) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107205624B (zh) | 2014-10-29 | 2019-08-06 | 光谱Md公司 | 用于组织分类的反射式多光谱时间分辨光学成像方法和装备 |
| US20220240783A1 (en) | 2017-03-02 | 2022-08-04 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
| US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
| CN113260835A (zh) | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
| EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
| US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
| WO2020149056A1 (ja) * | 2019-01-16 | 2020-07-23 | パナソニックＩｐマネジメント株式会社 | 光学フィルタ、光検出装置、および光検出システム |
| CN113820012B (zh) * | 2020-06-19 | 2022-07-22 | 华为技术有限公司 | 一种多光谱图像处理方法及装置 |
| WO2022266145A1 (en) * | 2021-06-18 | 2022-12-22 | Canfield Scientific, Incorporated | Multi-modal skin imaging |
| IL310529A (en) * | 2021-08-03 | 2024-03-01 | Jubaan Ltd | System and method for using multispectral imaging and deep learning to identify pathologies of the digestive system by capturing images of a human tongue |
| KR102613052B1 (ko) * | 2021-09-29 | 2023-12-12 | 삼성전자주식회사 | 멀티 스펙트럼 이미지 센서 및 이를 포함하는 전자 장치 |
| CN113827234B (zh) * | 2021-11-25 | 2022-03-18 | 之江实验室 | 一种基于高光谱人脸视频的远程脉搏波重建方法 |
| CN116760962B (zh) * | 2023-08-17 | 2023-10-27 | 鸥朗创想(北京)科技有限公司 | 一种获取植物4d表型的无人车及方法 |
Family Cites Families (171)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4170987A (en) | 1977-11-28 | 1979-10-16 | California Institute Of Technology | Medical diagnosis system and method with multispectral imaging |
| US4693255A (en) | 1985-04-22 | 1987-09-15 | Beall Harry C | Medical apparatus method for assessing the severity of certain skin traumas |
| WO1991008793A1 (en) | 1989-12-14 | 1991-06-27 | Brigham And Women's Hospital | A treatment system for wounds and other disorders and a method for treating wounds and other skin disorders |
| US5074306A (en) | 1990-02-22 | 1991-12-24 | The General Hospital Corporation | Measurement of burn depth in skin |
| US5701902A (en) | 1994-09-14 | 1997-12-30 | Cedars-Sinai Medical Center | Spectroscopic burn injury evaluation apparatus and method |
| GB9521784D0 (en) | 1995-10-24 | 1996-01-03 | Rosslyn Medical Ltd | Diagnostic apparatus |
| US6081612A (en) | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
| US6008889A (en) | 1997-04-16 | 1999-12-28 | Zeng; Haishan | Spectrometer system for diagnosis of skin disease |
| US6058352A (en) | 1997-07-25 | 2000-05-02 | Physical Optics Corporation | Accurate tissue injury assessment using hybrid neural network analysis |
| US6353753B1 (en) | 1998-05-05 | 2002-03-05 | Stephen Thomas Flock | Optical imaging of deep anatomic structures |
| US6352517B1 (en) | 1998-06-02 | 2002-03-05 | Stephen Thomas Flock | Optical monitor of anatomical movement and uses thereof |
| US5982497A (en) | 1998-07-09 | 1999-11-09 | Optical Insights, Llc | Multi-spectral two-dimensional imaging spectrometer |
| DE19850350C1 (de) | 1998-11-02 | 2000-09-28 | Jena Optronik Gmbh | Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten |
| US6381488B1 (en) | 1999-06-15 | 2002-04-30 | Sandia Corporation | Method and apparatus to measure the depth of skin burns |
| US6640132B1 (en) | 1999-11-17 | 2003-10-28 | Hypermed, Inc. | Forensic hyperspectral apparatus and method |
| CA2398278C (en) | 2000-01-27 | 2012-05-15 | National Research Council Of Canada | Visible-near infrared spectroscopy in burn injury assessment |
| AU2001259435A1 (en) | 2000-05-03 | 2001-11-12 | Stephen T Flock | Optical imaging of subsurface anatomical structures and biomolecules |
| US6638668B2 (en) | 2000-05-12 | 2003-10-28 | Ocean Optics, Inc. | Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging |
| EP1411824A2 (en) | 2001-07-16 | 2004-04-28 | Art Advanced Research Technologies Inc. | Multi-wavelength imaging of highly turbid media |
| BR0212668A (pt) * | 2001-09-19 | 2004-08-24 | Joule Microsystems Canada Inc | Um espectrÈmetro incorporando filtragem combinada de sinal |
| US20060072109A1 (en) | 2004-09-03 | 2006-04-06 | Andrew Bodkin | Hyperspectral imaging systems |
| TW512058B (en) | 2001-12-24 | 2002-12-01 | Yung-Jian Yang | Spectral analysis system for burning and scalding injuries and device used in the system |
| WO2004005895A1 (en) | 2002-07-09 | 2004-01-15 | Medispectra, Inc. | Methods and apparatus for characterization of tissue samples |
| WO2004051242A1 (en) | 2002-12-02 | 2004-06-17 | Erasmus Universiteit Rotterdam | Use of high wavenumber raman spectroscopy for measuring tissue |
| WO2005002425A2 (en) | 2003-07-02 | 2005-01-13 | U.S. Government As Represented By The Secretary Of The Army | Wearable tissue viability diagnostic unit |
| US7693069B2 (en) | 2003-07-28 | 2010-04-06 | Alcatel-Lucent Usa Inc. | Method, apparatus and system for improved inter-domain routing convergence |
| RU2372117C2 (ru) | 2003-09-18 | 2009-11-10 | Аркюо Медикал, Инк. | Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления |
| US7920908B2 (en) | 2003-10-16 | 2011-04-05 | David Hattery | Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue |
| JP4118916B2 (ja) | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
| US7433042B1 (en) | 2003-12-05 | 2008-10-07 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
| US7648808B2 (en) | 2004-01-12 | 2010-01-19 | Ocean Thin Films, Inc. | Patterned coated dichroic filter |
| US8583216B2 (en) | 2004-04-27 | 2013-11-12 | University Of Utah Research Foundation | Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer |
| US20070179482A1 (en) | 2004-05-07 | 2007-08-02 | Anderson Robert S | Apparatuses and methods to treat biological external tissue |
| SE0402576D0 (sv) | 2004-10-25 | 2004-10-25 | Forskarpatent I Uppsala Ab | Multispectral and hyperspectral imaging |
| US8224425B2 (en) | 2005-04-04 | 2012-07-17 | Hypermed Imaging, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
| US8548570B2 (en) | 2004-11-29 | 2013-10-01 | Hypermed Imaging, Inc. | Hyperspectral imaging of angiogenesis |
| US9078619B2 (en) | 2004-12-28 | 2015-07-14 | Hypermed Imaging, Inc. | Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock |
| US7729750B2 (en) | 2005-01-20 | 2010-06-01 | The Regents Of The University Of California | Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography |
| US20060241495A1 (en) | 2005-03-23 | 2006-10-26 | Eastman Kodak Company | Wound healing monitoring and treatment |
| CA2604829C (en) | 2005-04-04 | 2018-05-15 | Hypermed, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
| US8971984B2 (en) | 2005-04-04 | 2015-03-03 | Hypermed Imaging, Inc. | Hyperspectral technology for assessing and treating diabetic foot and tissue disease |
| US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
| EP1952106B1 (en) | 2005-11-04 | 2014-08-27 | George Themelis | System for multispectral imaging |
| BRPI0706415A2 (pt) | 2006-01-05 | 2011-03-29 | Univ Virginia | método, sistema e produto de programa de computador para avaliação de variabilidade de glicose no sangue em diabetes de dados de automonitoramento |
| JP4655991B2 (ja) | 2006-04-21 | 2011-03-23 | カシオ計算機株式会社 | 撮像装置及び電子ズーム方法と、プログラム |
| WO2008033909A2 (en) | 2006-09-12 | 2008-03-20 | The General Hospital Corporation | Apparatus, probe and method for providing depth assessment in an anatomical structure |
| US20120321759A1 (en) | 2007-01-05 | 2012-12-20 | Myskin, Inc. | Characterization of food materials by optomagnetic fingerprinting |
| SG10201914077TA (en) | 2007-01-05 | 2020-03-30 | Myskin Inc | System, device and method for dermal imaging |
| US8639309B2 (en) | 2007-07-31 | 2014-01-28 | J&M Shuler, Inc. | Method and system for monitoring oxygenation levels of compartments and tissue |
| US7857803B1 (en) | 2007-03-19 | 2010-12-28 | The United States Of America As Represented By The Secretary Of The Army | Burn patient resuscitation system and method |
| JP2008283442A (ja) | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
| CN101784227B (zh) | 2007-07-06 | 2013-12-04 | 工业研究有限公司 | 激光散斑成像系统和方法 |
| US20090072142A1 (en) | 2007-09-14 | 2009-03-19 | Forensicare Incorporated | Scanning system and techniques for medical and/or forensic assessment using the same |
| US20090118600A1 (en) | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
| US8509879B2 (en) | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
| US20100210931A1 (en) | 2008-04-04 | 2010-08-19 | Modulate Imaging Inc. | Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination |
| WO2009131989A2 (en) | 2008-04-21 | 2009-10-29 | Drexel University | Methods for measuring changes in optical properties of wound tissue and correlating near infrared absorption (fnir) and diffuse reflectance spectroscopy scattering (drs) with tissue neovascularization and collagen concentration to determine whether wound is healing |
| EP2384182A4 (en) | 2008-04-30 | 2016-10-19 | Univ Texas | DEVICE AND METHOD FOR NON-INVASIVE EVALUATION OF A TARGET COMPARED TO A NON-TARGET |
| EP2285272A4 (en) | 2008-04-30 | 2017-01-04 | Board of Regents, The University of Texas System | Integrated patient bed system |
| US9042967B2 (en) | 2008-05-20 | 2015-05-26 | University Health Network | Device and method for wound imaging and monitoring |
| US20090318815A1 (en) | 2008-05-23 | 2009-12-24 | Michael Barnes | Systems and methods for hyperspectral medical imaging |
| US8694266B2 (en) | 2008-06-05 | 2014-04-08 | The Regents Of The University Of Michigan | Multimodal spectroscopic systems and methods for classifying biological tissue |
| US9572494B2 (en) | 2008-08-12 | 2017-02-21 | New Jersy Institute of Technology | Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues |
| JP2010043979A (ja) | 2008-08-13 | 2010-02-25 | Yuichi Kamata | 分光画像計測装置 |
| US8488863B2 (en) | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
| CA2753916C (en) | 2009-04-29 | 2020-08-25 | Genomedx Biosciences Inc. | Systems and methods for expression-based classification of thyroid tissue |
| EP2267654A1 (en) | 2009-06-23 | 2010-12-29 | Research in Motion Limited | Adjustment of sharpness during digital zoom in digital photography |
| CN101627902B (zh) | 2009-07-15 | 2011-12-28 | 深圳先进技术研究院 | 基于环境光的低功耗、高精度光电容积描记信号前端处理模块 |
| JP5715132B2 (ja) | 2009-08-20 | 2015-05-07 | コーニンクレッカ フィリップス エヌ ヴェ | 画像解析に関する方法及びシステム |
| JP5856960B2 (ja) | 2009-10-06 | 2016-02-10 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 第１の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第１の信号を得るための方法及びシステム |
| WO2011063306A1 (en) | 2009-11-19 | 2011-05-26 | Modulated Imaging Inc. | Method and apparatus for analysis of turbid media via single-element detection using structured illumination |
| US9823127B2 (en) | 2010-01-22 | 2017-11-21 | Duke University | Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer |
| US8692912B2 (en) | 2010-01-25 | 2014-04-08 | Pixelteq, Inc. | Multi-spectral camera |
| US8488024B2 (en) | 2010-02-10 | 2013-07-16 | Panasonic Corporation | Image capture device |
| US8294570B2 (en) | 2010-02-24 | 2012-10-23 | Clawson Jeffrey J | Burn diagnostic and intervention tool for emergency dispatch |
| WO2011140536A1 (en) | 2010-05-07 | 2011-11-10 | Purdue Research Foundation | Quantitative image analysis for wound healing assay |
| EP2618584B1 (en) * | 2010-09-17 | 2016-08-10 | Panasonic Intellectual Property Management Co., Ltd. | Stereoscopic video creation device and stereoscopic video creation method |
| US20120078088A1 (en) | 2010-09-28 | 2012-03-29 | Point of Contact, LLC. | Medical image projection and tracking system |
| EP2665417A4 (en) | 2011-01-19 | 2015-12-02 | Univ California | APPARATUS, SYSTEMS, AND METHODS FOR TISSUE OXIMETRY AND PERFUSION IMAGING |
| US8761853B2 (en) | 2011-01-20 | 2014-06-24 | Nitto Denko Corporation | Devices and methods for non-invasive optical physiological measurements |
| US8994819B2 (en) | 2011-02-04 | 2015-03-31 | Raytheon Company | Integrated optical detection system |
| US8694067B2 (en) | 2011-02-15 | 2014-04-08 | General Electric Company | Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject |
| US9372118B1 (en) | 2011-03-07 | 2016-06-21 | Fluxdata, Inc. | Apparatus and method for multispectral based detection |
| AU2012225644B2 (en) | 2011-03-07 | 2017-05-04 | Wake Forest University Health Sciences | Delivery system |
| JP5704984B2 (ja) * | 2011-03-22 | 2015-04-22 | キヤノン株式会社 | 撮像装置 |
| US20120288230A1 (en) | 2011-05-13 | 2012-11-15 | Kestrel Labs, Inc. | Non-Reflective Optical Connections in Laser-Based Photoplethysmography |
| WO2012170963A1 (en) | 2011-06-08 | 2012-12-13 | Digital Light Innovations | System and method for hyperspectral imaging |
| US9638741B2 (en) * | 2011-06-24 | 2017-05-02 | Kla-Tencor Corporation | Method and apparatus for inspection of light emitting semiconductor devices using photoluminescence imaging |
| US9270875B2 (en) | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
| KR101134770B1 (ko) | 2011-07-22 | 2012-04-13 | 양완석 | 휴대용 인체외시경 영상장치 |
| US8942459B2 (en) | 2011-09-12 | 2015-01-27 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and apparatus for fast identification of relevant features for classification or regression |
| US9295402B1 (en) | 2012-01-17 | 2016-03-29 | University Of Washington Through Its Center For Commercialization | Methods and systems for assessing a burn injury |
| US20150011892A1 (en) | 2012-01-20 | 2015-01-08 | Harvard Apparatus Regenerative Technology, Inc. | Methods for evaluating tissue injuries |
| WO2013116316A1 (en) | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
| EP2840957B1 (en) | 2012-04-27 | 2024-01-03 | Stryker European Operations Limited | Optical coherent imaging medical device and method |
| US9031306B2 (en) | 2012-05-02 | 2015-05-12 | The Regents Of The University Of California | Diagnostic and prognostic histopathology system using morphometric indices |
| US9593982B2 (en) * | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
| RU2616653C2 (ru) * | 2012-06-05 | 2017-04-18 | Хайпермед Имэджинг, Инк. | Способы и устройство для соосного формирования изображения с множеством длин волн |
| US9766382B2 (en) * | 2012-06-05 | 2017-09-19 | Hypermed Imaging, Inc. | Single-sensor hyperspectral imaging device |
| US20130331669A1 (en) | 2012-06-11 | 2013-12-12 | Raytheon Company | Multi-spectral imaging system and method for remote biometric measurement of human physiological parameters |
| US9036877B2 (en) | 2012-06-20 | 2015-05-19 | Xerox Corporation | Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching |
| US9547178B2 (en) | 2012-08-15 | 2017-01-17 | Semrock. Inc. | Dichroic image splitter |
| ES2748805T3 (es) | 2012-09-13 | 2020-03-18 | Polyheal Ltd | Composiciones de cicatrizacion de heridas mejoradas que comprenden microesferas |
| MX2018016101A (es) * | 2012-11-07 | 2022-05-19 | Modulated Imaging Inc | Eficiente formacion modulada de imagenes. |
| WO2014110027A1 (en) | 2013-01-10 | 2014-07-17 | Caliper Life Sciences, Inc. | Multispectral imaging system and methods |
| EP2943932B1 (en) | 2013-01-10 | 2019-09-11 | Akoya Biosciences, Inc. | Whole slide multispectral imaging systems and methods |
| US20140213910A1 (en) | 2013-01-25 | 2014-07-31 | The Regents Of The University Of California | Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination |
| CN103973957B (zh) * | 2013-01-29 | 2018-07-06 | 上海八运水科技发展有限公司 | 双目3d相机自动调焦系统及方法 |
| CA3053060C (en) | 2013-01-31 | 2022-04-19 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
| EP2951301A4 (en) | 2013-02-01 | 2016-11-02 | Daniel Farkas | METHOD AND SYSTEM FOR CHARACTERIZING THREE-DIMENSIONAL FABRIC USING MULTIMODAL OPTICAL MEASUREMENTS |
| US11653874B2 (en) | 2013-02-01 | 2023-05-23 | Acceleritas Corporation | Method and system for characterizing tissue in three dimensions using multimode optical measurements |
| GB201302451D0 (en) | 2013-02-12 | 2013-03-27 | Isis Innovation | Method and system for signal analysis |
| EP2964093A4 (en) | 2013-03-06 | 2016-12-07 | Marika Pty Ltd | EVALUATION OF OPTICAL DENSITY GRADIENTS AND VARIATIONS |
| WO2014143235A1 (en) | 2013-03-14 | 2014-09-18 | Integrated Plasmonics Corporation | Ambient light assisted spectroscopy |
| SG11201601019TA (en) | 2013-08-14 | 2016-03-30 | Univ Nanyang Tech | Systems and methods for revascularization assessment |
| WO2015057922A1 (en) * | 2013-10-16 | 2015-04-23 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Multispectral imaging based on computational imaging and a narrow-band absorptive filter array |
| CN103815875B (zh) | 2013-10-28 | 2015-06-03 | 重庆西南医院 | 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统 |
| US10032287B2 (en) | 2013-10-30 | 2018-07-24 | Worcester Polytechnic Institute | System and method for assessing wound |
| EP3091897A4 (en) * | 2014-01-06 | 2017-12-27 | The Florida International University Board of Trustees | Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features |
| US20150208950A1 (en) | 2014-01-28 | 2015-07-30 | The Texas A&M University System | Arterial and Venous Oxygenation Method and Apparatus |
| WO2015116823A1 (en) | 2014-01-29 | 2015-08-06 | The Johns Hopkins University | System and method for wound imaging and debridement |
| US9560972B2 (en) * | 2014-02-07 | 2017-02-07 | Santec Corporation | Self-operated health monitoring device |
| DE102014002514B4 (de) * | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
| WO2015143415A1 (en) | 2014-03-21 | 2015-09-24 | Hypermed Imaging, Inc. | Compact light sensor |
| CA3204935A1 (en) * | 2014-05-01 | 2015-11-01 | Rebellion Photonics, Inc. | Dual-band divided-aperture infra-red spectral imaging system |
| DE102014106974A1 (de) | 2014-05-16 | 2015-11-19 | Cubert GmbH | Räumlich und spektral auflösende Hyperspektralkamera und Verfahren |
| WO2015187489A1 (en) | 2014-06-04 | 2015-12-10 | University Of Massachusetts Medical School | Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation |
| EP3940371B1 (en) | 2014-06-05 | 2023-08-30 | Universität Heidelberg | Method and imaging apparatus for acquisition of fluorescence and reflectance images |
| CN115919256A (zh) | 2014-07-24 | 2023-04-07 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
| US10117617B2 (en) | 2014-10-08 | 2018-11-06 | Revealix, Inc. | Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly |
| CN107205624B (zh) | 2014-10-29 | 2019-08-06 | 光谱Md公司 | 用于组织分类的反射式多光谱时间分辨光学成像方法和装备 |
| US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
| US20220142484A1 (en) | 2014-10-29 | 2022-05-12 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
| US11206388B2 (en) * | 2014-12-01 | 2021-12-21 | Sony Corporation | Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images |
| AU2015357088A1 (en) * | 2014-12-03 | 2017-05-18 | Oregon Health & Science University | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| US9990472B2 (en) | 2015-03-23 | 2018-06-05 | Ohio State Innovation Foundation | System and method for segmentation and automated measurement of chronic wound images |
| US11037070B2 (en) | 2015-04-29 | 2021-06-15 | Siemens Healthcare Gmbh | Diagnostic test planning using machine learning techniques |
| CA3241702A1 (en) * | 2015-05-29 | 2016-12-08 | Rebellion Photonics, Inc. | Hydrogen sulfide imaging system |
| ES2812225T3 (es) * | 2015-06-15 | 2021-03-16 | Agrowing Ltd | Aparato de obtención de imágenes multiespectrales |
| WO2017026296A1 (ja) * | 2015-08-10 | 2017-02-16 | 株式会社リコー | 試料測定装置 |
| EP3334436A4 (en) | 2015-08-13 | 2019-05-29 | SomaGenics Inc. | PROCESSES AND COMPOSITIONS OF SHORT-SMALL-HAIRPIN-RNAS AND MICRO-RNAS FOR WOUND HEALING |
| US10921186B2 (en) | 2015-09-22 | 2021-02-16 | Hypermed Imaging, Inc. | Methods and apparatus for imaging discrete wavelength bands using a mobile device |
| AU2016325592B2 (en) | 2015-09-23 | 2019-06-27 | Novadaq Technologies Inc. | Methods and systems for assessing healing of tissue |
| EP3367887A4 (en) | 2015-10-28 | 2019-05-22 | Spectral MD Inc. | TIME-RESOLVED MULTISPECTRAL OPTICAL IMAGING METHODS, REFLECTIVE MODE AND FABRIC CLASSIFICATION APPARATUSES |
| NL2015804B1 (en) | 2015-11-17 | 2017-06-02 | Quest Photonic Devices B V | Hyperspectral 2D imaging device. |
| US10572997B2 (en) * | 2015-12-18 | 2020-02-25 | Given Imaging Ltd. | System and method for detecting anomalies in an image captured in-vivo using color histogram association |
| WO2017181200A1 (en) | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Assessment of wound status and tissue viability via analysis of spatially resolved thz reflectometry maps |
| GB2550582B (en) | 2016-05-23 | 2020-07-15 | Bluedrop Medical Ltd | A skin inspection device identifying abnormalities |
| JP6585006B2 (ja) * | 2016-06-07 | 2019-10-02 | 株式会社東芝 | 撮影装置および車両 |
| US10013811B2 (en) | 2016-06-13 | 2018-07-03 | Umm-Al-Qura University | Hyperspectral image visualization in patients with medical conditions |
| WO2017223206A1 (en) * | 2016-06-21 | 2017-12-28 | Sri International | Hyperspectral imaging methods and apparatuses |
| US11096602B2 (en) | 2016-07-29 | 2021-08-24 | Stryker European Operations Limited | Methods and systems for characterizing tissue of a subject utilizing a machine learning |
| US10223788B2 (en) | 2016-08-31 | 2019-03-05 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
| US10248713B2 (en) | 2016-11-30 | 2019-04-02 | Business Objects Software Ltd. | Time series analysis using a clustering based symbolic representation |
| CN110114645B (zh) * | 2016-12-27 | 2021-11-26 | 优鲁格斯股份有限公司 | 在被观察物体静止时的超光谱成像 |
| US10145740B2 (en) * | 2017-02-27 | 2018-12-04 | Visera Technologies Company Limited | Sensing multiple peak wavelengths using combination of dual-band filters |
| US10806334B2 (en) | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
| US20220240783A1 (en) | 2017-03-02 | 2022-08-04 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
| US11003933B2 (en) * | 2017-08-15 | 2021-05-11 | Noblis, Inc. | Multispectral anomaly detection |
| AU2017415626B2 (en) | 2017-10-17 | 2020-08-06 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
| US10371627B2 (en) * | 2017-11-16 | 2019-08-06 | MultiSensor Scientific, Inc. | Systems and methods for multispectral imaging and gas detection using a scanning illuminator and optical sensor |
| CN108053482A (zh) * | 2018-02-05 | 2018-05-18 | 喻强 | 一种基于手机扫描的人体3d建模方法 |
| US20190290117A1 (en) | 2018-03-22 | 2019-09-26 | Kabushiki Kaisha Topcon | Interferometric fundus imaging method |
| US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
| EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
| CN113260835A (zh) | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
| US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
| CN115426939A (zh) | 2020-02-28 | 2022-12-02 | 光谱Md公司 | 用于伤口的评估、愈合预测和治疗的机器学习系统和方法 |
| EP4178426A1 (en) | 2020-07-13 | 2023-05-17 | Spectral MD, Inc. | Spectral imaging systems and methods for histological assessment of wounds |
| CN117321394A (zh) | 2021-03-30 | 2023-12-29 | 光谱Md公司 | 基于多路照明的高精度快照多光谱成像系统和方法 |
| WO2023141216A2 (en) | 2022-01-21 | 2023-07-27 | Spectral Md, Inc. | System and method for topological characterization of tissue |
-
2019
- 2019-12-11 CN CN201980087508.0A patent/CN113260835A/zh active Pending
- 2019-12-11 JP JP2021533780A patent/JP7186298B2/ja active Active
- 2019-12-11 EP EP19895125.3A patent/EP3899463A4/en active Pending
- 2019-12-11 WO PCT/US2019/065818 patent/WO2020123722A1/en unknown
- 2019-12-11 KR KR1020217021579A patent/KR20210099126A/ko not_active Application Discontinuation
- 2019-12-11 BR BR112021011113-1A patent/BR112021011113A2/pt unknown
-
2021
- 2021-11-19 US US17/455,856 patent/US11631164B2/en active Active
-
2022
- 2022-11-28 JP JP2022188833A patent/JP2023041063A/ja active Pending
- 2022-11-28 JP JP2022188817A patent/JP2023037629A/ja active Pending
-
2023
- 2023-03-06 US US18/178,875 patent/US11989860B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023037629A (ja) | 2023-03-15 |
| JP7186298B2 (ja) | 2022-12-08 |
| JP2023041063A (ja) | 2023-03-23 |
| CN113260835A (zh) | 2021-08-13 |
| JP2022513847A (ja) | 2022-02-09 |
| US11631164B2 (en) | 2023-04-18 |
| EP3899463A1 (en) | 2021-10-27 |
| KR20210099126A (ko) | 2021-08-11 |
| US20230206413A1 (en) | 2023-06-29 |
| US20220156903A1 (en) | 2022-05-19 |
| WO2020123722A1 (en) | 2020-06-18 |
| US11989860B2 (en) | 2024-05-21 |
| EP3899463A4 (en) | 2022-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182888B2 (en) | System and method for high precision multi-aperture spectral imaging | |
| US11989860B2 (en) | System and method for high precision multi-aperture spectral imaging | |
| JP7261883B2 (ja) | 創傷の評価、治癒予測および治療のための機械学習システム | |
| US20230148951A1 (en) | Spectral imaging systems and methods for histological assessment of wounds | |
| US11599998B2 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
| US20230181042A1 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
| US20240048823A1 (en) | System and method for high precision snapshot multi-spectral imaging based on multiplexed illumination | |
| US11686618B2 (en) | Hyperspectral imaging method and device | |
| US20140347512A1 (en) | Imaging sensor and method for biometric mapping of facial skin | |
| WO2023141216A2 (en) | System and method for topological characterization of tissue | |
| Saulnier | Creating a mobile platform for cervical cancer diagnosis | |
| Gao | Bio-Inspired Multi-Spectral Imaging Sensors and Algorithms for Image Guided Surgery |