JP2022513847A - 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 - Google Patents
高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022513847A JP2022513847A JP2021533780A JP2021533780A JP2022513847A JP 2022513847 A JP2022513847 A JP 2022513847A JP 2021533780 A JP2021533780 A JP 2021533780A JP 2021533780 A JP2021533780 A JP 2021533780A JP 2022513847 A JP2022513847 A JP 2022513847A
- Authority
- JP
- Japan
- Prior art keywords
- multispectral
- light
- imaging system
- frequency band
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 178
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 115
- 238000003384 imaging method Methods 0.000 claims abstract description 198
- 230000003595 spectral effect Effects 0.000 claims abstract description 165
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 239000000463 material Substances 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims description 84
- 208000027418 Wounds and injury Diseases 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 27
- 238000010801 machine learning Methods 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 18
- 206010056340 Diabetic ulcer Diseases 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 208000025865 Ulcer Diseases 0.000 claims description 10
- 230000037311 normal skin Effects 0.000 claims description 10
- 231100000397 ulcer Toxicity 0.000 claims description 10
- 238000001804 debridement Methods 0.000 claims description 9
- 239000000758 substrate Substances 0.000 claims description 9
- 230000001684 chronic effect Effects 0.000 claims description 8
- 206010061218 Inflammation Diseases 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 239000002872 contrast media Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000004054 inflammatory process Effects 0.000 claims description 6
- 230000035755 proliferation Effects 0.000 claims description 6
- 238000007634 remodeling Methods 0.000 claims description 6
- 230000023597 hemostasis Effects 0.000 claims description 5
- 208000008960 Diabetic foot Diseases 0.000 claims description 4
- 208000004221 Multiple Trauma Diseases 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 4
- 239000010981 turquoise Substances 0.000 claims description 3
- 230000001747 exhibiting effect Effects 0.000 claims description 2
- 230000002439 hemostatic effect Effects 0.000 claims 1
- 238000002620 method output Methods 0.000 claims 1
- 206010052428 Wound Diseases 0.000 description 39
- 238000001228 spectrum Methods 0.000 description 39
- 238000013461 design Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 14
- 238000013507 mapping Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 230000003936 working memory Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000000576 coating method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000035876 healing Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000005670 electromagnetic radiation Effects 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 239000010409 thin film Substances 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000002301 combined effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 208000004210 Pressure Ulcer Diseases 0.000 description 2
- 208000017442 Retinal disease Diseases 0.000 description 2
- 206010038923 Retinopathy Diseases 0.000 description 2
- 206010067584 Type 1 diabetes mellitus Diseases 0.000 description 2
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 210000000130 stem cell Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000029663 wound healing Effects 0.000 description 2
- 206010004146 Basal cell carcinoma Diseases 0.000 description 1
- 206010051055 Deep vein thrombosis Diseases 0.000 description 1
- 208000032131 Diabetic Neuropathies Diseases 0.000 description 1
- 102000018233 Fibroblast Growth Factor Human genes 0.000 description 1
- 108050007372 Fibroblast Growth Factor Proteins 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 208000035346 Margins of Excision Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000009344 Penetrating Wounds Diseases 0.000 description 1
- 208000005764 Peripheral Arterial Disease Diseases 0.000 description 1
- 208000030831 Peripheral arterial occlusive disease Diseases 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 208000012322 Raynaud phenomenon Diseases 0.000 description 1
- 206010039710 Scleroderma Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010072170 Skin wound Diseases 0.000 description 1
- 206010047249 Venous thrombosis Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 201000007917 background diabetic retinopathy Diseases 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 208000020832 chronic kidney disease Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- 238000013427 histology analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 229940125721 immunosuppressive agent Drugs 0.000 description 1
- 239000003018 immunosuppressive agent Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- 238000001659 ion-beam spectroscopy Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 238000013310 pig model Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000007388 punch biopsy Methods 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 238000000427 thin-film deposition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- SWGJCIMEBVHMTA-UHFFFAOYSA-K trisodium;6-oxido-4-sulfo-5-[(4-sulfonatonaphthalen-1-yl)diazenyl]naphthalene-2-sulfonate Chemical compound [Na+].[Na+].[Na+].C1=CC=C2C(N=NC3=C4C(=CC(=CC4=CC=C3O)S([O-])(=O)=O)S([O-])(=O)=O)=CC=C(S([O-])(=O)=O)C2=C1 SWGJCIMEBVHMTA-UHFFFAOYSA-K 0.000 description 1
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0202—Mechanical elements; Supports for optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
Description
本願は、「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2018年12月14日に出願された米国仮出願第62/780,121号および「高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法」という名称で2019年3月14日に出願された米国仮出願第62/818,375号の利益を主張するものであり、これらの文献は引用によりその全体があらゆる目的で本明細書に明示的に援用される。
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局(BARDA)により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および/または契約番号W81XWH-18-C-0114の下、米国国防保健局(DHA)により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
少なくとも1つのイメージセンサ;
前記少なくとも1つのイメージセンサの第1のセンサ領域へと入射光を通過させるように配置された第1のアパーチャ;
前記少なくとも1つのイメージセンサの第2のセンサ領域へと入射光を通過させるように配置された第2のアパーチャ;
第1のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第1の特有周波数帯の光を通過させるように構成された第1のマルチバンドパスフィルタ;
第2のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第2の特有周波数帯の光を通過させるように構成された第2のマルチバンドパスフィルタ;
マルチスペクトルデータキューブを生成させる命令を格納するメモリ;ならびに
前記命令に従って、少なくとも、第1のセンサ領域および第2のセンサ領域からシグナルを受信し、受信したこのシグナルを処理して、前記マルチスペクトルデータキューブを生成するように構成された少なくとも1つのプロセッサ
を含み、
前記マルチスペクトルデータキューブが、前記共通周波数帯に対応する第1のスペクトルチャネル、第1の特有周波数帯に対応する第2のスペクトルチャネル、および第2の特有周波数帯に対応する第3のスペクトルチャネルを含み;
前記シグナルの処理が、
少なくとも、前記共通周波数帯に対応する第1のスペクトルチャネルからの情報を利用して、第1のセンサ領域により撮影された第1の画像データと第2のセンサ領域により撮影された第2の画像データの間の視差を概算すること、ならびに
前記視差を利用して、第1のスペクトルチャネルの画像データ、第2のスペクトルチャネルの画像データおよび第3のスペクトルチャネルの画像データの位置調整を行い、マルチスペクトルデータキューブを生成することを含む、
マルチスペクトル画像システムに関する。
前記少なくとも1つのイメージセンサの第3のセンサ領域へと入射光を通過させるように配置された第3のアパーチャ;
前記少なくとも1つのイメージセンサの第4のセンサ領域へと入射光を通過させるように配置された第4のアパーチャ;
第3のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第3の特有周波数帯の光を通過させるように構成された第3のマルチバンドパスフィルタ;ならびに
第4のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第4の特有周波数帯の光を通過させるように構成された第4のマルチバンドパスフィルタ
をさらに含む。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも1つのイメージセンサの第5のセンサ領域へと入射光を通過させるように配置された第5のアパーチャ;および
第3のアパーチャの上方に配置された第5のマルチバンドパスフィルタ
をさらに含み、
該第5のマルチバンドパスフィルタが、第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタの少なくとも1つを通過する少なくとも1つの周波数帯の光を通過させるように構成されている。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも1つのイメージセンサの最大総数25個のセンサ領域へと入射光を通過させるように配置された最大総数25個のアパーチャ;および
前記最大総数25個のアパーチャのそれぞれの上方に配置された最大総数25枚のマルチバンドパスフィルタ
を含み、
各マルチバンドパスフィルタが、少なくとも共通周波数帯の光と、前記画像システム内の他のマルチバンドパスフィルタを通過しない特有周波数帯の光とを通過させるように構成されており;
通過する周波数帯の総数が、4個を超え、かつ51個未満である。
いくつかの実施形態において、前記マルチスペクトル画像システムは、
前記少なくとも1つのイメージセンサの第3のセンサ領域へと入射光を通過させるように配置された第3のアパーチャ;および
第3のアパーチャの上方に配置された第3のマルチバンドパスフィルタ
をさらに含み、
該第3のマルチバンドパスフィルタが、第1のマルチバンドパスフィルタおよび第2のマルチバンドパスフィルタの少なくとも一方を通過する少なくとも1つの周波数帯の光を通過させるように構成されている。
いくつかの実施形態において、第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタは、これら全体で7個、8個、9個または10個の異なる周波数帯を通過させ、これらの異なる周波数帯に、共通周波数帯、第1の特有周波数帯、第2の特有周波数帯、第3の特有周波数帯および第4の特有周波数帯が含まれている。いくつかの実施形態において、第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタのそれぞれは、青色光を含む共通周波数帯、緑色光を含む追加の共通周波数帯、および2個の追加の周波数帯を通過させるように構成されている。いくつかの実施形態において、前記少なくとも1つのプロセッサは、前記命令に従って、前記7個、8個、9個または10個の異なる周波数帯に対応する10個のスペクトルチャネルを含むマルチスペクトルデータキューブを少なくとも生成するように構成されている。
第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを含む第1の露光を撮影する工程;
第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを含む第2の露光を撮影する工程;ならびに
第1の露光のシグナル/ノイズ比を低下させるため、第2の露光の使用に少なくとも部分的に基づいてマルチスペクトルデータキューブを生成する工程
を含む方法に関する。
いくつかの実施形態において、前記方法は、第1の露光中および第2の露光中に、各光源が全体として、共通周波数帯の光、第1の特有周波数帯の光および第2の特有周波数帯の光を発する光源群を起動する工程をさらに含む。いくつかの実施形態において、第1の露光および第2の露光のそれぞれは少なくとも第4のスペクトルチャネルを含み、第1の露光および第2の露光のそれぞれに含まれるスペクトルチャネルの総数は10個以下である。
いくつかの実施形態において、前記方法は、
環境光を使用して第3の露光を撮影する工程、ならびに
第1の露光および第2の露光から第3の露光を差し引く工程
をさらに含む。
いくつかの実施形態において、前記方法は、第1の露光および第2の露光から第3の露光を差し引いた結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む。いくつかの実施形態において、前記方法は、第1のスペクトルチャネルの情報に基づいて、第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の位置合わせを行う工程をさらに含む。いくつかの実施形態において、前記方法は、第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の位置合わせの結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む。
いくつかの実施形態において、前記画像のそれぞれは、第1のスペクトルチャネルにおいて第1のセンサ領域により撮影された情報および第1のスペクトルチャネルにおいて第2のセンサ領域により撮影された情報を示し、
前記方法は、
前記共通周波数帯に対応する第1のスペクトルチャネルにおいて、第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の間の視差を特定する工程;
前記視差を使用して、第2のスペクトルチャネルにおいて第1のセンサ領域により撮影された情報を示す第1の追加の画像を前記複数の画像に位置合わせする工程;ならびに
前記視差を使用して、第3のスペクトルチャネルにおいて第2のセンサ領域により撮影された情報を示す第2の追加の画像を前記複数の画像に位置合わせする工程
をさらに含む。
いくつかの実施形態において、各露光は、4個以上のスペクトルチャネルを含み;
前記方法は、前記視差を使用して、第4のスペクトルチャネルにおいて第3のセンサ領域により撮影された情報を示す少なくとも第3の追加の画像を前記複数の画像に位置合わせする工程をさらに含み、
前記複数の画像に位置合わせされる追加の画像の総数が、スペクトルチャネルの総数よりも1つ少ない。
いくつかの実施形態において、前記マルチスペクトル画像システムは、1つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを投影するように構成された光源をさらに含み、
前記方法は、
前記光源によって、1つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを含む光を、前記少なくとも1つのイメージセンサの視野内に投影する工程;および
前記光源により投影された光を利用して、追加の露光を撮影する工程
をさらに含み、
前記位置合わせが、この追加の露光に少なくとも部分的に基づく。
いくつかの実施形態において、前記光源により投影された前記光は、前記共通周波数帯の波長を有する光、広帯域照明の波長を有する光および累積的に可視可能な照明の波長を有する光のうちの少なくとも1つを含む。いくつかの実施形態において、前記追加の露光は、前記画像の前記位置合わせの正確度の確認に使用される。いくつかの実施形態において、前記追加の露光は、前記位置合わせの正確度を向上させるために前記視差の計算に含まれる。いくつかの実施形態において、前記位置合わせの正確度をさらに向上させるため、前記光源は、前記共通周波数帯、広帯域照明または累積的に可視可能な照明からの、特有の構成の、複数の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを投影する。いくつかの実施形態において、前記マルチスペクトル画像システムは、前記少なくとも1つのイメージセンサの視野内の物体の形状を検出するように構成された追加のセンサをさらに含み、前記位置合わせは、この追加のセンサにより検出された形状に少なくとも部分的に基づく。この追加センサは、ライトフィールド情報を検知可能な1個のアパーチャセンサまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能な1個のアパーチャまたはマルチアパーチャセンサであってもよい。いくつかの実施形態において、前記方法は、第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを分離するために、スペクトルアンミキシングを行う工程をさらに含む。いくつかの実施形態において、各露光は、4個以上のスペクトルチャネルを含み;前記方法は、これらのスペクトルチャネルのすべてを分離するために、スペクトルアンミキシングを行う工程をさらに含む。いくつかの実施形態において、前記方法は、前記視差を使用して、トポグラフィー情報および深さ情報の少なくとも一方を測定する工程をさらに含む。いくつかの実施形態において、前記視差を使用して、個々の画素の深さ情報を測定する。いくつかの実施形態において、前記方法は、前記深さ情報を使用して、画像化した創傷の体積を測定する工程をさらに含む。いくつかの実施形態において、前記方法は、非可視光を示す第4のスペクトルチャネルを少なくとも含む追加の露光を撮影する工程;および前記追加の露光に少なくとも部分的に基づいて前記マルチスペクトルデータキューブを生成する工程をさらに含む。いくつかの実施形態において、前記方法は、前記追加の露光中に前記非可視光を発する第3の光源群を起動する工程をさらに含む。
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、画像化された組織を示すマルチスペクトルデータキューブを生成する工程;
組織の少なくとも1つの臨床的特徴を予測するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記画像化された組織の少なくとも1つの臨床的特徴を予測する工程
を含む方法に関する。
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、ユーザの生体的特徴を示すマルチスペクトルデータキューブを生成する工程;
特定の生体的特徴を認証するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記ユーザを認証または拒否する工程
を含む方法に関する。
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、画像化された材料を示すマルチスペクトルデータキューブを生成する工程;
1つ以上の材料特性を測定するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記画像化された材料の1つ以上の材料特性を測定する工程
を含む方法に関する。
カラーフィルタアレイを有する少なくとも1つのイメージセンサ領域を含む携帯型のマルチアパーチャイメージング装置を使用して、該カラーフィルタアレイ中のカラーフィルタの色の数よりもチャネルの数が多い画像情報を撮影する工程;および
前記画像情報を処理して、各チャネルが0nmを超えかつ約40nm以下の範囲のそれぞれ異なる周波数帯の光を示す、前記チャネル数を含むマルチスペクトルデータキューブを作成する工程
を含む方法に関する。
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、マルチスペクトルデータキューブを生成する工程;および
前記マルチスペクトル画像システムの少なくとも1つのプロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも1つの特性を測定する工程
を含む方法に関する。
本明細書に記載のマルチスペクトル画像システムのいずれかを使用して、マルチスペクトルデータキューブを生成する工程;
ネットワーク上の少なくとも1つの遠隔プロセッサに前記マルチスペクトルデータキューブを送信する工程;および
前記少なくとも1つの遠隔プロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも1つの特性を測定する工程
を含む方法に関する。
いくつかの実施形態において、前記方法は、本明細書に記載のマルチスペクトルデータキューブ生成方法のいずれかを使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む。
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
図3Aは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第1のイメージセンサ領域225A(フォトダイオードPD1~PD3)および第2のイメージセンサ領域225B(フォトダイオードPD4~PD6)を含む。フォトダイオードPD1~PD6は、たとえば、半導体基板(たとえばCMOSイメージセンサ)に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1~PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード(およびこれに対応するカラーフィルタ)を備えることができることは十分に理解できるであろう。第1のイメージセンサ領域225Aと第2のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図3Aでは、2個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図3Aに示した光学設計原理は、実装に応じて、3個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
これらの透過曲線には、この例で使用したセンサによる量子効率の効果も含んでいる。図に示すように、この4台1組のカメラ全体で、8個の特有チャネルすなわち8個の特有周波数帯が撮影される。各フィルタは、各カメラに対して2つの共通周波数帯(左端の2つのピーク)と、別の2つの周波数帯を通過させる。この実装では、第1のカメラおよび第3のカメラは、第1の共有NIR周波数帯の光(右端のピーク)を受光し、第2のカメラおよび第4のカメラは、第2の共有NIR周波数帯の光(右から2番目のピーク)を受光する。各カメラは、約550nm~約800nmまたは550nm~800nmの範囲の特有周波数帯をそれぞれ1つずつ受光する。したがって、これらのカメラは、コンパクトな構成を使用して、8個の特有のスペクトルチャネルを撮影することができる。図11Bのグラフ1010は、図11Aに示した4台のカメラの照明として使用してもよい、図4Eに示したLEDボードの分光放射照度を示す。
図13は、図3A~10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図13は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な4種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図11Aおよび図11Bに示した周波数帯を参照しながらプロセス1200を説明するが、別の1組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および/または視差補正を向上させてもよい。
図17は、図3A~10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される1つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、1つのコンピュータ内に配置されていてもよく、(互いに離れて設置されたコンピュータを含む)数多くのコンピュータに分散されていてもよい。
背景:
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5~20%であり、これらの死傷者の約20%は、米国陸軍外科研究所(ISR)熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、(ISR以外の組織に所属する人員を含む)医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷治療を拡充させることができる。
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で7日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、3週間にわたる治癒評価またはパンチ生検を使用して判定した。この装置での、I度熱傷、II度熱傷およびIII度熱傷における治癒過程の熱傷組織と非治癒熱傷組織の特定および判別の正確度は、画素単位で分析した。
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、非治癒熱傷組織の予測において87.5%の感度と90.7%の特異度が達成された。
本発明の新規な装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正確度は、熱傷の専門医の臨床判断よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、1回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング(MSI)サブシステムを使用して実施した。
様々な実施形態において、本明細書で開示した実施形態のいずれかと1個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図21は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、たとえば、図12に関して前述した複数の光源1165のうちの1個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、1つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。たとえば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。たとえば、累積的に可視可能な照明として、複数の波長であって、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも1つが各チャネルにより変換される波長を挙げることができる。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。たとえば、1個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり(たとえば、約1~10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい)、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上されることを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域(たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など)の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域(たとえば、共有チャネルもしくは共通チャネル、または広帯域照明など)のドット、グリッドおよび/または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、1個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。たとえば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な1個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置(たとえば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど)を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置(たとえば、ソリッドステート記憶装置、ディスクドライブなど)に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ(または複数のプロセッサ)を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路(たとえば、ASICやFPGA)の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
Claims (73)
- マルチスペクトル画像システムであって、
少なくとも1つのイメージセンサ;
前記少なくとも1つのイメージセンサの第1のセンサ領域へと入射光を通過させるように配置された第1のアパーチャ;
前記少なくとも1つのイメージセンサの第2のセンサ領域へと入射光を通過させるように配置された第2のアパーチャ;
第1のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第1の特有周波数帯の光を通過させるように構成された第1のマルチバンドパスフィルタ;
第2のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第2の特有周波数帯の光を通過させるように構成された第2のマルチバンドパスフィルタ;
マルチスペクトルデータキューブを生成させる命令を格納するメモリ;ならびに
前記命令に従って、少なくとも、第1のセンサ領域および第2のセンサ領域からシグナルを受信し、受信したこのシグナルを処理して、前記マルチスペクトルデータキューブを生成するように構成された少なくとも1つのプロセッサ
を含み、
前記マルチスペクトルデータキューブが、前記共通周波数帯に対応する第1のスペクトルチャネル、第1の特有周波数帯に対応する第2のスペクトルチャネル、および第2の特有周波数帯に対応する第3のスペクトルチャネルを含み;
前記シグナルの処理が、
少なくとも、前記共通周波数帯に対応する第1のスペクトルチャネルからの情報を利用して、第1のセンサ領域により撮影された第1の画像データと第2のセンサ領域により撮影された第2の画像データの間の視差を概算すること、ならびに
前記視差を利用して、第1のスペクトルチャネルの画像データ、第2のスペクトルチャネルの画像データおよび第3のスペクトルチャネルの画像データの位置調整を行い、マルチスペクトルデータキューブを生成することを含む、
マルチスペクトル画像システム。 - 第1のマルチバンドパスフィルタが、前記マルチスペクトル画像システムのレンズアセンブリの前面に配置されるか、前記マルチスペクトル画像システムの単レンズの前面に配置されるか、前記マルチスペクトル画像システムのレンズアセンブリの後ろに配置されるか、前記マルチスペクトル画像システムの単レンズの後ろに配置されるか、前記マルチスペクトル画像システムのレンズアセンブリの内部に配置されるか、前記マルチスペクトル画像システムの結合レンズ群の内部に配置されるか、前記マルチスペクトル画像システムの単レンズの表面上に直接配置されるか、または前記マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置される、請求項1に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのプロセッサが、前記命令に従って、少なくともスペクトルアンミキシングを行うことによって、第1のスペクトルチャネルの画像データ、第2のスペクトルチャネルの画像データおよび第3のスペクトルチャネルの画像データを生成するように構成されている、請求項1または2に記載のマルチスペクトル画像システム。
- 第1のセンサ領域および第2のセンサ領域を覆うカラーフィルタアレイをさらに含み、該カラーフィルタアレイが、カラーフィルタの繰り返しパターンを含み;
前記繰り返しパターンの第1のカラーフィルタが、前記共通周波数帯を含む第1の重み付け光波長分布を通過させるように構成されており;
前記繰り返しパターンの第2のカラーフィルタが、第1の特有周波数帯を含む第2の重み付け光波長分布を通過させるように構成されており;
前記繰り返しパターンの第3のカラーフィルタが、第2の特有周波数帯を含む第3の重み付け光波長分布を通過させるように構成されている、
請求項1~3のいずれか1項に記載のマルチスペクトル画像システム。 - 前記共通周波数帯が、紫色光、青紫色光、青色光および青緑色光の少なくとも1つを含む、請求項1~4のいずれか1項に記載のマルチスペクトル画像システム。
- 前記共通周波数帯が、380nmよりも長く450nmよりも短い波長を有する光を含む、請求項1~4のいずれか1項に記載のマルチスペクトル画像システム。
- 前記共通周波数帯が緑色光を含む、請求項1~4のいずれか1項に記載のマルチスペクトル画像システム。
- 前記共通周波数帯が赤色光を含む、請求項1~4のいずれか1項に記載のマルチスペクトル画像システム。
- 第1のマルチバンドパスフィルタおよび第2のマルチバンドパスフィルタのそれぞれが、緑色光、青緑色光および青色光の少なくとも1つを含む第2の共通周波数帯を通過させるように構成されている、請求項5~8のいずれか1項に記載のマルチスペクトル画像システム。
- 第1のマルチバンドパスフィルタおよび第2のマルチバンドパスフィルタのそれぞれが、赤色光を含む第2の共通周波数帯を通過させるように構成されている、請求項5~8のいずれか1項に記載のマルチスペクトル画像システム。
- 第1のマルチバンドパスフィルタおよび第2のマルチバンドパスフィルタのそれぞれが、前記カラーフィルタアレイのパターンを構成するカラーフィルタのうち、第1の共通周波数帯を遮断しない少なくとも1枚のカラーフィルタにより遮断されない第2の共通周波数帯を通過させるように構成されている、請求項5~8のいずれか1項に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのプロセッサが、前記命令に従って、少なくともスペクトルアンミキシングを行うことによって、撮影画像データの、前記共通周波数帯に対応する部分と第2の共通周波数帯に対応する部分を分離するように構成されている、請求項9または10に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのプロセッサが、前記命令に従って、前記マルチスペクトルデータキューブを使用して画像化組織を少なくとも分析するように構成されている、請求項1~12のいずれか1項に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのイメージセンサの第3のセンサ領域へと入射光を通過させるように配置された第3のアパーチャ;
前記少なくとも1つのイメージセンサの第4のセンサ領域へと入射光を通過させるように配置された第4のアパーチャ;
第3のアパーチャの上方に配置され、少なくとも共通周波数帯の光および第3の特有周波数帯の光を通過させるように構成された第3のマルチバンドパスフィルタ;ならびに
第4のアパーチャの上方に配置され、少なくとも前記共通周波数帯の光および第4の特有周波数帯の光を通過させるように構成された第4のマルチバンドパスフィルタ
をさらに含む、請求項1~13のいずれか1項に記載のマルチスペクトル画像システム。 - 前記少なくとも1つのイメージセンサの第5のセンサ領域へと入射光を通過させるように配置された第5のアパーチャ;および
第3のアパーチャの上方に配置された第5のマルチバンドパスフィルタ
をさらに含み、
該第5のマルチバンドパスフィルタが、第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタの少なくとも1つを通過する少なくとも1つの周波数帯の光を通過させるように構成されている、
請求項14に記載のマルチスペクトル画像システム。 - 前記少なくとも1つのイメージセンサの最大総数25個のセンサ領域へと入射光を通過させるように配置された最大総数25個のアパーチャ;および
前記最大総数25個のアパーチャのそれぞれの上方に配置された最大総数25枚のマルチバンドパスフィルタ
を含み、
各マルチバンドパスフィルタが、少なくとも共通周波数帯の光と、前記画像システム内の他のマルチバンドパスフィルタを通過しない特有周波数帯の光とを通過させるように構成されており;
通過する周波数帯の総数が、4個を超え、かつ51個未満である、
請求項1~14のいずれか1項に記載のマルチスペクトル画像システム。 - 前記少なくとも1つのイメージセンサの第3のセンサ領域へと入射光を通過させるように配置された第3のアパーチャ;および
第3のアパーチャの上方に配置された第3のマルチバンドパスフィルタ
をさらに含み、
該第3のマルチバンドパスフィルタが、第1のマルチバンドパスフィルタおよび第2のマルチバンドパスフィルタの少なくとも一方を通過する少なくとも1つの周波数帯の光を通過させるように構成されている、
請求項1~13のいずれか1項に記載のマルチスペクトル画像システム。 - 第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタが、これら全体で7個、8個、9個または10個の異なる周波数帯を通過させ、これらの異なる周波数帯に、共通周波数帯、第1の特有周波数帯、第2の特有周波数帯、第3の特有周波数帯および第4の特有周波数帯が含まれている、請求項14~16のいずれか1項に記載のマルチスペクトル画像システム。
- 第1のマルチバンドパスフィルタ、第2のマルチバンドパスフィルタ、第3のマルチバンドパスフィルタおよび第4のマルチバンドパスフィルタのそれぞれが、青色光を含む共通周波数帯、緑色光を含む追加の共通周波数帯、および2個の追加の周波数帯を通過させるように構成されている、請求項18に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのプロセッサが、前記命令に従って、前記7個、8個、9個または10個の異なる周波数帯に対応する10個のスペクトルチャネルを含むマルチスペクトルデータキューブを少なくとも生成するように構成されている、請求項18または19に記載のマルチスペクトル画像システム。
- 前記7個、8個、9個または10個の異なる周波数帯の光を発するように構成された複数の発光ダイオード(LED)を含む照明基板をさらに含み、個々のLEDが、前記7個、8個、9個または10個の異なる周波数帯のいずれかの光を発する、請求項20に記載のマルチスペクトル画像システム。
- 前記少なくとも1つのイメージセンサが、該少なくとも1つのイメージセンサのフォトダイオードの上方に配置されたカラーフィルタアレイを含み、該カラーフィルタアレイが、少なくとも2枚の異なるカラーフィルタを有する、請求項18~21のいずれか1項に記載のマルチスペクトル画像システム。
- 前記カラーフィルタアレイが、3~25枚の異なるカラーフィルタを有する、請求項22に記載のマルチスペクトル画像システム。
- 前記7個、8個、9個または10個の異なる周波数帯が、前記3枚の異なるカラーフィルタを通過する周波数帯よりも狭い周波数帯の光を含む、請求項22または23に記載のマルチスペクトル画像システム。
- 前記共通周波数帯の光、第1の特有周波数帯の光および第2の特有周波数帯の光を発するように構成された少なくとも1つの光源をさらに含む、請求項1~24のいずれか1項に記載のマルチスペクトル画像システム。
- 前記少なくとも1つの光源の上方に配置された拡散光学素子をさらに含む、請求項25に記載のマルチスペクトル画像システム。
- 少なくとも第1のマルチバンドパスフィルタが湾曲したフィルタである、請求項1~26のいずれか1項に記載のマルチスペクトル画像システム。
- 請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用してマルチスペクトルデータキューブを生成する方法であって、
第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを含む第1の露光を撮影する工程;
第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを含む第2の露光を撮影する工程;ならびに
第1の露光のシグナル/ノイズ比を低下させるため、第2の露光の使用に少なくとも部分的に基づいてマルチスペクトルデータキューブを生成する工程
を含む方法。 - 第1の露光中および第2の露光中に、各光源が全体として、共通周波数帯の光、第1の特有周波数帯の光および第2の特有周波数帯の光を発する光源群を起動する工程をさらに含む、請求項28に記載の方法。
- 第1の露光および第2の露光のそれぞれが少なくとも第4のスペクトルチャネルを含み、第1の露光および第2の露光のそれぞれに含まれるスペクトルチャネルの総数が10個以下である、請求項28または29に記載の方法。
- 環境光を使用して第3の露光を撮影する工程、ならびに
第1の露光および第2の露光から第3の露光を差し引く工程
をさらに含む、請求項28~30のいずれか1項に記載の方法。 - 第1の露光および第2の露光から第3の露光を差し引いた結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項31に記載の方法。
- 第1のスペクトルチャネルの情報に基づいて、第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の位置合わせを行う工程をさらに含む、請求項28~32のいずれか1項に記載の方法。
- 第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の位置合わせの結果に基づいて、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項33に記載の方法。
- 前記画像のそれぞれが、第1のスペクトルチャネルにおいて第1のセンサ領域により撮影された情報および第1のスペクトルチャネルにおいて第2のセンサ領域により撮影された情報を示し、
前記方法が、
前記共通周波数帯に対応する第1のスペクトルチャネルにおいて、第1のセンサ領域により撮影された画像と第2のセンサ領域により撮影された画像の間の視差を特定する工程;
前記視差を使用して、第2のスペクトルチャネルにおいて第1のセンサ領域により撮影された情報を示す第1の追加の画像を前記複数の画像に位置合わせする工程;ならびに
前記視差を使用して、第3のスペクトルチャネルにおいて第2のセンサ領域により撮影された情報を示す第2の追加の画像を前記複数の画像に位置合わせする工程
をさらに含む、請求項33または34に記載の方法。 - 各露光が、4個以上のスペクトルチャネルを含み;
前記方法が、前記視差を使用して、第4のスペクトルチャネルにおいて第3のセンサ領域により撮影された情報を示す少なくとも第3の追加の画像を前記複数の画像に位置合わせする工程をさらに含み、
前記複数の画像に位置合わせされる追加の画像の総数が、スペクトルチャネルの総数よりも1つ少ない、
請求項35に記載の方法。 - 前記マルチスペクトル画像システムが、1つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを投影するように構成された光源をさらに含み、
前記方法が、
前記光源によって、1つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の空間パターンを含む光を、少なくとも第1のアパーチャの視野内に投影する工程;および
前記光源により投影された光を利用して、追加の露光を撮影する工程
をさらに含み、
前記位置合わせが、この追加の露光に少なくとも部分的に基づく、
請求項33~36のいずれか1項に記載の方法。 - 前記光源により投影された前記光が、前記共通周波数帯の波長を有する光、広帯域照明の波長を有する光および累積的に可視可能な照明の波長を有する光のうちの少なくとも1つを含む、請求項37に記載の方法。
- 前記追加の露光が、前記画像の前記位置合わせの正確度の確認に使用される、請求項37に記載の方法。
- 前記追加の露光が、前記位置合わせの正確度を向上させるために前記視差の計算に含まれる、請求項37に記載の方法。
- 前記光源が、前記共通周波数帯、広帯域照明または累積的に可視可能な照明からの、特有の構成の、複数の点、縞模様、グリッド、斑点またはその他の空間パターンを投影する、請求項37に記載の方法。
- 前記マルチスペクトル画像システムが、前記少なくとも1つのイメージセンサの視野内の物体の形状を検出するように構成された追加のセンサをさらに含み、前記位置合わせが、この追加のセンサにより検出された形状に少なくとも部分的に基づく、請求項33~41のいずれか1項に記載の方法。
- 前記光源が、前記マルチスペクトル画像システムの複数のアパーチャの視野内に前記光を投影する、請求項33~42のいずれか1項に記載の方法。
- 第1のスペクトルチャネル、第2のスペクトルチャネルおよび第3のスペクトルチャネルを分離するために、スペクトルアンミキシングを行う工程をさらに含む、請求項28~43のいずれか1項に記載の方法。
- 各露光が、4個以上のスペクトルチャネルを含み;前記方法が、これらのスペクトルチャネルのすべてを分離するために、スペクトルアンミキシングを行う工程をさらに含む、請求項37に記載の方法。
- 前記視差を使用して、トポグラフィー情報および深さ情報の少なくとも一方を測定する工程をさらに含む、請求項35~45のいずれか1項に記載の方法。
- 前記視差を使用して、個々の画素の深さ情報を測定する、請求項46に記載の方法。
- 前記深さ情報を使用して、画像化した創傷の体積を測定する工程をさらに含む、請求項47に記載の方法。
- 非可視光を示す第4のスペクトルチャネルを少なくとも含む追加の露光を撮影する工程;および
前記追加の露光に少なくとも部分的に基づいて前記マルチスペクトルデータキューブを生成する工程
をさらに含む、請求項44または45に記載の方法。 - 前記追加の露光中に前記非可視光を発する第3の光源群を起動する工程をさらに含む、請求項49に記載の方法。
- 自動組織分析方法であって、
請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用して、画像化された組織を示すマルチスペクトルデータキューブを生成する工程;
創傷または熱傷などの組織の少なくとも1つの臨床的特徴を予測するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記画像化された組織の少なくとも1つの臨床的特徴を予測する工程
を含む方法。 - 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項51に記載の方法。
- 前記少なくとも1つの臨床的特徴が、複数の創傷状態または熱傷状態を含み、前記方法が、前記機械学習システムの前記出力を使用して、前記画像化された組織を、前記複数の創傷状態または熱傷状態の様々な種類ごとに分類した領域として示した画像を生成する工程をさらに含む、請求項51に記載の方法。
- 前記複数の熱傷状態が、少なくともI度熱傷、II度熱傷、III度熱傷または正常皮膚という種類を含むか、または前記複数の創傷状態が、少なくとも止血、炎症、増殖、リモデリングまたは正常皮膚という種類を含み、
前記方法が、前記画像化された組織を示す複数の画素のそれぞれを、I度熱傷、II度熱傷、III度熱傷または正常皮膚という種類に分類する工程をさらに含むか、または前記方法が、前記画像化された組織を示す複数の画素のそれぞれを、止血、炎症、増殖、リモデリングまたは正常皮膚という種類に分類する工程をさらに含む、
請求項53に記載の方法。 - 前記少なくとも1つの臨床的特徴が治癒可能性を含み、前記方法が、前記機械学習システムの前記出力を使用して、前記画像化された組織の様々な領域において判定された治癒可能性を視覚的に示した、前記画像化された組織の画像を生成する工程をさらに含む、請求項54に記載の方法。
- 前記少なくとも1つの臨床的特徴が、前記画像化された組織のがん状態または非がん状態を含み、前記方法が、前記画像化された組織を示す複数の画素のそれぞれを、がん状態または非がん状態として分類する工程をさらに含む、請求項51~55のいずれか1項に記載の方法。
- 前記少なくとも1つの臨床的特徴が、創傷の深さまたは体積を含み、前記方法が、前記画像化された組織における創傷の深さまたは体積を特定する情報を出力する工程をさらに含む、請求項51~56のいずれか1項に記載の方法。
- 前記少なくとも1つの臨床的特徴が、デブリードマンを行う際のマージンを含み、前記方法が、前記画像化された組織における創傷またはその周囲のデブリードマンを行う際のマージンを特定する情報を出力する工程をさらに含む、請求項51~57のいずれか1項に記載の方法。
- 前記少なくとも1つの臨床的特徴が、糖尿病性潰瘍、非糖尿病性潰瘍または慢性潰瘍を含む、請求項51~58のいずれか1項に記載の方法。
- 前記少なくとも1つの臨床的特徴が、糖尿病性足部潰瘍を含む、請求項59に記載の方法。
- 自動生体認証方法であって、
請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用して、ユーザの生体的特徴を示すマルチスペクトルデータキューブを生成する工程;
特定の生体的特徴を認証するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記ユーザを認証または拒否する工程
を含む方法。 - 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項61に記載の方法。
- 自動材料分析方法であって、
請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用して、画像化された材料を示すマルチスペクトルデータキューブを生成する工程;
1つ以上の材料特性を測定するように訓練された機械学習システムへの入力として前記マルチスペクトルデータキューブを提供する工程;および
前記機械学習システムの出力に基づいて、前記画像化された材料の1つ以上の材料特性を測定する工程
を含む方法。 - 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項63に記載の方法。
- カラーフィルタアレイを有する少なくとも1つのイメージセンサ領域を含む携帯型のマルチアパーチャイメージング装置を使用して、該カラーフィルタアレイ中のカラーフィルタの色の数よりもチャネルの数が多い画像情報を撮影する工程;および
前記画像情報を処理して、各チャネルが0nmを超えかつ約40nm以下の範囲のそれぞれ異なる周波数帯の光を示す、前記チャネル数を含むマルチスペクトルデータキューブを作成する工程
を含む方法。 - 前記携帯型のマルチアパーチャイメージング装置が、請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを含む、請求項65に記載の方法。
- 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項65または66に記載の方法。
- 請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用して、マルチスペクトルデータキューブを生成する工程;および
前記マルチスペクトル画像システムの少なくとも1つのプロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも1つの特性を測定する工程
を含む方法。 - 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項68に記載の方法。
- 請求項1~27のいずれか1項に記載のマルチスペクトル画像システムを使用して、マルチスペクトルデータキューブを生成する工程;
ネットワーク上の少なくとも1つの遠隔プロセッサに前記マルチスペクトルデータキューブを送信する工程;および
前記少なくとも1つの遠隔プロセッサを使用して、前記マルチスペクトルデータキューブを処理することによって、該マルチスペクトルデータキューブにより示される物体の少なくとも1つの特性を測定する工程
を含む方法。 - 請求項28~50のいずれか1項に記載の方法を使用して、前記マルチスペクトルデータキューブを生成する工程をさらに含む、請求項70に記載の方法。
- 前記マルチスペクトル画像システムが、たとえば5.9×7.9インチといった広範囲な組織から6秒以内に画像を取得するように構成されており、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別;または前記画像化された組織のがん状態もしくは非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で提供するように構成されている、請求項1~27のいずれか1項に記載のマルチスペクトル画像システム。
- 前記マルチスペクトル画像システムが、たとえば5.9×7.9インチといった広範囲な組織から6秒以内に画像を取得し、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別;または前記画像化された組織のがん状態または非がん状態、創傷の深さ、創傷の体積、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で出力する、請求項43~60のいずれか1項に記載の方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022188817A JP2023037629A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
JP2022188833A JP2023041063A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862780121P | 2018-12-14 | 2018-12-14 | |
US62/780,121 | 2018-12-14 | ||
US201962818375P | 2019-03-14 | 2019-03-14 | |
US62/818,375 | 2019-03-14 | ||
PCT/US2019/065818 WO2020123722A1 (en) | 2018-12-14 | 2019-12-11 | System and method for high precision multi-aperture spectral imaging |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022188833A Division JP2023041063A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
JP2022188817A Division JP2023037629A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022513847A true JP2022513847A (ja) | 2022-02-09 |
JP7186298B2 JP7186298B2 (ja) | 2022-12-08 |
Family
ID=71077492
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021533780A Active JP7186298B2 (ja) | 2018-12-14 | 2019-12-11 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
JP2022188833A Pending JP2023041063A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
JP2022188817A Pending JP2023037629A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022188833A Pending JP2023041063A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
JP2022188817A Pending JP2023037629A (ja) | 2018-12-14 | 2022-11-28 | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11631164B2 (ja) |
EP (1) | EP3899463A4 (ja) |
JP (3) | JP7186298B2 (ja) |
KR (1) | KR20210099126A (ja) |
CN (1) | CN113260835A (ja) |
BR (1) | BR112021011113A2 (ja) |
WO (1) | WO2020123722A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016069788A1 (en) | 2014-10-29 | 2016-05-06 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US20220240783A1 (en) | 2017-03-02 | 2022-08-04 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
KR20210099126A (ko) | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
EP3913341A4 (en) * | 2019-01-16 | 2022-02-23 | Panasonic Intellectual Property Management Co., Ltd. | OPTICAL FILTER, PHOTO DETECTION DEVICE AND PHOTO DETECTION SYSTEM |
CN113820012B (zh) * | 2020-06-19 | 2022-07-22 | 华为技术有限公司 | 一种多光谱图像处理方法及装置 |
DE112022003152T5 (de) * | 2021-06-18 | 2024-04-18 | Canfield Scientific, Incorporated | Multimodale Hautbildgebung |
CN117716441A (zh) * | 2021-08-03 | 2024-03-15 | 巨邦有限公司 | 使用多光谱成像和深度学习通过捕获人类舌头图像来检测胃肠道病理的系统和方法 |
CN113827234B (zh) * | 2021-11-25 | 2022-03-18 | 之江实验室 | 一种基于高光谱人脸视频的远程脉搏波重建方法 |
CN116760962B (zh) * | 2023-08-17 | 2023-10-27 | 鸥朗创想(北京)科技有限公司 | 一种获取植物4d表型的无人车及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007869A2 (en) * | 2012-06-05 | 2014-01-09 | Hypermed Imaging, Inc. | Methods and apparatus for coaxial imaging of multiple wavelengths |
EP2955496A2 (en) * | 2014-05-01 | 2015-12-16 | Rebellion Photonics, Inc. | Dual band divided aperture infrared spectral imager (daisi) for chemical detection |
WO2016088483A1 (ja) * | 2014-12-01 | 2016-06-09 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US20160349228A1 (en) * | 2015-05-29 | 2016-12-01 | Rebellion Photonics, Inc. | Hydrogen sulfide imaging system |
WO2017026296A1 (ja) * | 2015-08-10 | 2017-02-16 | 株式会社リコー | 試料測定装置 |
WO2017223206A1 (en) * | 2016-06-21 | 2017-12-28 | Sri International | Hyperspectral imaging methods and apparatuses |
WO2018160963A1 (en) * | 2017-03-02 | 2018-09-07 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
Family Cites Families (159)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4170987A (en) | 1977-11-28 | 1979-10-16 | California Institute Of Technology | Medical diagnosis system and method with multispectral imaging |
US4693255A (en) | 1985-04-22 | 1987-09-15 | Beall Harry C | Medical apparatus method for assessing the severity of certain skin traumas |
WO1991008793A1 (en) | 1989-12-14 | 1991-06-27 | Brigham And Women's Hospital | A treatment system for wounds and other disorders and a method for treating wounds and other skin disorders |
US5074306A (en) | 1990-02-22 | 1991-12-24 | The General Hospital Corporation | Measurement of burn depth in skin |
US5701902A (en) | 1994-09-14 | 1997-12-30 | Cedars-Sinai Medical Center | Spectroscopic burn injury evaluation apparatus and method |
GB9521784D0 (en) | 1995-10-24 | 1996-01-03 | Rosslyn Medical Ltd | Diagnostic apparatus |
US6081612A (en) | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
US6008889A (en) | 1997-04-16 | 1999-12-28 | Zeng; Haishan | Spectrometer system for diagnosis of skin disease |
US6058352A (en) | 1997-07-25 | 2000-05-02 | Physical Optics Corporation | Accurate tissue injury assessment using hybrid neural network analysis |
US6353753B1 (en) | 1998-05-05 | 2002-03-05 | Stephen Thomas Flock | Optical imaging of deep anatomic structures |
US6352517B1 (en) | 1998-06-02 | 2002-03-05 | Stephen Thomas Flock | Optical monitor of anatomical movement and uses thereof |
US5982497A (en) | 1998-07-09 | 1999-11-09 | Optical Insights, Llc | Multi-spectral two-dimensional imaging spectrometer |
DE19850350C1 (de) | 1998-11-02 | 2000-09-28 | Jena Optronik Gmbh | Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten |
US6381488B1 (en) | 1999-06-15 | 2002-04-30 | Sandia Corporation | Method and apparatus to measure the depth of skin burns |
US6640132B1 (en) | 1999-11-17 | 2003-10-28 | Hypermed, Inc. | Forensic hyperspectral apparatus and method |
WO2001054580A1 (en) | 2000-01-27 | 2001-08-02 | National Research Council Of Canada | Visible-near infrared spectroscopy in burn injury assessment |
US6889075B2 (en) | 2000-05-03 | 2005-05-03 | Rocky Mountain Biosystems, Inc. | Optical imaging of subsurface anatomical structures and biomolecules |
US6638668B2 (en) | 2000-05-12 | 2003-10-28 | Ocean Optics, Inc. | Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging |
EP1411824A2 (en) | 2001-07-16 | 2004-04-28 | Art Advanced Research Technologies Inc. | Multi-wavelength imaging of highly turbid media |
CN1575411A (zh) * | 2001-09-19 | 2005-02-02 | 焦耳显微系统加拿大公司 | 包含信号匹配滤波的分光计 |
US20060072109A1 (en) | 2004-09-03 | 2006-04-06 | Andrew Bodkin | Hyperspectral imaging systems |
TW512058B (en) | 2001-12-24 | 2002-12-01 | Yung-Jian Yang | Spectral analysis system for burning and scalding injuries and device used in the system |
CA2491703A1 (en) | 2002-07-09 | 2004-01-15 | Medispectra, Inc. | Methods and apparatus for characterization of tissue samples |
EP1821097A1 (en) | 2002-12-02 | 2007-08-22 | River Diagnostics B.V. | Use of high wavenumber Raman spectroscopy for measuring tissue |
WO2005002425A2 (en) | 2003-07-02 | 2005-01-13 | U.S. Government As Represented By The Secretary Of The Army | Wearable tissue viability diagnostic unit |
US7693069B2 (en) | 2003-07-28 | 2010-04-06 | Alcatel-Lucent Usa Inc. | Method, apparatus and system for improved inter-domain routing convergence |
RU2372117C2 (ru) | 2003-09-18 | 2009-11-10 | Аркюо Медикал, Инк. | Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления |
US7920908B2 (en) | 2003-10-16 | 2011-04-05 | David Hattery | Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue |
CN1875638A (zh) | 2003-11-11 | 2006-12-06 | 奥林巴斯株式会社 | 多谱图像捕捉装置 |
US7433042B1 (en) | 2003-12-05 | 2008-10-07 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
US7648808B2 (en) | 2004-01-12 | 2010-01-19 | Ocean Thin Films, Inc. | Patterned coated dichroic filter |
US8583216B2 (en) | 2004-04-27 | 2013-11-12 | University Of Utah Research Foundation | Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer |
US20070179482A1 (en) | 2004-05-07 | 2007-08-02 | Anderson Robert S | Apparatuses and methods to treat biological external tissue |
SE0402576D0 (sv) | 2004-10-25 | 2004-10-25 | Forskarpatent I Uppsala Ab | Multispectral and hyperspectral imaging |
US8548570B2 (en) | 2004-11-29 | 2013-10-01 | Hypermed Imaging, Inc. | Hyperspectral imaging of angiogenesis |
US8374682B2 (en) | 2005-04-04 | 2013-02-12 | Hypermed Imaging, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
US8224425B2 (en) | 2005-04-04 | 2012-07-17 | Hypermed Imaging, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
CN101237817B (zh) | 2004-12-28 | 2013-01-23 | 超级医药成像有限公司 | 在全身生理学和休克的判定、评估和监测中的超光谱/多光谱成像 |
US7729750B2 (en) | 2005-01-20 | 2010-06-01 | The Regents Of The University Of California | Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography |
US20060241495A1 (en) | 2005-03-23 | 2006-10-26 | Eastman Kodak Company | Wound healing monitoring and treatment |
US8971984B2 (en) | 2005-04-04 | 2015-03-03 | Hypermed Imaging, Inc. | Hyperspectral technology for assessing and treating diabetic foot and tissue disease |
US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
US8081311B2 (en) | 2005-11-04 | 2011-12-20 | General Hospital Corporation | System for multispectral imaging |
RU2477078C2 (ru) | 2006-01-05 | 2013-03-10 | Юниверсити Оф Вирджиния Пэйтент Фаундейшн | Способ, система и компьютерный программный продукт для оценки изменчивости содержания глюкозы в крови при диабете по данным самоконтроля |
JP4655991B2 (ja) | 2006-04-21 | 2011-03-23 | カシオ計算機株式会社 | 撮像装置及び電子ズーム方法と、プログラム |
JP2010503475A (ja) | 2006-09-12 | 2010-02-04 | ザ ジェネラル ホスピタル コーポレイション | 解剖学的構造における深度の評価を提供する装置、プローブ、および方法 |
US20120321759A1 (en) | 2007-01-05 | 2012-12-20 | Myskin, Inc. | Characterization of food materials by optomagnetic fingerprinting |
AU2008204997A1 (en) | 2007-01-05 | 2008-07-17 | Myskin, Inc. | System, device and method for dermal imaging |
US8639309B2 (en) | 2007-07-31 | 2014-01-28 | J&M Shuler, Inc. | Method and system for monitoring oxygenation levels of compartments and tissue |
US7879020B1 (en) | 2007-03-19 | 2011-02-01 | The United States Of America As Represented By The Secretary Of The Army | Decision-assist method for resuscitation of patients |
JP2008283442A (ja) | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
WO2009008745A2 (en) | 2007-07-06 | 2009-01-15 | Industrial Research Limited | Laser speckle imaging systems and methods |
US20090072142A1 (en) | 2007-09-14 | 2009-03-19 | Forensicare Incorporated | Scanning system and techniques for medical and/or forensic assessment using the same |
US20090118600A1 (en) | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
US8509879B2 (en) | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
US20100210931A1 (en) | 2008-04-04 | 2010-08-19 | Modulate Imaging Inc. | Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination |
CA2721941C (en) | 2008-04-21 | 2018-06-26 | Drexel University | Methods for measuring changes in optical properties of wound tissue and correlating near infrared absorption (fnir) and diffuse reflectance spectroscopy scattering (drs) with tissue neovascularization and collagen concentration to determine whether wound is healing |
WO2009135081A2 (en) | 2008-04-30 | 2009-11-05 | Board Of Regents, The University Of Texas System | Integrated patient bed system |
WO2010042253A2 (en) | 2008-04-30 | 2010-04-15 | Board Of Regents, The University Of Texas System | An apparatus and method for noninvasive evalution of a target versus a non- target |
PT2291640T (pt) | 2008-05-20 | 2019-02-26 | Univ Health Network | Dispositivo e método para imagiologia e monitorização baseados em fluorescência |
WO2009142758A1 (en) * | 2008-05-23 | 2009-11-26 | Spectral Image, Inc. | Systems and methods for hyperspectral medical imaging |
US8694266B2 (en) | 2008-06-05 | 2014-04-08 | The Regents Of The University Of Michigan | Multimodal spectroscopic systems and methods for classifying biological tissue |
US9572494B2 (en) | 2008-08-12 | 2017-02-21 | New Jersy Institute of Technology | Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues |
JP2010043979A (ja) | 2008-08-13 | 2010-02-25 | Yuichi Kamata | 分光画像計測装置 |
US8488863B2 (en) | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
US9206482B2 (en) | 2009-04-29 | 2015-12-08 | Genomedx Biosciences Inc. | Systems and methods for expression-based classification of thyroid tissue |
EP2267654A1 (en) | 2009-06-23 | 2010-12-29 | Research in Motion Limited | Adjustment of sharpness during digital zoom in digital photography |
CN101627902B (zh) | 2009-07-15 | 2011-12-28 | 深圳先进技术研究院 | 基于环境光的低功耗、高精度光电容积描记信号前端处理模块 |
US8634591B2 (en) | 2009-08-20 | 2014-01-21 | Koninklijke Philips N.V. | Method and system for image analysis |
JP5856960B2 (ja) | 2009-10-06 | 2016-02-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム |
US9220412B2 (en) | 2009-11-19 | 2015-12-29 | Modulated Imaging Inc. | Method and apparatus for analysis of turbid media via single-element detection using structured illumination |
US9823127B2 (en) | 2010-01-22 | 2017-11-21 | Duke University | Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer |
US8692912B2 (en) | 2010-01-25 | 2014-04-08 | Pixelteq, Inc. | Multi-spectral camera |
US8488024B2 (en) | 2010-02-10 | 2013-07-16 | Panasonic Corporation | Image capture device |
US8294570B2 (en) | 2010-02-24 | 2012-10-23 | Clawson Jeffrey J | Burn diagnostic and intervention tool for emergency dispatch |
EP2567340A1 (en) | 2010-05-07 | 2013-03-13 | Purdue Research Foundation | Quantitative image analysis for wound healing assay |
JP5891424B2 (ja) * | 2010-09-17 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 立体映像作成装置および立体映像作成方法 |
US20120078088A1 (en) | 2010-09-28 | 2012-03-29 | Point of Contact, LLC. | Medical image projection and tracking system |
AU2012207287B2 (en) | 2011-01-19 | 2015-12-17 | The Regents Of The University Of California | Apparatus, systems, and methods for tissue oximetry and perfusion imaging |
US8761853B2 (en) | 2011-01-20 | 2014-06-24 | Nitto Denko Corporation | Devices and methods for non-invasive optical physiological measurements |
US8994819B2 (en) | 2011-02-04 | 2015-03-31 | Raytheon Company | Integrated optical detection system |
US8694067B2 (en) | 2011-02-15 | 2014-04-08 | General Electric Company | Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject |
US9372118B1 (en) | 2011-03-07 | 2016-06-21 | Fluxdata, Inc. | Apparatus and method for multispectral based detection |
AU2012225644B2 (en) | 2011-03-07 | 2017-05-04 | Wake Forest University Health Sciences | Delivery system |
JP5704984B2 (ja) * | 2011-03-22 | 2015-04-22 | キヤノン株式会社 | 撮像装置 |
US20120288230A1 (en) | 2011-05-13 | 2012-11-15 | Kestrel Labs, Inc. | Non-Reflective Optical Connections in Laser-Based Photoplethysmography |
WO2012170963A1 (en) | 2011-06-08 | 2012-12-13 | Digital Light Innovations | System and method for hyperspectral imaging |
WO2012176106A2 (en) * | 2011-06-24 | 2012-12-27 | Kla-Tencor Corporation | Method and apparatus for inspection of light emitting semiconductor devices using photoluminescence imaging |
KR101134770B1 (ko) | 2011-07-22 | 2012-04-13 | 양완석 | 휴대용 인체외시경 영상장치 |
US8942459B2 (en) | 2011-09-12 | 2015-01-27 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and apparatus for fast identification of relevant features for classification or regression |
US9295402B1 (en) | 2012-01-17 | 2016-03-29 | University Of Washington Through Its Center For Commercialization | Methods and systems for assessing a burn injury |
WO2013110021A1 (en) | 2012-01-20 | 2013-07-25 | Harvard Bioscience, Inc. | Method for evaluating tissue injuries |
WO2013116316A1 (en) | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
WO2013160861A1 (en) | 2012-04-27 | 2013-10-31 | Aïmago S.A. | Optical coherent imaging medical device |
US9031306B2 (en) | 2012-05-02 | 2015-05-12 | The Regents Of The University Of California | Diagnostic and prognostic histopathology system using morphometric indices |
US9593982B2 (en) * | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
US9766382B2 (en) * | 2012-06-05 | 2017-09-19 | Hypermed Imaging, Inc. | Single-sensor hyperspectral imaging device |
US9036877B2 (en) | 2012-06-20 | 2015-05-19 | Xerox Corporation | Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching |
US9547178B2 (en) | 2012-08-15 | 2017-01-17 | Semrock. Inc. | Dichroic image splitter |
US9370533B2 (en) | 2012-09-13 | 2016-06-21 | Polyheal Ltd. | Wound healing compositions comprising microspheres |
US8892192B2 (en) | 2012-11-07 | 2014-11-18 | Modulated Imaging, Inc. | Efficient modulated imaging |
EP2943761B1 (en) | 2013-01-10 | 2023-11-29 | Akoya Biosciences, Inc. | Multispectral imaging system and methods |
US20140213910A1 (en) | 2013-01-25 | 2014-07-31 | The Regents Of The University Of California | Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination |
CN103973957B (zh) * | 2013-01-29 | 2018-07-06 | 上海八运水科技发展有限公司 | 双目3d相机自动调焦系统及方法 |
CA3053060C (en) | 2013-01-31 | 2022-04-19 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
US11653874B2 (en) | 2013-02-01 | 2023-05-23 | Acceleritas Corporation | Method and system for characterizing tissue in three dimensions using multimode optical measurements |
CN105143448A (zh) | 2013-02-01 | 2015-12-09 | 丹尼尔·法卡斯 | 用于使用多模式光学测量三维地表征组织的方法和系统 |
GB201302451D0 (en) | 2013-02-12 | 2013-03-27 | Isis Innovation | Method and system for signal analysis |
AU2014224230A1 (en) | 2013-03-06 | 2015-09-24 | Marika Pty Ltd | Assessing optical density gradients and variations |
WO2014143235A1 (en) | 2013-03-14 | 2014-09-18 | Integrated Plasmonics Corporation | Ambient light assisted spectroscopy |
SG11201601019TA (en) | 2013-08-14 | 2016-03-30 | Univ Nanyang Tech | Systems and methods for revascularization assessment |
WO2015057922A1 (en) * | 2013-10-16 | 2015-04-23 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Multispectral imaging based on computational imaging and a narrow-band absorptive filter array |
CN103815875B (zh) | 2013-10-28 | 2015-06-03 | 重庆西南医院 | 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统 |
WO2015066297A1 (en) | 2013-10-30 | 2015-05-07 | Worcester Polytechnic Institute | System and method for assessing wound |
US10258242B2 (en) * | 2014-01-06 | 2019-04-16 | The Florida International University Board Of Trustees | Near-infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features |
US20150208923A1 (en) | 2014-01-28 | 2015-07-30 | The Texas A&M University System | Non-Invasive Monitoring of Tissue Mechanical Properties |
WO2015116823A1 (en) | 2014-01-29 | 2015-08-06 | The Johns Hopkins University | System and method for wound imaging and debridement |
US9560972B2 (en) * | 2014-02-07 | 2017-02-07 | Santec Corporation | Self-operated health monitoring device |
DE102014002514B4 (de) * | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
US9648254B2 (en) | 2014-03-21 | 2017-05-09 | Hypermed Imaging, Inc. | Compact light sensor |
DE102014106974A1 (de) | 2014-05-16 | 2015-11-19 | Cubert GmbH | Räumlich und spektral auflösende Hyperspektralkamera und Verfahren |
EP3151735A4 (en) | 2014-06-04 | 2018-02-07 | University of Massachusetts Medical School | Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation |
CA2955976A1 (en) | 2014-07-24 | 2016-01-28 | University Health Network | Collection and analysis of data for diagnostic purposes |
WO2016057633A1 (en) | 2014-10-08 | 2016-04-14 | Revealix, Inc. | Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly |
US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
WO2016069788A1 (en) | 2014-10-29 | 2016-05-06 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
WO2017074505A1 (en) | 2015-10-28 | 2017-05-04 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US20220142484A1 (en) | 2014-10-29 | 2022-05-12 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
JP6654634B2 (ja) * | 2014-12-03 | 2020-02-26 | ベンタナ メディカル システムズ, インコーポレイテッド | 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置 |
US9990472B2 (en) | 2015-03-23 | 2018-06-05 | Ohio State Innovation Foundation | System and method for segmentation and automated measurement of chronic wound images |
US11037070B2 (en) | 2015-04-29 | 2021-06-15 | Siemens Healthcare Gmbh | Diagnostic test planning using machine learning techniques |
MX2017016357A (es) * | 2015-06-15 | 2018-12-06 | Agrowing Ltd | Aparato para formacion de imagenes multiespectrales. |
EP3334436A4 (en) | 2015-08-13 | 2019-05-29 | SomaGenics Inc. | PROCESSES AND COMPOSITIONS OF SHORT-SMALL-HAIRPIN-RNAS AND MICRO-RNAS FOR WOUND HEALING |
US10921186B2 (en) | 2015-09-22 | 2021-02-16 | Hypermed Imaging, Inc. | Methods and apparatus for imaging discrete wavelength bands using a mobile device |
EP3352670B1 (en) | 2015-09-23 | 2024-05-08 | Stryker European Operations Limited | Method and system for assessing healing of tissue |
NL2015804B1 (en) | 2015-11-17 | 2017-06-02 | Quest Photonic Devices B V | Hyperspectral 2D imaging device. |
US10572997B2 (en) * | 2015-12-18 | 2020-02-25 | Given Imaging Ltd. | System and method for detecting anomalies in an image captured in-vivo using color histogram association |
WO2017181200A1 (en) | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Assessment of wound status and tissue viability via analysis of spatially resolved thz reflectometry maps |
GB2550582B (en) | 2016-05-23 | 2020-07-15 | Bluedrop Medical Ltd | A skin inspection device identifying abnormalities |
JP6585006B2 (ja) * | 2016-06-07 | 2019-10-02 | 株式会社東芝 | 撮影装置および車両 |
US10013811B2 (en) | 2016-06-13 | 2018-07-03 | Umm-Al-Qura University | Hyperspectral image visualization in patients with medical conditions |
WO2018018160A1 (en) | 2016-07-29 | 2018-02-01 | Novadaq Technologies ULC | Methods and systems for characterizing tissue of a subject utilizing machine learning |
US10223788B2 (en) | 2016-08-31 | 2019-03-05 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
US10248713B2 (en) | 2016-11-30 | 2019-04-02 | Business Objects Software Ltd. | Time series analysis using a clustering based symbolic representation |
EP3555580B1 (en) * | 2016-12-27 | 2023-12-06 | Urugus S.A. | Hyper-spectral imaging when observed object is still |
US10145740B2 (en) * | 2017-02-27 | 2018-12-04 | Visera Technologies Company Limited | Sensing multiple peak wavelengths using combination of dual-band filters |
US10806334B2 (en) | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
US11003933B2 (en) * | 2017-08-15 | 2021-05-11 | Noblis, Inc. | Multispectral anomaly detection |
AU2017415626B2 (en) | 2017-10-17 | 2020-08-06 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
CA3076483A1 (en) * | 2017-11-16 | 2019-05-23 | MultiSensor Scientific, Inc. | Systems and methods for multispectral imaging and gas detection using a scanning illuminator and optical sensor |
CN108053482A (zh) * | 2018-02-05 | 2018-05-18 | 喻强 | 一种基于手机扫描的人体3d建模方法 |
US20190290117A1 (en) | 2018-03-22 | 2019-09-26 | Kabushiki Kaisha Topcon | Interferometric fundus imaging method |
EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
KR20210099126A (ko) * | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
CN115426939A (zh) | 2020-02-28 | 2022-12-02 | 光谱Md公司 | 用于伤口的评估、愈合预测和治疗的机器学习系统和方法 |
WO2022015597A1 (en) | 2020-07-13 | 2022-01-20 | Spectral Md, Inc. | Spectral imaging systems and methods for histological assessment of wounds |
WO2022212413A1 (en) | 2021-03-30 | 2022-10-06 | Spectral Md, Inc. | System and method for high precision snapshot multi-spectral imaging based on multiplexed illumination |
-
2019
- 2019-12-11 KR KR1020217021579A patent/KR20210099126A/ko not_active Application Discontinuation
- 2019-12-11 JP JP2021533780A patent/JP7186298B2/ja active Active
- 2019-12-11 EP EP19895125.3A patent/EP3899463A4/en active Pending
- 2019-12-11 CN CN201980087508.0A patent/CN113260835A/zh active Pending
- 2019-12-11 BR BR112021011113-1A patent/BR112021011113A2/pt unknown
- 2019-12-11 WO PCT/US2019/065818 patent/WO2020123722A1/en unknown
-
2021
- 2021-11-19 US US17/455,856 patent/US11631164B2/en active Active
-
2022
- 2022-11-28 JP JP2022188833A patent/JP2023041063A/ja active Pending
- 2022-11-28 JP JP2022188817A patent/JP2023037629A/ja active Pending
-
2023
- 2023-03-06 US US18/178,875 patent/US20230206413A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007869A2 (en) * | 2012-06-05 | 2014-01-09 | Hypermed Imaging, Inc. | Methods and apparatus for coaxial imaging of multiple wavelengths |
US20150051498A1 (en) * | 2012-06-05 | 2015-02-19 | Hypermed Imaging, Inc. | Methods and apparatus for coaxial imaging of multiple wavelengths |
EP2955496A2 (en) * | 2014-05-01 | 2015-12-16 | Rebellion Photonics, Inc. | Dual band divided aperture infrared spectral imager (daisi) for chemical detection |
WO2016088483A1 (ja) * | 2014-12-01 | 2016-06-09 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US20160349228A1 (en) * | 2015-05-29 | 2016-12-01 | Rebellion Photonics, Inc. | Hydrogen sulfide imaging system |
WO2017026296A1 (ja) * | 2015-08-10 | 2017-02-16 | 株式会社リコー | 試料測定装置 |
WO2017223206A1 (en) * | 2016-06-21 | 2017-12-28 | Sri International | Hyperspectral imaging methods and apparatuses |
WO2018160963A1 (en) * | 2017-03-02 | 2018-09-07 | Spectral Md, Inc. | Machine learning systems and techniques for multispectral amputation site analysis |
Also Published As
Publication number | Publication date |
---|---|
US20230206413A1 (en) | 2023-06-29 |
WO2020123722A1 (en) | 2020-06-18 |
JP2023037629A (ja) | 2023-03-15 |
CN113260835A (zh) | 2021-08-13 |
BR112021011113A2 (pt) | 2021-08-31 |
EP3899463A4 (en) | 2022-12-21 |
KR20210099126A (ko) | 2021-08-11 |
US11631164B2 (en) | 2023-04-18 |
EP3899463A1 (en) | 2021-10-27 |
JP7186298B2 (ja) | 2022-12-08 |
US20220156903A1 (en) | 2022-05-19 |
JP2023041063A (ja) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7261883B2 (ja) | 創傷の評価、治癒予測および治療のための機械学習システム | |
US11182888B2 (en) | System and method for high precision multi-aperture spectral imaging | |
JP7186298B2 (ja) | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 | |
US11599998B2 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
US20230148951A1 (en) | Spectral imaging systems and methods for histological assessment of wounds | |
US20230181042A1 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
US10448836B2 (en) | Methods and apparatus for coaxial imaging of multiple wavelengths | |
US20240048823A1 (en) | System and method for high precision snapshot multi-spectral imaging based on multiplexed illumination | |
US11686618B2 (en) | Hyperspectral imaging method and device | |
WO2023141216A2 (en) | System and method for topological characterization of tissue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |