CN112005312A - 伤口成像和分析 - Google Patents
伤口成像和分析 Download PDFInfo
- Publication number
- CN112005312A CN112005312A CN201980011067.6A CN201980011067A CN112005312A CN 112005312 A CN112005312 A CN 112005312A CN 201980011067 A CN201980011067 A CN 201980011067A CN 112005312 A CN112005312 A CN 112005312A
- Authority
- CN
- China
- Prior art keywords
- wound
- image
- interest
- images
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 92
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 230000001580 bacterial effect Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000005284 excitation Effects 0.000 claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 208000027418 Wounds and injury Diseases 0.000 claims description 294
- 206010052428 Wound Diseases 0.000 claims description 290
- 238000000034 method Methods 0.000 claims description 98
- 210000001519 tissue Anatomy 0.000 claims description 63
- 239000002131 composite material Substances 0.000 claims description 31
- 206010028980 Neoplasm Diseases 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 13
- 230000003628 erosive effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 102000008186 Collagen Human genes 0.000 claims description 10
- 108010035532 Collagen Proteins 0.000 claims description 10
- 210000004369 blood Anatomy 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 10
- 229920001436 collagen Polymers 0.000 claims description 10
- 210000002808 connective tissue Anatomy 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 230000001413 cellular effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 5
- 230000017074 necrotic cell death Effects 0.000 claims description 5
- 230000035755 proliferation Effects 0.000 claims description 5
- 238000001574 biopsy Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 claims 5
- 208000034309 Bacterial disease carrier Diseases 0.000 claims 1
- 230000004075 alteration Effects 0.000 claims 1
- 241000894006 Bacteria Species 0.000 description 39
- 238000001514 detection method Methods 0.000 description 24
- 230000000873 masking effect Effects 0.000 description 17
- 238000005286 illumination Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 208000015181 infectious disease Diseases 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006378 damage Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000000799 fluorescence microscopy Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 102000016942 Elastin Human genes 0.000 description 5
- 108010014258 Elastin Proteins 0.000 description 5
- 241000589517 Pseudomonas aeruginosa Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 229920002549 elastin Polymers 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000035876 healing Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 208000002847 Surgical Wound Diseases 0.000 description 3
- 208000025865 Ulcer Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 210000000416 exudates and transudate Anatomy 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 238000001506 fluorescence spectroscopy Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 231100000397 ulcer Toxicity 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000194033 Enterococcus Species 0.000 description 2
- 241000233866 Fungi Species 0.000 description 2
- 241000589516 Pseudomonas Species 0.000 description 2
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 2
- 241000191967 Staphylococcus aureus Species 0.000 description 2
- 206010048038 Wound infection Diseases 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036074 healthy skin Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 241000588914 Enterobacter Species 0.000 description 1
- 241000588724 Escherichia coli Species 0.000 description 1
- 206010063560 Excessive granulation tissue Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 241000588747 Klebsiella pneumoniae Species 0.000 description 1
- 241000588769 Proteus <enterobacteria> Species 0.000 description 1
- 241000191940 Staphylococcus Species 0.000 description 1
- 241000194017 Streptococcus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000011825 aerospace material Substances 0.000 description 1
- 238000011203 antimicrobial therapy Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000005515 coenzyme Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012774 diagnostic algorithm Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000001126 granulation tissue Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000004797 therapeutic response Effects 0.000 description 1
- 230000007838 tissue remodeling Effects 0.000 description 1
- 239000012859 tissue stain Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000029663 wound healing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dermatology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
给定本文进一步描述的特定成像装置和系统,伤口的伤口特性在伤口经受已知波长或波长范围的激励光时,以独特光谱标志发出荧光。从其捕获的图像经受图像的像素的分析,其中,在其上标记有已知伤口大小和特性的多个训练图像被用于生成训练数据,该训练数据随后被用于实时地从测试图像中识别伤口特性。伤口大小、边界、细菌存在、以及其他特性可以被量化,并以图形方式表示为原始伤口图像上的叠加物以及与伤口有关的文档。
Description
本申请要求于2018年2月2日提交的美国临时申请号62/625,611的优先权的权益,其全部内容通过引用并入本文。
技术领域
公开了一种基于荧光的成像和监测的装置和方法。具体地,该装置和方法可适于针对人类和动物应用两者,诸如在伤口评估和伤口护理管理中监测生化和/或生物和非生物的物质。
背景技术
伤口护理是主要的临床挑战。愈合和慢性不愈合伤口与许多生物组织改变相关,该生物组织改变包括炎症、坏死、渗出物的产生、出血、增殖、结缔组织重塑、以及常见的主要问题,细菌存在、生长、及感染。伤口感染中的一部分在临床上并不明显,并且会导致增加与(尤其是在老年人群中的)伤口护理相关的个人、情感、及经济的负担。例如,绿脓杆菌和金黄色葡萄球菌是在医院环境中流行的细菌属,并且是细菌感染的常见原因。目前,伤口评估的临床黄金标准包括针对感染的经典体征和症状,在白光照射下直接视觉检查伤口部位。这通常与拭子培养或组织活检样本相结合以用于实验室检测。
然而,这些结果通常是延迟的、昂贵的,并且会产生不敏感的细菌结果。这可能影响治疗的时机和有效性。定量和主观的视觉评估仅提供伤口部位的全视图(gross view),但不提供与在组织和细胞水平上发生的潜在的生物、生化和分子变化相关的信息。此外,细菌是肉眼看不见的,从而导致伤口取样不理想,并且无法适当跟踪伤口部位的细菌生长的变化。这可能阻碍愈合和及时选择最佳的抗微生物治疗。在临床伤口管理中期望一种相对简单和互补的方法,其利用生物和分子信息以提高对伤口部位的这种隐性变化的早期识别。高风险伤口(例如,包含临床上显著的细菌存在或“负荷”)的早期辨别可促进早期治疗、指导治疗干预、并提供随时间的治疗反应监测,从而极大降低特别是由于慢性伤口引起的发病率和死亡率。
发明内容
本公开通过呈现装置、系统、以及计算机实现的方法来解决上面识别的问题,该装置、系统、以及计算机实现的方法实时识别指示伤口特性及其变化的光谱波长标志和其它信息、对所识别的信息执行分析、以及将结果输出至伤口监测装置或系统的用户。伤口特性包括伤口大小、伤口边界、伤口深度、伤口温度、组织和细胞伤口成分的变化、血管化、坏死、以及其中的细菌存在。所识别的其它特性包括诸如癌组织(例如乳腺癌手术的肿块切除)的被切除组织的特性。在与被切除组织一起使用时,该装置和方法可用于识别诸如组织成分、肿瘤大小、肿瘤边缘、肿瘤边界、以及组织血管化的特性。
在一个示例性实施例中,本公开提供了一种用于伤口分析的计算机实现的方法,该计算机实现的方法存储在计算机可读介质上并包括逻辑指令,逻辑指令由处理器执行以执行操作,该操作包括:接收伤口的图像,该图像包括多个像素;至少基于对多个像素应用色度掩模来确定图像中的至少一个感兴趣区域,该色度掩模基于像素值的直方图;确定至少一个感兴趣区域的一个或多个轮廓;并且生成包括叠加在图像上的一个或多个轮廓的输出图像。感兴趣区域包括一个或多个伤口特性。
在另一示例性实施例中,本公开提供了一种系统,包括:成像装置;处理器,耦接到成像装置;以及存储器,耦接到处理器。存储器可以被配置成存储计算机可读指令,计算机可读指令在被处理器执行时,使处理器执行以下操作,包括:使用成像装置获取伤口的图像,该图像包括多个像素;对多个像素应用色度掩模,该色度掩模基于像素值的直方图;基于色度掩模的应用生成二值掩模,该二值掩模识别图像上的至少一个感兴趣区域;检测至少一个感兴趣区域的一个或多个轮廓以定义感兴趣区域;将一个或多个轮廓叠加在图像上以形成识别至少一个感兴趣区域的合成图像;并且将合成图像实时输出至成像装置的用户,以及以原始或压缩格式保存图像。
在又一示例性实施例中,本公开提供了一种有形的非瞬时性计算机可读介质,用于存储计算机可读代码,该计算机可读代码由处理器执行以执行操作,该操作包括:获取多个红色、绿色、以及蓝色(RGB)图像;利用计算机界面在多个图像中的每一个上标记已知的感兴趣区域,该已知的感兴趣区域包括细菌存在、伤口边界、胶原增殖、以及伤口大小中的至少一项;将多个RGB图像中的每一个转换为替代颜色空间。颜色空间的非限制性示例包括:用在计算机视觉应用中的CIELAB颜色空间、色调饱和度明度(HSV)、色调饱和度亮度(HSL)、色调饱和度暗度(HSD)、亮度色度色调(LCH)、CMYK、圆柱变换、亮度加色度/色度、YCbCr:https://en.wikipedia.org/wiki/YCbCr、LUV:https://en.wikipedia.orq/wiki/ CIELUV、XYZ:https://en.wikipedia.org/wiki/CIE 1931 color space、YUV:https:// en.wikipedia.org/wiki/YUV、孟塞尔色系、自然色系(NCS)、彩通配色系统(PMS)、RAL、航空航天材料规范-标准595A(取代(美国)联邦标准595C)、(美国)联邦标准595C(Archive.org)、英国标准颜色(BS)381C、BS2660、BS5252和BS4800、LMS颜色空间(长、中、短)、基于眼睛的视网膜中视锥的响应函数的感知颜色空间、以及rg色度空间。在将图像转换到替代颜色空间之后,操作包括:针对多个RGB图像中的每一个确定替代颜色空间中的值的直方图,值的直方图识别已知感兴趣区域中的每一个的独特光谱标志,并且基于多个RGB图像中的每一个的替代颜色空间中的值的直方图来生成合成直方图。合成直方图用于基于一个或多个独特光谱标志使用伤口成像装置实时地从至少一个伤口图像中识别未知的感兴趣区域。
在又一个示例性实施例中,本公开提供了一种包括处理器和耦接到处理器的存储器的系统。存储器可以被配置成存储计算机可读指令,计算机可读指令在被处理器执行时,使处理器执行操作,该操作包括:接收伤口的图像,该图像包括多个像素;将色度掩模应用于多个像素,该色度掩模基于像素值的直方图并识别图像上的至少一个感兴趣区域;检测围绕至少一个感兴趣区域的一个或多个轮廓;将一个或多个轮廓叠加在图像上以形成识别至少一个感兴趣区域的合成图像;在耦接到处理器的显示装置上输出合成图像以及以原始或压缩格式保存图像。
附加的目的和优点将部分地在下面的描述中阐述,并且部分地将从描述中显而易见,或者可以通过实践本教导来学习。本公开的目的和优点将通过在所附权利要求中具体地指出的元素和组合来实现和获得。应当理解,前面的总体描述和下面的详细描述都仅是示例性和解释性的,而不是对所要求保护的主题的限制。结合在本说明书中并构成本说明书的部分的附图示出了本公开的示例性实施例,并且该附图以及描述用于解释本公开的原理。
附图说明
从与本教导一致的示例性实施例的以下详细描述中,本教导的至少一些特征和优点将是显而易见的,本教导的描述应当参考附图来考虑,其中:
图1描绘用于伤口成像和分析的示例性方法。
图2A至图2C描绘用于伤口成像、分析、以及伤口成像分析和文档的输出的示例性装置的示意图。
图3描绘用于伤口成像、分析、以及伤口文档的输出的示例性系统。
图4A至图4D描绘用于训练图像的示例性直方图。
图5A至图5D描绘用于多个训练图像的示例性合成直方图。
图6描绘用于色度掩模的示例性方法。
图7描绘用于轮廓检测的示例性方法。
图8描绘用于图像修复、分析、以及伤口文档的输出的示例性方法。
图9A至图9B描绘伤口成像和分析操作的示例性输出图像。
图10描绘用于伤口图像的颜色分析的示例性方法。
图11描绘经由示例性用户界面的示例性输出图像和伤口图像的文档。
图12A至图12C描绘具有用户定义的边界以及基于其确定的前景和背景区域的伤口的示例性图像。
图13A至图13B描绘用于识别伤口图像中的贴纸的示例性方法及其图示。
尽管下面的详细描述参考了示例性说明性实施例,但是对于本领域技术人员来说,其许多替代、修改、以及变化将是显而易见的。因此,旨在广义地看待所要求保护的主题。
具体实施方式
现在将详细参考其示例在附图中示出的各种示例性实施例。各种示例性实施例不旨在限制本公开。相反,本公开旨在覆盖示例性实施例的替代、修改、以及等同物。在附图和描述中,类似的元件设置有类似的附图标记。应当注意,在描述中单独解释的特征可以以任何技术上有利的方式相互组合,并且公开了本公开的附加实施例。
本公开提供了装置、系统、以及计算机实现的方法,该装置、系统、以及计算机实现的方法实时识别指示伤口特性及其变化的光谱标志和其它信息、对所识别的信息执行分析、并将结果输出至伤口监测装置或系统的用户或操作者。伤口特性可以包括例如伤口大小、伤口边界、伤口深度、组织和细胞伤口成分的变化、血管化、坏死、伤口温度、以及伤口温度的变化,以及细菌的存在、分布和负荷。尽管本文描述的是关于伤口的使用,但本文公开的装置和方法也可以用于识别诸如癌组织(例如,用于乳腺癌手术的肿块切除)的被切除组织的特性。在与被切除组织一起使用时,例如,装置和方法可以用于识别诸如组织成分、肿瘤大小、肿瘤边缘、肿瘤边界、以及组织血管化的特性。
本文描述的示例性伤口监测装置包括手持/便携式光学数字成像装置,其具有附接到其上的特定激励光源和光学带通滤波器。使用本文进一步描述的成像装置和系统,可以对伤口中的成分由于暴露于激励光而产生的荧光进行成像和分析。例如,在具有例如由绿脓杆菌或由于包含绿脓杆菌而引起的细菌存在的伤口中,当经受激励光时,绿脓杆菌以特定的光谱标志(spectral signature)发出荧光(即,具有已知峰值的一个或多个波长带)。激励光可以包括具有已知波长的任何光或者具有已知峰值的波长的范围的任何光,该已知峰值诸如是在405nm处的峰值。捕获和分析该数据允许识别普遍存在的细菌、并且还识别存在的特定类型的细菌。为了识别、分类、以及量化细菌存在以及伤口的附加特性,装置和系统都要经过训练。
使用来自多个训练图像的光谱信息和伤口大小信息以生成训练数据,该多个训练图像标记有伤口大小和细菌存在和/或负荷。训练数据随后被应用于在逐像素的基础上对新伤口的图像的实时分析,从而能够识别伤口特性。伤口边界、细菌存在、以及其他伤口特性可以被量化,并且被图形化地表示为伤口和周围健康组织的白光图像上的叠加物。此外,特定类型的细菌(例如,绿脓杆菌)和/或其它伤口特性可以被识别、量化、并突出显示,或者以其他方式被指示或叠加在伤口的图像上或随着时间推移而获得的伤口的图像上。可以识别其它特性,诸如被切除组织的特性,该被切除组织诸如是癌组织(例如乳腺癌手术的肿块切除),特性诸如是组织成分、肿瘤大小、肿瘤边缘、肿瘤边界、以及组织血管化。为了本公开的目的,“实时”操作指的是与伤口成像装置或系统的使用同时发生的几乎瞬时的处理。例如,使用本文描述的装置或系统获取患者的伤口图像的用户在相同装置的显示器上或者通信地耦接到成像装置的显示器上被提供有分析结果。伤口分析结果在不必执行任何附加步骤并且不必等待处理时段的情况下可以实时输出,或者(即,根据用户的命令)接近实时地输出。此外,伤口分析结果可以被数字存储以用于未来访问或被打印为临床文件程序的部分。为了本公开的目的,术语“图像”可指伤口的任何表示,这些表示包括原始像素数据或信息、或者在诸如本文所述的相机的光传感器处接收到的任何输入。此外,可以对随时间推移或快速连续而捕获的一系列图像(包括视频的帧)执行本文描述的分析。这些操作和附加操作相对于以下图1至图13所示的实施例进一步描述。
图1描绘用于伤口成像和分析的示例性方法。进一步参考图2至图3描述用于执行图1的方法的包括装置和系统的部件。然而,应当注意,伴随对鉴于本公开的本领域普通技术人员显而易见的必要的调整,图1中描述的操作可以由任何装置或系统执行。在操作101处,基于其上标记有已知的感兴趣区域的训练图像来生成直方图。该步骤包括收集或获取临床伤口图像或临床组织标本(例如,被切除组织或病理组织标本)的数据库。图像可以使用用于伤口的实时成像的相同装置/系统部件来获取,或者至少使用诸如激励(或照射)光类型和频率、滤波器等的公共成像条件来获取。进一步,为了本公开的目的,伤口图像或视频的帧描绘了一个或多个伤口、周围组织表面及其特性。例如,伤口可包括对生物体的表面的任何损伤或损坏(诸如切割、烧伤、刮伤、手术切口、手术腔、溃疡等)。伤口可暴露皮肤下面的包括血液、结缔组织、脂肪组织、神经、肌肉、骨等的区域。因此,能够被分析的伤口的示例性特性包括伤口的大小、伤口的深度和/或体积(包括手术腔的深度和/或体积)、伤口的边缘(边界)、不同类型的细菌和其它生物体的存在和数量、结缔组织(例如胶原和弹性蛋白、渗出物、血液、骨等)的数量,这些伤口的特性基于它们如何吸收、散射、反射白光和/或发射由于本征荧光(自体荧光发射)和来自旨在检测伤口成分的外源造影剂(exogenouscontrast agent)的荧光而引起的荧光而被检测。被切除组织样本的能够被分析的示例性特性包括肿瘤的大小(可通过FL肿瘤感知/可视化的任何肿瘤可以被部分掩埋、暴露于表面、完全切除或剖切)、伤口中的肿瘤的边缘(边界)、结缔组织的量(例如胶原和弹性蛋白、脂肪、以及血液),这些伤口特性基于它们如何吸收、散射、反射白光和/或发射由于本征荧光(自体荧光发射)和来自旨在检测包括肿瘤的组织成分的外源造影剂的荧光而引起的荧光而被检测。可以在2018年2月3日提交的题为“Devices,Systems,and Methods for TumorVisualization and Removal”的美国临时专利申请号62/625,983中找到用于使肿瘤发荧光以便能够使用本文公开的方法和装置的示例性方法,该申请的全部内容通过引用并入本文。
因此,由具有与这些特性相关的先验知识的专家(诸如医学专业人员/临床医生/科学家/技术人员)用特定的感兴趣区域标记训练图像。感兴趣区域可以指示诸如伤口边界/边缘的一般区域,或者特定区域,诸如包含特定类型细菌或其它生物体的存在、伤口内或伤口中感兴趣区域内的细菌/生物体的数量或“负荷”的区域,或已知包含感兴趣的另一伤口特性的区域。细菌存在、菌落和/或其负荷的先验知识可以基于对特定细菌菌株具有阳性结果的拭子和/或组织活检分析。因此,可以获取每种类型的感兴趣区域的图像并根据目标特性或信息(包括已知细菌类型和数量或浓度的存在)单独地进行分类。
继续操作101,然后处理和分析“标记”图像的像素信息以生成直方图。根据正在执行的分析类型(伤口大小相对于细菌负荷或任何其它目标信息以及其随时间推移的变化),直方图可以包括白光和/或荧光数据、RGB颜色数据、以及其它基于像素的图像信息/值。参考图4A至图4D和图5A至图5D进一步描述示例性直方图。通常,直方图基于像素的光谱标志将像素数据定为与感兴趣区域外的像素数据形成对比的在预定义的感兴趣区域内的目标并分类。此外,训练(标记)图像可以包括相同伤口但是具有不同的饱和度/色调/强度值以及在变化的照明条件下的多个图像,以便增强直方图。这样的多个训练图像可用于基于每个训练图像的直方图的组合来生成第一合成直方图。第一合成直方图使得能够针对特定特性区分感兴趣区域与不感兴趣区域,并且根据目标特性对区域进行分类。可以基于多个第一合成直方图生成第二合成直方图。第二合成直方图可用于检测测试图像中的多个不同的目标特性、或跨多个测试图像的类似目标特性。
每个直方图包括随后用于对新图像的实时处理的多个参数,在新图像中感兴趣区域的先验知识不可用。参数可以存储为电子表格、查找表、或本领域已知的其它结构。最终,并且如本文进一步所描述,实时处理操作包括输出经处理的图像,该图像包括突出显示的感兴趣区域以及量化的诸如细菌负荷或伤口大小等的生物和/或非生物数据。
在操作102处,操作102基本上在训练操作101之后的任何点,扫描测试图像以进行实时分析。可以使用耦接到本文描述的分析模块的成像硬件来实时获取测试图像。可替代或附加地,测试图像可以从所述成像硬件中获取并被发送到执行所公开的操作的计算机。可替代或附加地,测试图像可以从诸如数据库或网络的外部源获取。通常,最初使用RGB相机或传感器获取测试图像,从而得到RGB原始图像。用于获取各种格式的图像的其它系统也是可以的。例如,当被短波长光(例如,紫外或短可见的波长)激励或用单色光照射时,组织(例如,诸如胶原和弹性蛋白的结缔组织、代谢辅酶、蛋白质等)的大多数内源性生物成分产生例如在紫外、可见、近红外、以及红外波长范围内的较长波长的荧光。组织自体荧光成像提供了独特的手段来实时地和随时间推移获得正常组织与病变组织之间的生物相关信息和其中的变化。生物相关信息包括例如细菌的存在、细菌的存在中的变化、组织组成的变化、以及其他可使正常组织与病变组织状态之间得以区分的因素。这部分地基于在体组织(bulk tissue)和细胞水平上发生的固有的不同的光-组织相互作用(例如,光的吸收和散射)、组织形态的改变、以及组织的血液含量的变化。在组织中,血液是主要的光吸收组织成分(即,生色团)。这种类型的技术适合于对中空器官(例如,Gl道、口腔、肺、膀胱)或暴露的组织表面(例如,皮肤)中的疾病进行成像。因此,自体荧光成像装置可用于快速、非侵入性且非接触性的伤口实时成像,以检测和利用伤口的丰富生物信息,从而克服当前的限制并改善临床护理和管理。参考图2和图3进一步描述示例性成像装置和系统。可具体用于手术腔、中空器官、以及被切除组织标本的示例性装置也公开在2018年2月3日提交的题为“Devices,Systems,and Methods for Tumor Visualization and Removal”的美国临时专利申请号62/625,983中,其全部内容通过引用并入本文。
在操作103处,对在操作102处获取的图像执行色度掩蔽。色度掩蔽使能够基于区域的光谱标志来识别图像中的每一个像素是在被定义为感兴趣区域的区域内还是在感兴趣区域外。光谱标志可以基于来自在训练操作101期间生成的合成直方图的训练图像像素的可选颜色空间值。因此,可以在逐像素的基础上执行色度掩蔽,并且依赖于这种总体假设:如果一像素附近的其他像素也在感兴趣区域中,则该像素处于感兴趣区域的概率更高。色度掩蔽操作的输出是识别像素的“斑点”的或相对均匀区域的二值掩模。一些斑点可能是感兴趣的,而另一些可能是不感兴趣的;因此,执行附加的过滤操作作为色度掩蔽操作103的一部分,诸如过滤零星的离群像素(侵蚀),以及朝向像素簇偏移(膨胀)。参照图6进一步详细地描述色度掩蔽操作。
在操作104处,对在操作103中生成的掩模执行轮廓检测。轮廓检测应用于寻找包围从掩模中检测到的每一个斑点的包络。这使得能够对感兴趣区域进行随后的枚举,并基于所述枚举对感兴趣区域进行排序。轮廓检测也需要经受附加的诸如丢弃低于特定区域阈值的斑点、或者根据大小选取最高的2-3个。参考图7进一步详细地描述用于轮廓检测的一个示例性方法。参照图12A至图12C进一步详细地描述用于轮廓检测的另一示例性方法。
在操作105处,对在操作104中检测到的轮廓执行修复和分析。修复和分析可进一步基于在训练操作101期间收集到的像素数据的数据库,以便识别特定组织(诸如感兴趣区域的轮廓或包络的不自然的部分)。这可能是基于一总体的假设:即诸如伤口、细菌存在等的特定生物特征不会有人造边缘,而且在形状上会更凸起而不凹陷。因此,修复和分析评估色度掩模和轮廓检测特征的性能,并校正其任何缺陷。该方法以一个或多个图像的输出结束,该图像可以包括叠加在伤口的原始图像上的轮廓和其它生物信息。例如,单个输出图像可以包括多种颜色编码的叠加物。在配准算法和标记或贴纸用于寻找共同定位的特征、对准图像、识别距离和重新定向图像的情况下,随着时间推移而拍摄的多个图像可以被叠加。
通常,尽管上述操作的序列是基于申请人使用本文描述的硬件进行的具体实验,但是本领域普通技术人员可以鉴于本公开,特别是如果使用不同的硬件,而预期这些操作的其它序列。不同硬件的使用可以包括简单的改变,例如改变激励光的波长或用于阻挡或去除被引导到装置的光的波长的滤波器。如本领域技术人员所理解和期望,这种变化将需要在训练处理中进行类似的改变。
图2A至图2C描绘用于伤口成像和分析的示例性装置的不同视角。参考图2A,描绘了用于伤口成像和分析的示例性装置的示意图。该装置被示出为定位成对目标物体10或目标表面(诸如患者上的伤口)成像。在所示的示例中,装置具有数字图像获取装置1(诸如数字相机、视频记录器、摄像机、具有内置数字相机的蜂窝电话、具有数字相机的“智能”电话、个人数字助理(PDA)、具有数字相机的膝上型计算机/PC、或网络摄像机)。数字图像获取装置1具有透镜2,该透镜2可以对准以指向目标物体10,并且可以检测从物体10或表面发出的光信号。该装置具有滤光器保持器3,该滤光器保持器3可容纳一个或多个滤光器4。每个滤光器4可以具有不同的离散光谱带宽,并且可以是带通或长通滤波器。这些滤光器4可以被选择并从数字相机镜头中移入,以基于光的波长选择性地检测特定的光信号。数字成像检测器装置可以是例如至少具有ISO800灵敏度、但更优选地具有IS03200灵敏度的数字相机,并且可以与一个或多个光发射滤波器、或其他同等有效(例如,小型化)的机械化光谱滤波机构(例如,声光可调节滤波器或液晶可调节滤波器)组合。
装置可包括光源5,该光源5产生激励光或照明(例如具有400-450nm的波长峰值的单色光或白光),或者单个或多个波长(例如,紫外/可见/近红外/红外范围内的波长)的任何其它组合,以照射物体10以便引出光信号(例如,荧光)。例如,激励/照明光源可以是发射大约405nm(例如,+/-5nm)的光的蓝色或紫色LED阵列,并且可以与中心在大约405nm的附加带通滤波器耦接,以去除/最小化来自LED阵列输出的光的侧光谱带,以便不使光泄漏到具有其自身滤光器的成像检测器中。光源5可以进一步包括以各种几何形状排列的激光二极管和/或过滤光。该装置可包括用于散热和冷却照明光源5的方法或设备6(例如,散热器或冷却风扇)。该装置可包括从用于照射被成像的对象10的光源5中去除任何不希望的波长的光的系统或装置7(例如,光学带通滤波器)。
装置可以包括用于测量和确定成像装置与物体10之间的距离的诸如测距仪或其它器件(例如,发射准直光束的紧凑型微型激光二极管的使用)的系统或装置8。例如,装置可以使用诸如两个激光二极管的两个光源作为三角测量设备的部分,以保持装置与物体10之间的恒定距离。其他光源也是可以的。该装置还可以使用超声波或诸如标尺的物理度量,以确定要保持的恒定距离。该装置还可以包括结构9(例如,枢轴),以允许对激励光源5、8的操纵和定向,从而定位这些光源5、8以以针对变化的距离改变照到物体10的光的照射角度。
可以用标记11标记目标物体10,以允许一次或一段时间内拍摄物体的多个图像,并然后共同配准用于分析。共同配准可以是空间-时间共同配准(即,图像可以随时间的推移而相关以及与标记的大小相关,以便跟踪特定特性的变化或增长。标记11可涉及例如不同颜色的外源荧光染料的使用,该外源荧光染料在被光源5照射时,可产生多个不同的光信号,并且在对象10的图像内可被检测到。这可以通过共同配准不同颜色和它们之间的距离来允许对于相同感兴趣区域的(例如,随时间拍摄)多个图像的定向。装置本身可以进一步包括允许用户控制装置的软件,该控制包括对成像参数、图像的可视化、图像数据和用户信息的存储、图像和/或相关数据的传输、和/或相关图像分析(例如,检测和或诊断算法)的控制。
数字图像获取装置1可以进一步包括以下中的一个或多个:用于头戴式显示器的接口12;用于外部打印机的接口13;用于平板计算机、膝上型计算机、桌上计算机或其它计算机装置的接口14;用于装置允许将成像数据有线或无线传输到远程站点或另一装置的接口15;用于全球定位系统(GPS)装置的接口16;用于允许使用额外存储器的装置的接口17;以及用于麦克风的接口18。该装置可包括诸如AC/DC电源、紧凑型电池组、或可再充电电池包的电源19。可替代地,该装置可适于连接到外部电源。装置可以具有壳体20,该壳体20将所有部件容纳在一个实体中。壳体20可配备有将任何数字成像装置固定在其内的装置。壳体20可以设计成手持式、紧凑式和/或便携式。壳体20可以是一个或多个机壳。
参考图2B,描绘了示例性伤口成像和分析装置200的不同视图。装置200可以是例如由MolecuLight(RTM)开发的MolecuLight i:X(RTM)装置。装置200允许临床专家快速、安全且容易地实时地可视皮肤和伤口中的细菌存在和分布,包括但不受限于护理点。装置200是非接触式的且对于白光和/或荧光成像不需要成像造影剂。装置200被描绘为手持便携式医疗装置,该装置包括具有集成光学和微电子部件以及内部电池电源的高分辨率彩色LCD显示器和触敏屏幕208。装置200进一步包括用于打开和关闭装置的电源按钮201、用于打开和关闭显示屏208的显示屏电源按钮202、指示整体装置性能的系统状态LED 203、指示装置电池电量的电池状态LED 204、指示距被定为目标或成像的伤口的最佳距离的测距仪LED系统205、用于指示荧光模式成像的最佳照明环境的环境光状态LED 206、用于在装置200长时间使用后变暖时散热的散热器207、用于提供对装置200的图像和视频捕获功能的访问的主页按钮209、以及用于充电和数据传输的端口210。端口210可以与诸如USB、或MolecuLighti:X(RTM)连接电缆的任何通用或专有电缆一起使用。
装置200进一步包括能够在标准成像模式与荧光成像模式之间切换的摇杆开关211。例如,装置200使用标准成像模式和荧光成像模式两者来捕获实时图像(例如,JPG格式)和视频(例如,MOV格式)。标准成像模式通常用于标准摄影(即,捕捉用标准白光照射的目标的RGB图像和视频)。荧光成像模式用于捕获用具有已知峰值波长的光照射的目标的RGB图像和视频,并且旨在从被光激励的特定目标中生成荧光。因此,装置200进一步包括具有特定波长或波长的范围以用于当处于荧光成像模式时照射目标的LED 212、以及能够捕获图像和视频的相机镜头213、用于检测距伤口或周围皮肤的最佳距离的测距传感器214、以及用于检测针对荧光成像模式的最佳照明条件的环境光传感器215。进一步,装置200包括用于允许用户牢固地抓握装置的保持轮廓217、以及使装置能够使用标准或专有电源适配器进行充电的充电端口218。
参考图2C,装置200被描绘成用于对患者的足部220上的伤口成像。装置200上的具有特定波长或波长的范围的两个高效LED照射伤口和周围健康皮肤,以用于对细菌和组织的高分辨率和实时的荧光成像,并且在显示器208上描绘所得图像。该成像依赖于细菌和组织在特定波长的照射下产生不同水平的红色和绿色(即,本征)荧光发射波长这一事实。与健康的皮肤主要由结缔组织和脂肪组织组成不同,细菌产生例如红色或绿色的截然不同的颜色,这些颜色主要由在光照下被激励出荧光的称为卟啉的内源性分子而引起。装置200捕获从细菌和组织两者发出的荧光,并在高分辨率彩色LCD显示器208上创建合成图像。装置200的用户可以容易且即时地可视伤口内和周围的细菌的存在和位置(例如,如由叠加层221所描绘)并记录数据。
装置可用于通常的伤口护理设施中并且集成到常规伤口护理实践中以允许对患者进行实时成像。该装置可用于在白光照射下成像和/或在变暗的房间灯光下拍摄伤口的荧光图像。该装置可用于远程医疗/远程保健基础设施中,例如,患者的伤口的荧光图像可经由无线通信装置(诸如使用无线/WiFi互联网连接的另一家医院的智能手机)通过电子邮件发送到伤口护理专家。使用该装置,可以将高分辨率白光和/或荧光图像作为电子邮件附件从远程伤口护理场所发送到伤口护理专家,以用于在专门的临床伤口护理和管理中心处立即咨询临床专家、微生物学家等。示例性伤口成像装置、它们的特征、结构及其用途在2015年5月26日发布的题为“Device and Method for Wound Imaging and Monitoring”的美国专利9,042,967中有进一步详细的描述,其全部内容通过引用并入本文。
图3描绘用于伤口成像和分析的示例性系统。该系统包括存储多个处理模块或逻辑指令的存储器300,该多个处理模块或逻辑指令由与计算机303通信的处理器301执行。计算机303可以经由网络或直接的通信链路与存储器301通信。例如,存储器300和处理器301以及图像获取系统1可以是如图2A至图2C描述的伤口成像装置的一部分。在其它实施例中,存储器300和处理器301直接耦接到计算机303。通常,除了处理器301和存储器300之外,计算机303还可以包括诸如键盘、鼠标、手写笔、以及显示器/触摸屏的用户输入和输出装置。如将在下面的讨论中解释,处理器301执行存储在存储器300上的逻辑指令、执行图像分析操作从而将定量/图形结果输出到操作计算机303的用户。
图像获取1包括参考图2A至图2C的上述任何成像部件,这些部件包括相机或光传感器、光或激励源、以及适当的滤光器或滤波机构。其它激励和发射波长可以与不同的装置一起使用,并且检测到不同的像素标志。通常,图像获取1例如通过使用图2A至图2C所示的装置来实时提供伤口的图像或图像数据,以获取患者伤口的图像或视频(包括多个图像帧)。图像和相关联的数据由模块310-350接收,并且可以存储在数据库305中。
数据库305进一步包括来自标记有特定感兴趣区域的图像的训练图像数据,该特定感兴趣区域由具有与这些感兴趣区域相关的先验知识的专家(诸如医学专业人员/临床专家/科学家/技术人员)标记。训练图像数据可以根据目标特性分类,该特性包括已知的细菌存在、已知的伤口大小的图像、已知的胶原值的图像等。训练图像数据可以包括描绘具有已知的伤口边界和细菌存在的训练图像的荧光数据、RGB颜色数据、以及其它像素值的直方图。参考图4A至图4D和图5A至图5D进一步描述示例性直方图。
对从图像获取1中获取的图像执行色度掩蔽模块103。色度掩蔽使得能够识别图像中的每个像素是在被定义为感兴趣区域的颜色空间区域内,还是在感兴趣区域之外。这种确定使用来自在训练操作期间生成的合成直方图的像素值(即,存储在数据库305上的图像数据)。色度掩蔽操作的输出是识别像素的“斑点”或相对均匀区域的二值掩模。参照图6进一步详细地描述色度掩蔽操作。
对由色度掩蔽模块310生成的掩模执行特征轮廓检测模块320。轮廓检测被应用于寻找包围掩模中检测到的每个斑点的包络。这使得能够随后枚举感兴趣区域,并基于所述枚举对感兴趣区域进行排序。轮廓检测还需要进行附加的过滤,诸如丢弃低于特定区域阈值的斑点、或者根据大小选取最高的2-3个。参照图7和图12A至图12C进一步详细描述轮廓检测。
对轮廓执行图像修复和分析模块330,并且还可以基于图像数据305,该图像数据305可以包括在训练期间出现的特定问题(诸如识别轮廓的非自然部分、以及校正先前模块的缺陷)。修复和分析操作将参照图8进一步描述。
颜色分析和叠加模块340生成叠加在伤口或细菌存在的原始图像上的生物信息的合成图像,以及基于用户定义的阈值的颜色强度。例如,单个输出图像可以包括多种颜色编码的叠加物。在一些实施例中,红色荧光(或具有一个或多个特定波长的峰值的荧光,即光谱标志)的强度可以被量化,并用于指示给定伤口区域内的细菌存在。在一些实施例中,这包括确定特定波长的强度是否满足阈值、在达到该阈值时触发对细菌存在的确定。类似地,不同强度可以与细菌存在的不同水平相关,因此可使用更高的阈值来触发对严重感染的确定。参照图10进一步描述颜色分析。
附加分析模块350包括诸如确定要归一化的伤口面积的百分比、跟踪伤口的进展、比较随时间推移而拍摄的多个图像、配准标记和/或贴纸以找到共同定位的特征和重新定向的图像等的操作。在一些实施例中,对于诸如假单胞菌的特定细菌或其它目标特性,激励/发射图可存储在数据库305上。该图可以例如定义将引出目标特性的荧光的激励波长范围、以及将用于检测目标特性的发射波长范围。目标特性信息可以由(耦接到图像获取1的装置的)计算机303的用户输入,或者作为图像获取1提供的图像数据的部分而输入。因此,附加的分析可以包括从数据库305中检索正确的滤波器和像素信息(即,直方图)、或者指导成像装置的操作者将装置设定在特定配置中,该配置对于对目标特性成像是理想的。这种激励和发射信息可用于许多类型的目标特性,如下表1所示。
表1——9种目标细菌种类的荧光结果
目标特性可进一步包括:存在于伤口和伤口周围区域的照射的部分中的细菌、真菌、酵母、以及其它微生物中的至少一种的存在;当细菌、真菌、酵母、以及其它微生物中的至少一种存在于伤口和伤口周围区域的照射部分中时的位置、种群、数量、分布、定植、污染、临界定植、感染以及范围中的至少一种;以及胶原蛋白、弹性蛋白、结缔组织、血液、骨、渗出物、基质组织、肉芽组织、以及指示存在于伤口和伤口周围区域的照射部分中的伤口感染和/或愈合的其它组织、细胞、分子、以及流体中的至少一种的存在、位置、分布、以及范围中的至少一种。在一些实施例中,除了绿脓杆菌之外,还检测到以下细菌存在:金黄色葡萄球菌、大肠杆菌、肠球菌属(即,肠球菌属中的物种)、变形杆菌属、肺炎克雷伯菌、凝固酶阴性葡萄球菌、β-溶血性链球菌(B组)、以及肠杆菌属。当在具有405nm波长峰值的光下激励时,所有这些细菌发射600nm-660nm之间的荧光,从而不需要附加的成像硬件或光谱滤波。识别到的其它特性包括诸如癌组织(例如乳腺癌手术的肿块切除)的被切除组织的特性。在与被切除组织一起使用时,装置和方法可用于识别例如组织成分、肿瘤大小、肿瘤边缘、肿瘤边界、以及组织血管化的特性。
在一些实施例中,大量像素可以指示特定颜色或颜色组合的饱和度。这可能引起从RGB到替代颜色空间的转换出错。例如,当绿色通道饱和(即,发射导致的值大于255的最大值)时,这会引起色调在转换期间从不饱和颜色的色调值的窄带不自然地偏移。因此,附加的成像步骤可以丢弃具有低饱和度值的像素。在一些实施例中,这可以通过快速获取在变化的光强度下的序列图像、并选择具有最小饱和度的图像以改善目标特性或感兴趣颜色的检测来解决。在其它实施例中,由于饱和度而丢失的信息在确定特定类型的感兴趣区域的特定标志时仍然有用。换句话说,对于特定类型的伤口或细菌正在发生饱和的事实可以被记录并用于随后对所述特定类型的伤口或细菌的确定中。
如上所述,模块包括由处理器301执行的逻辑。如在本文且贯穿本公开所使用的“逻辑”指的是具有可以应用于影响处理器的操作的指令信号和/或数据形式的任何信息。软件是这种逻辑的一个示例。处理器的示例是计算机处理器(处理单元)、微处理器、数字信号处理器、控制器和微控制器等。逻辑可以由存储在诸如存储器300的计算机可读介质上的信号形成,该存储器300在示例性实施例中可以是随机存取存储器(RAM)、只读存储器(ROM)、可擦除/电可擦除可编程只读存储器(EPROMS/EEPROMS)、闪存等。逻辑还可以包括数字和/或模拟硬件电路,例如,包括逻辑与、或、异或、与非、或非和其它逻辑操作的硬件电路。逻辑可以根据软件和硬件的组合形成。在网络上,逻辑可以在服务器或服务器的复合体上编程。特定逻辑单元不受限于网络上的单个逻辑位置。而且,模块不需要以任何特定的顺序执行。每个模块在需要被执行时可以调用另一个模块。
图4A至图4D描绘训练图像的示例性直方图。如本文所述,直方图用于识别标准伤口形状的示例性色调饱和度和颜色分布。例如,来自已知伤口和细菌负荷的荧光发射和/或白光反射的图像可以用已知信息、从RGB(红色、绿色、蓝色)转换为HSV(色调、饱和度、明度)的所述图像的像素值、或如上所述的其它替代颜色空间标记,并且可以生成感兴趣区域内部和外部的像素的2D直方图。此外,可以单独地或并行地生成伤口大小相对于细菌的不同的直方图组。图4A描绘单个训练图像的感兴趣区域内部的像素的直方图,而图4B描绘感兴趣区域外部的像素的直方图。所示直方图在x轴上用从0到255的饱和度值和在y轴上用从0到179的色调值绘制。这些范围仅仅是示例性的,并且可以根据成像仪器的灵敏度和/或被分析的图像的类型而变化。
此外,图4A和图4B的直方图从俯视图呈现有每个色调的总体密度(populationdensity)和由色标指示的饱和度“箱(Bin)”。箱仅仅是饱和度和色调值的独特组合。用橙色和黄色绘制的箱包含大量像素。为了使用相同的总体密度标度来绘制ROI内部和ROI外部的像素的直方图,来自ROI内部直方图的每个箱频率乘以来自ROI外部直方图的最大箱频率值。这个过程被称为数据归一化。图4C和图4D从不同的角度描绘相同的直方图(分别是AOI内部和AOI外部)。从这些直方图中很明显看出,相对于感兴趣区域外部的像素,感兴趣区域内部的像素具有紧密分组的色调和饱和度值的范围。
如本文进一步描述,在已处理具有已识别的感兴趣区域的图像的合适样本之后,可以生成合成直方图。图5A至图5D描绘与图4A至图4D的直方图相对应的多个训练图像的示例性合成直方图。该合成直方图用于生成如本文所述的合适的第一遍色度掩模(firstpass chroma mask)。此外,超出边界的行为(诸如上面识别的图像饱和度)可以通过直方图可视化,并且可以开发实时图像分析程序来最小化这些影响。
图6描绘用于色度掩蔽的示例性方法。该方法可以由图2和图3中描述的部件、或以任何合适的方式来执行。色度掩蔽开始于在操作601处使用低通空间滤波器去除不想要的数据,该滤波器去除噪声和无关紧要的离群像素。在操作602处,图像从RGB(红色/绿色/蓝色)颜色空间转换到替代颜色空间,以促进直方图随后的生成。无论伤口是用白光激励还是用特定波长或其范围的光激励,颜色空间转换使用在相机处感测到的RGB输入图像。在操作603处,基于来自较早训练操作的预定阈值来生成二值图像掩模。换句话说,阈值被应用于当前图像的替代颜色空间值,从而产生二值掩模。随后,在操作604处,对二值颜色掩模应用空间滤波器,该滤波器具有去除诸如离群点和稀疏段的不想要的像素的效果。这是基于感兴趣的像素将倾向于被其他感兴趣的像素包围的理论。然而,侵蚀可能去除实际在感兴趣区域内的像素,因此执行操作605以应用膨胀空间滤波器,该膨胀空间滤波器对抗操作604中的侵蚀的一些负面影响,并且具有重新接合在侵蚀中幸存的较小簇的效果。
图7描绘在图6的色度掩蔽操作之后执行的用于轮廓检测的示例性方法。该方法可以由图2和图3中描述的部件、或以任何合适的方式来执行。该方法在操作701处开始于低通滤波器,该处理阶段去除掩模中的一些细节,从而导致模糊。模糊与随后的操作702(即,高通边缘检测滤波器(Canny滤波器))相结合,该高通边缘检测滤波器(Canny滤波器)寻找在色度掩蔽操作中识别的区域的边缘。随后,在操作703处,使用轮廓检测来检测连续闭合边缘。该连续闭合边缘定义了感兴趣区域内部与外部的像素之间的边界。这引起了大量的各种大小的闭合轮廓。随后,在步骤704中分析轮廓以寻找包围最大区域的轮廓(即,那些更可能携带显著信息的轮廓)。例如,闭合轮廓可以如本文所述按区域顺序排列,并且包围最大的2-3个区域的轮廓可被选择为定义感兴趣区域。此方法输出一个或多个最显著的感兴趣区域。
通常,图7的轮廓检测可能无法检测所有相关的轮廓,或者可能最终侵蚀轮廓直到它们在形状上凸起,从而失丢有用信息。例如,随着侵蚀的发生,有时伤口边界被侵蚀,导致轮廓凹陷。由于伤口的实际形状可能非常不规则,具有许多凹陷的区域,所以图像修复操作识别可能被认为不自然的特定极端凹陷的特征。这可以进一步应用于细菌存在。由于侵蚀可以丢弃作为有细菌的区域的部分的像素,从而引起异常的轮廓。此外,参照图12A至图12C进一步详细地描述用于轮廓检测的另一示例性方法。
图8描述用于图像修复和分析的示例性方法。该方法可以由图2和图3中描述的部件或以任何合适的方式来执行。该方法开始于操作801,其中检测凹陷轮廓,并且确定伤口的凸包。分析轮廓以确保(包围感兴趣区域的)闭合轮廓的形状本质上相对凸起。如果轮廓显示出凹陷的特征,则这可能是轮廓检测的部分可能是错误的指示符。该概念是基于许多被检测的生物特征通常在形状上更加凸起的理论。可以基于训练信息将该信息编程到系统中。因此,在802处,如图9B所描绘,可以通过使错误的凹陷特征更接近于凸包来对它们进行重塑,从而为伤口边界提供更整体的凸起形状。最后,在803、804、以及805处,最终分析在原始数据上提供图形叠加物以突出显示感兴趣区域,并且执行感兴趣度量(诸如细菌负荷或伤口大小)的最终量化,并且输出具有叠加物的合成图像。
图9A至图9B描述了伤口成像和分析操作示例性输出图像。该图示出了检测到的并用白色边界标记的伤口边界、以及由伤口周围的青色叠加物所描绘的伤口凸包。呈现在每个图像顶部的伤口面积计算是伤口内像素数的计数。目标标记(或已知大小、形状、颜色和/或图案的贴纸,或其上的已知图像、标记或图形)可以附接到患者,从而使得能够使用已知目标像素计数与检测到的伤口像素计数之间的简单比率来计算实际伤口面积。图9A描绘根据原始伤口边界测量得到的白色轮廓。如图8所示,青色叠加物表示伤口周围的凸包,其用作中间计算。然后通过检测显著的凹陷特征来修复图像,该显著的凹陷特征通过将白色轮廓和凸包的向量点进行比较而获得。如果检测到显著的凹陷特征,则用凸包的向量点替换该凸起区域中的伤口边界的向量点。图9B描绘所得到的重塑后的伤口边界。
如本文所述,这些操作用于确定许多目标特性信息及其变化,诸如伤口大小、细菌负荷、细菌的类型和存在、和/或感染。尽管事实上伤口图像通常仅包括一个伤口,然而相同(或不同)图像可以包括细菌存在/生长/范围/菌落的若干区域,所描述的模块可应用于伤口大小、深度以及细菌检测两者。例如,检测到的伤口边界可以是连续的周边(即,单根连线),并且假单胞菌细菌可以作为各种岛存在于伤口边界内和周围。因此,侵蚀操作可适用于伤口周边和细菌存在的周边两者。例如,在确定轮廓时,标记围绕感兴趣区域的周边的操作可针对多个感兴趣区域进行重复,并最终通过可针对不同应用进行调整的最终滤波器的面积的大小来排序。
此外,可以对伤口图像执行附加的颜色和强度确定操作。例如,一些细菌在被本文描述的装置和系统照射和成像时产生红色荧光信号。为了分析捕获到的图像中的荧光信号,细菌负荷量化操作可以用来识别和量化细菌荧光信号。尽管本文参考红色荧光进行了描述,但应当理解,所描述的方法和分析可用于分析其它颜色或光谱波长的荧光,以识别细菌负荷量或与给定荧光波长相关联的其它参数。
图10描绘用于对伤口图像的光谱分析示例性方法。该方法开始于1001,其接收荧光图像以及伤口大小输入的可选输入。伤口大小输入可用于通过处理作为伤口大小的函数的颜色信息来确定伤口进展。在任一情况下,图像可以是基于加色模型的RGB(红色、绿色、蓝色)彩色图像,在该加色模型中,红色、绿色、以及蓝色颜色通道被相加在一起以产生宽泛的颜色阵列。数字图像中的每个像素都具有与每个单独的RGB颜色通道的强度相对应的三个8比特值(0-255),其中0表示没有颜色,而255表示真实的RGB颜色。为了识别图像中的红色区域并创建图像掩模作为视觉表示,边界必须含有所有的三种颜色通道。这通过在RGB通道上定义阈值来实现,并然后使用这些阈值创建被认为是荧光红色和不被认为是荧光红色的边界。
在操作1002处,使用(预先设定的)默认值或由用户的输入来定义边界函数的阈值。边界函数将表示RGB颜色立方体上的边界,该立方体将接受的红色与其余颜色分开。该边界将以RGB红色(255,0,0)为中心,但RGB红色到边界的距离将在所有方向上不相等。沿着红色通道将存在比蓝色或绿色通道更大的可接受距离,以赋予红色通道更大的权重。换句话说,阈值识别要在所得掩模中接受的颜色通道的所接受强度。因此,为了检测红色荧光,为红色通道设定最小阈值,并且为绿色和蓝色通道设定最大阈值。此外,必须存在针对每种颜色通道的单独的阈值,以在确定像素是否为红色时赋予红色通道更大的权重。由于各种变量(亮度、饱和度、色调)可以影响图像的颜色,因此这些阈值也可由用户调整,以允许针对图像生成最佳掩模。所得到的边界函数将是由表示最小红色强度、最大绿色强度、以及最大蓝色强度的三个初始条件(用户定义的阈值)所定义的3D二次型。此外,可以定义颜色阈值的其他组合以生成特定颜色的掩模。
操作1003至1007选择各个像素并确定该像素是否满足在操作1002中定义的边界条件或阈值。只要继续存在待分析的像素,基于确定1004,像素继续被“装箱(binned)”(即,包括在红色荧光信号输出中(步骤1006)或从红色荧光信号输出中排除(步骤1007)。最终,当不存在更多像素时,输出掩模图像、以及可选的RGB直方图、荧光信号数据、和定义的伤口大小。例如,如图4和图5所示,基于每个RGB通道的强度生成的直方图可用于可视地引导用户选择适当的阈值水平。换句话说,该操作可以是迭代处理,以允许用户在观看输出的同时实时调整阈值,直到他们满意为止。
此外,类似于RGB直方图,各个RGB颜色通道可以为附加的图像分析提供有价值的信息。颜色通道由相同颜色图像的灰度图像表示,该灰度图像仅由RGB颜色中的一种组成。暗区(黑色)表示通道中的低强度,而亮区(白色)表示通道中的高强度。通过在显示图像时仅输出感兴趣的一种颜色通道来生成这些灰度图像。
如以上参考图3进一步的描述,清楚地定义伤口大小能够进行附加的操作。例如,这使得能够将红色或其它荧光信号的面积计算为伤口大小的百分比。在1001处,伤口大小可以被定义为输入,该输入例如通过用户经由用户界面选择伤口的外周。输出可被归一化为伤口大小的百分比,并可用于跟踪愈合进展。例如,细菌负荷/红色荧光的变化可以在一段时间内被监测,并确定为伤口的每单位面积的像素的变化百分比或速率。此外,细菌负荷(或红色)可以在伤口大小之外,因此能够使用伤口大小作为固定测量值,并确定红色的相对量的变化,从而指示细菌负荷的增长。除了伤口大小,可以使用诸如图像大小的百分比的任何其他固定量。
此外,红色荧光信号的强度可用于量化细菌负荷。强度也可用于量化伤口中或手术区域中的目标的其它荧光元素/化合物/成分。给定一系列图像的相同阈值和相同成像条件,可以随时间推移比较每个图像的直方图值,以跟踪红色的强度变化,该红度强度与细菌负荷直接相关。因此,输出1008可以包括信号的最小值、最大值、以及平均强度、以及用于视觉表示的分布的直方图。
如本文所述,输出可用于经由突出显示感兴趣区域和/或叠加在原始/起始图像上的标记图像来确定治疗的有效性。图11描绘用于伤口图像的颜色分析的示例性用户界面(GUI)。GUI演示了图10中描述的细菌负荷量化操作的输入和输出。“原始图像”用于用户定义伤口外周并执行负载定量操作。红色像素的掩模被显示为叠加在“掩模图像”上。“红色荧光信号强度”中显示的度量根据掩模中包括的像素而计算出。掩模中包括的像素用于计算被细菌覆盖的伤口大小的百分比。此外,查找表(LUT)可以用于在掩模像素上叠加颜色,以便指示对应的荧光强度。图11描绘LUT在图像上的示例性应用,在LUT中识别的细菌的强度在图11的右侧以灰度示出。
此外,如上所述,可以执行时空共同配准以使多个图像相关,从而提供针对特定伤口、特性、或患者的诸如跟踪特定特性的变化或增长的更详细的分析。例如,配备有白光、荧光、以及热传感器的装置可用于从相同目标伤口或特性中获取每种类型的同步图像。在实施例中,相同伤口的白光反射图像、荧光图像、以及热图像可以经受它们本身相应的分析,并然后用作输入以生成具有所有三个图像和叠加在其上的分析的合成图像。该组合或超复合输出图像可用于确定特定伤口的附加分析或诊断。例如,具有大量细菌存在(即,显著的细菌负荷)并且描绘有高温或“热点”的伤口(或其区域)(包括在与标准临床实践指南结合使用时)可确定为被感染。换句话说,来自相同伤口的不同类型的图像的分析数据可以被并发地观看(即,在单个分析后的超合成图像中)以确定关于伤口的附加信息,该附加信息可能不能从单独观看分开的白光、荧光、或热图像中获得或立即显示出。
甚至可以通过观看针对相同伤口或患者在一段时间内生成的超合成图像来执行更深入的分析,例如通过使用配准标记/贴纸或共同定位特征。此外,使用例如具有多个传感器的成像装置获取到的同步获取的且空间共同定位的图像可用于跟踪特定伤口的细菌负荷随时间推移的变化。针对相同的伤口,总细菌负荷和伤口温度相对于周围表面温度的差异可以随着时间推移而确定。观察细菌负荷的变化与温度之间的关系可用于触发对感染的确定。例如,在知道温度升高之前细菌负荷增加的情况下,可以确定一种关系并将其用于预测各种情况下感染的发生或风险。
尽管已相对于红色荧光描述了这些操作,但是可以使用其它颜色以确定其它目标特性,诸如可以提供伤口愈合、血液、骨等的测量的胶原的增殖。还可以确定目标特性,该目标特性诸如胶原、弹性蛋白、以及包括那些在如肿瘤的疾病组织中的荧光化合物的其它荧光化合物的密度。
在其它实施例中,光谱分析的结果可用于区分活组织与非活组织,例如参考图11中的绿色组织内的棕色或黑色组织污点。本文所述的许多操作可以以不同的方式相组合例如以确定和输出伤口大小,并随后确定或量化伤口大小的边界内的细菌存在或其他特性。
此外,这些操作可应用于包括两个同时获取且纵向移位的2D图像的3D立体图像。这通过生成与两个立体图像中的每一个相对应的两个直方图、并执行对随后获取的两个立体图像中的每一个执行的上述分析来实现。在一些实施例中,用于2D图像的直方图可用于处理一对立体(或3D)图像,而不会实质性地影响输出。
在示例性实施例中,伤口边界的检测和测量(如例如图7、图8、以及图9A至图9B所述)可以通过接收与近似伤口边界相对应的用户输入,并基于其执行操作以识别边界并获得其测量值来得到促进。可以替代地或除了图7描述的轮廓检测之外还执行这种用于识别和测量伤口边界的示例性实施例,并且在下面并参考图12至图13进行描述。通常,提供使得用户能够经由输入装置在伤口的图像上定义伤口的近似边界的用户界面。边界可以包括任何形状,并且不必精确地与图像中描绘的伤口的形状相对应。如上所述,用户可以任选地进一步指示感兴趣区域。随后由设置有用户界面的成像装置或计算机执行的操作包括将近似用户所定义边界之外的像素标注为背景,并且将边界内的像素标注为前景。其他像素可以被标注为背景或前景。例如,可以将用户定义的边界外部的像素标注为明显背景(BG),并且可以将用户定义的边界内部的像素分类为包括可能背景(PBG)、可能前景(PFG)、以及明显前景(FG)的三个类别。使用处理技术的组合来识别边界,该处理技术包括通过迭代最小化进行的图像分割、边界抠图、前景估计、以及包括在抓取切割(GrabCut)方法(https://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf)中执行的那些操作的其它操作。
图12A至图12C描绘具有用户定义的边界以及基于其而确定的前景和背景区域的伤口的示例性图像。例如,图12A描绘伤口1220的示例性图像1200。图像1200可以使用如本文所述的用于伤口的实时成像的相同装置/系统部件来获取,或者至少使用诸如激励(或照射)光类型和频率、滤波器等的公共成像条件来获取。可以使用耦接到本文所述的分析模块的成像硬件来实时获取图像1200。可替代或附加地,图像1200可以从成像硬件获取并被发送到执行所公开的操作的计算机,或者从诸如数据库或网络的外部源获取。通常,最初使用RGB相机或传感器获取图像1200,从而产生RGB原始图像。用于获取各种格式的图像的其它系统也是可以的。此外,图像1200描绘一个或多个伤口1220、周围组织表面、及其特性。例如,伤口1220可包括生物体的表面的任何损伤或伤害,例如切割、烧伤、刮伤、手术切口、溃疡等。伤口可以暴露皮肤下面的包括血液、结缔组织、肌肉、骨等的区域。在示例性实施例中,伤口1220可包括手术腔。
图12B描绘由装置的用户提供的用户定义的边界1222,该装置上设置有用于接收基于触摸的输入的用户界面。例如,可以提供用户定义的边界1222以及伤口1220的其它特性(诸如荧光数据、RGB颜色数据、以及其它像素值和细菌存在)作为训练图像数据所包括的部分。可替代或附加地,用户定义的边界1222可以在对患者上的伤口进行实时成像期间提供,并且可以经由伤口成像和分析装置(诸如上述由MolecuLight(RTM)开发的MolecuLighti:X(RTM)装置)的触敏屏幕而输入。在任一情况下,如本文所述,用户定义的边界1222不需要遵循伤口1220的形状,并且可以简单地是包含伤口1220的图像1200的区域的近似。
图12C描绘基于对图像1200和用户定义的边界1222的分析而确定的前景和背景区域。如图12C所示,用户定义的边界1222外部的像素可以被标注为明显背景1224,而用户定义的边界1222内部的像素可以被分割成包括可能背景1226、可能前景1228、以及明显前景1230的三个片段。可以使用处理技术的组合来检测这些区域,该处理技术包括通过迭代最小化进行的图像分割、边界抠图、前景估计、以及上面引用的抓取切割算法中描述的其它方法,从而使得用户定义的边界1222不规则或不完整。此外,可经由用户界面提供调整机构,使用户能够调整片段1224、1226、1228、1230中的每一个的厚度或位置。例如,可以提供滑块以调整分割变量,该调整引起片段1224、1226、1228、1230的扩大或收缩,直到达到理想或精确的水平为止。因此,促进这种边界检测可以增强上述的诸如检测感兴趣区域、量化感兴趣的度量等的其它操作。
在附加的示例性实施例中,通过上面的分割而确定的伤口边界的大小可以经由对所确定的边界执行的一系列操作来确定。例如,为了确定伤口的长度,首先在所确定的伤口边界周围绘制定界框。随后,在伤口边界与定界框之间确定一个或多个交点。该一个或多个交点与所述长度的极值点相对应。测量每个交点或极值点之间的距离,并且确定这些距离的最大值为伤口的长度。然后,对于宽度,基于所定义的长度的两个交点确定垂直斜率,并且沿着垂直斜率的轮廓点从第一个极值点迭代到最后一个极值点。在每次迭代时,构造垂直线,并对每个垂直线和伤口边界执行按位操作。用一个或多个线查找技术确定所得到的多条线,每条线的宽度被确定为向量,并且从多个向量中找到最大值。最大值与伤口的宽度相对应。此外,伤口的面积可以使用诸如格林定理(Green’s theorem)的线积分技术来计算。此外,虽然基于图像本身以像素为单位确定了长度、宽度、以及面积值,但是还可以基于通过检测放置在伤口周围的两个贴纸并计算像素对mm的比率来将它们转换为物理值(例如mm,mm2)。
如本文所述,放置在患者身体上的标记或贴纸可用于定向相机的视场,以促进配准、找到共同定位的特征、对准图像、识别距离、以及重新定向图像。例如,在将两个不同的标记或贴纸放置在伤口的相对端之后获取图像,处理获取的图像以检测贴纸及其直径(即,通过将以像素为单位测量的每个贴纸的直径除以其物理长度而获得的每个贴纸的像素/mm比),并且将伤口的像素/mm比确定为两个贴纸的像素/mm比的平均值。在进一步的示例性实施例中,可使用贴纸的颜色、贴纸的大小、贴纸的形状、贴纸上的图像或标记、以及不同的贴纸组合中的一项或多项的组合以指示不同类型的伤口或患者,或触发不同类型的共同配准及其分析(诸如例如自动文件关联和存储包含某些贴纸的图像)。在示例性实施例中,利用已知大小、形状、颜色和/或图案的贴纸、或已知图像、标记或图形。
然而,因为即使使用相同的成像设备,照明也可能改变,所以仅仅依赖于贴纸或标记的颜色可能产生不可预测的结果。因此,可以利用贴纸的诸如形状、圆度、伸长率、面积等的附加属性以将贴纸与图像或视场中的其他对象区分开来。通常,这些属性可以取决于贴纸如何在图像中的显示出。因此,本文描述的操作包括利用已知图像的数据集来调节或训练如何分析这些属性。在示例性实施例中,手动分割各种类型和形状的贴纸,并且每个贴纸片段的属性被测量并被输入到训练算法中。类似于上述伤口图像的训练数据集,这种手动分割通过小心地将贴纸与它们的背景隔离来促进基础真实值(ground truth)的生成。随后,可以对数据集的性能进行客观的确定。此外,可以实时地执行这些操作(即,在使用上述成像装置对伤口进行可视化和分析期间),从而能够提供实时反馈,以提高成像装置的效率并确定伤口大小和面积。
图13A描绘根据示例性实施例的用于识别伤口图像中的贴纸的方法。进一步参考图2至图3描述包括装置和系统的用于执行图13A的方法的部件。然而,应当注意,伴随对鉴于本公开的本领域普通技术人员显而易见的必要的调整,图13A描述的操作可以由任何装置或系统来执行。在操作1301处,接收伤口的图像。可能已使用如本文所述的用于伤口的实时成像的相同装置/系统部件,或者至少使用诸如激励(或照射)光类型和频率、滤波器等的公共成像条件来获取图像。可以使用耦接到本文所述的分析模块的成像硬件来实时获取图像。可替代或附加地,图像可以是从所述成像硬件获取并被传送到执行所公开的操作的计算机,或者从诸如数据库或网络的外部源获取。此外,图像描绘了一个或多个伤口、周围组织表面及其特性。例如,伤口可以包括生物体表面的任何损伤或伤害(诸如切割、烧伤、刮伤、手术切口、溃疡等)。伤口可以暴露皮肤下面的包括血液、结缔组织、肌肉、骨等的区域。在示例性实施例中,伤口可以包括手术腔。
在1302处,通过应用从最小包含阈值到最大排他阈值的几个阈值、以及在相邻阈值之间执行的距离阈值步骤来将图像转换为一个或多个二值图像。在示例性实施例中,如上文参考图6所述,二值图像可以使用色度掩蔽操作来生成。此外,在1303处,将附加的二值图像添加到在1302中生成的二值图像,其中附加的二值图像基于使用贴纸的颜色的阈值化操作。在1304处,执行侵蚀和膨胀操作以去除噪声。类似于图6中描述的操作,该步骤包括将空间滤波器应用于二值图像以去除不想要的像素,诸如离群点和稀疏的片段,并且应用膨胀空间滤波器以对抗侵蚀的一些负面影响并重新接合在侵蚀中幸存的较小簇。
在1305处,使用多个准则对二值图像进行过滤,以从背景中提取斑点形状对象。换句话说,通过基于斑点形状过滤掉检测到的斑点来正确地识别贴纸。因此,过滤操作包括计算直到三阶的所有矩,并然后基于被调节以精确且可靠地检测贴纸的多个准则,对返回的斑点执行若干次过滤。在示例性实施例中,多个准则包括面积、圆度、最小惯性与最大惯性的比率、凸度、紧凑度、二值颜色和/或椭圆度。例如,可要求提取的块具有在最小值(包括)与最大值(不包括)之间的面积;最小值与最大值之间的圆度(例如,使用弧长公式计算);最小值与最大值之间的最小惯性到最大惯性的比率(这提供了伸长量的测量值);斑点的面积除以最小值与最大值之间的斑点的凸包(即,凸度)的面积、最小值与最大值之间的紧凑度。此外,可以在斑点的中心将每个二值图像的强度与斑点的颜色值进行比较,并且过滤掉不同的值(因为这是二值图像,所以颜色过滤处理与如上所述基于RGB/CIELAB/HSV颜色空间值来过滤图像不同)。最后,将由第一矩测量出的面积与椭圆的面积进行比较,并过滤掉值大于最大值的斑点。
然后,在1306处,从每个二值图像中提取连通成分,并计算其中心。在1307处,对来自几个二值图像的中心基于它们的坐标进行分组,其中接近的中心形成与一个斑点相对应的一个组。这可以使用斑点之间的最小距离参数或诸如公开资源OpenCVsimpleblobdetector(https://docs.opencv.org/3.3.1/d0/d7a/classcv_1_1SimpleBlobDetector.html)的其它技术来确定。这些参数中的每一个都可以由操作者根据希望的结果来调节。例如,可以调整参数以有效地将贴纸与其他斑点形状的对象分开。可以生成一个或多个标准化图像以使得能够根据单个图像测量所有参数。这种图像可以被称为参数调节图像,其中,参数调节图像中的贴纸被手动分割,并且使用上述技术来测量强度、圆度、惯性、面积、凸度、椭圆度、紧凑度、以及最小距离。这些测量值的最小值和最大值可以被存储并作为最佳值用于检测随后的图像中的贴纸。此外,可以随着基础真实值数据库变得更大而持续地调整所存储的调节参数。
该方法的结果提供了每斑点的一组二维点(即,轮廓)。此外,该组轮廓可以被合并且显示在源图像上。每个合并的轮廓表示单个贴纸的边界,并且在给定每斑点的该组2D点的情况下,可以通过用具有较少顶点的另一条曲线近似一条曲线使得它们之间的距离小于或等于特定的精度,来近似最终的轮廓,从而确定每个合并的轮廓。每个斑点的最终中心已确定,执行循环操作以循环通过轮廓并在其周围拟合椭圆,以返回旋转的内接有椭圆的矩形。另外,获得并存储每个斑点的长轴和短轴。最后,使用在前面步骤中计算的旋转矩形,在每个贴纸周围绘制椭圆和矩形。图13B示出伤口1320的图像1300,该图像1300包括如上所述确定的边界1322、以及显示在伤口图像1300上的长轴1331和短轴1332。
为了实现例如包括一系列图像(即,帧)的视频的实时处理和可视化,可以从存储缓冲器中检索并实时处理每个帧。例如,可以处理整个第一帧以定位贴纸,并且为了降低计算资源的消耗,可以围绕在第一帧中检测到的每个贴纸定义小的感兴趣区域,并且可以基于所定义的感兴趣区域来处理后续的帧,而不是处理整个帧。
如上所述,验证数据集可用于评估上面的贴纸检测方法的性能。例如,用于检测贴纸的验证处理可以包括手动分割图像以创建用于定量评估检测方法的基础真实值。诸如骰子度量、面积、以及豪斯多夫距离(Hausdorff distance)的度量在验证分割的精确性方面是有用的。基于下式确定骰子系数以测量两个二值图像之间的空间重叠范围,并且其值可以在0(无重叠)和1(完全一致)之间的范围内:
其中TP、FP、以及FN分别指的是真阳性、假阳性、以及假阴性。如果分割区域被标注为1且背景被标注为0,则真阳性表示在分割图像和基础真实值图像两者中具有值1的像素的总数、假阳性表示在分割图像中显示为1但在基础真实值中显示为0的像素的总数、假阴性表示在分割图像中显示为0但在基础真实值中显示为1的像素总数。
此外,区域相似性(AS)操作利用以下等式:
其中,对于完美分割,AS=1,并且对于较差分割,AS~0。
此外,A和B的两个有限点组之间的平均豪斯多夫距离(AHD)可以由以下等式定义:
AHD(A B)=mil x(d{A,B)d(B.A))
索贝尔边缘检测(Sobel edge detection)操作可用于将A组和B组定义为基础真实值和自动分割图像两者中的贴纸边缘上的点。
因此,上面的方法通过利用贴纸颜色、贴纸形状、以及贴纸大小的组合来促进贴纸检测,以促进伤口图像中伤口的大小和定向的确定。此外,相机(例如手术相机)可以基于贴纸与解剖位置共同配准。结合到手术相机中的陀螺仪和自定向软件可用于将相机视场与手术场共同配准,以在空间上识别手术腔或伤口的特征,并且增强提供至手术医生或这种相机的其他操作者的实时视图。此外,这些方法中的每种都可以被调节成以大约每秒27帧的速度执行,以为手术医生/操作者提供实时反馈。在示例性实施例中,该方法被调节到每秒27帧的最小值,并且潜在地帧速率高于每秒27帧。
为了说明和描述的目的,已呈现了本公开的示例性实施例的前述公开。它并不旨在详尽无遗,或将本公开受限于所公开的精确形式。鉴于上述公开内容,对于本领域普通技术人员来说,本文描述的实施例的许多变化和修改将显而易见。本公开的范围仅由所附权利要求及其等同物限定。
此外,在描述本公开的代表性实施例时,说明书可以将本公开的方法和/或处理呈现为特定步骤序列。然而,在方法或处理不依赖于本文阐述的特定步骤序列的程度上,方法或处理不应受限于所描述的特定步骤序列。如本领域普通技术人员将理解,其它步骤序列也是可以的。因此,说明书中阐述的特定步骤顺序不应被解释为对权利要求的限制。此外,针对本公开的方法和/或处理的权利要求不应受限于按所写顺序执行其步骤,并且本领域技术人员可以容易地理解,这些序列可以变化,并且仍然保持在本公开的精神和范围内。
对于本领域技术人员来说显而易见的是,在不脱离本公开的教导的范围的情况下,可以对本公开的装置和方法进行各种修改和变化。根据考虑本文公开的教导的说明书和实践,本公开的其它实施例对于本领域技术人员将显而易见。本文描述的说明书和实施例旨在仅被认为是示例性的。
为了本说明书和所附权利要求书的目的,除非另有说明,在说明书和权利要求书中使用的表示量、百分比、或比例的所有数字和其它数值应被理解为在所有情况下只要它们还没有被如此修改,就根据术语“大约”进行修改。因此,除非相反地指出,否则在以下说明书和所附权利要求书中阐述的数值参数是可以根据寻求获得的希望属性而变化的近似值。至少,并且不是试图将等同原则的应用限制在权利要求书的范围内,每个数值参数至少应鉴于所报告的有效数字的数量且通过应用普通的四舍五入技术来解释。
尽管阐述本教导的宽广范围的数值范围和参数是近似值,但所阐述的数值在具体示例中被尽可能精确地报告。然而,任何数值都固有地包含必然是由在数值的相应测试测量中发现的标准偏差而引起的一定的误差。此外,本文公开的所有范围应理解为包括其中包含的任何和所有子范围。
Claims (46)
1.一种用于伤口分析的计算机实现的方法,所述计算机实现的方法存储在计算机可读介质上并包括逻辑指令,所述逻辑指令由处理器执行以执行操作,所述操作包括:
接收伤口的图像,所述图像包括多个像素;
至少基于对所述多个像素应用色度掩模,来确定所述图像中的至少一个感兴趣区域,所述色度掩模基于像素值的直方图;
确定至少一个所述感兴趣区域的一个或多个轮廓;并且
生成包括叠加在所述图像上的所述一个或多个轮廓的输出图像;
其中,所述感兴趣区域包括一个或多个伤口特性。
2.根据权利要求1所述的方法,其中,所述一个或多个伤口特性包括伤口边界、伤口大小、伤口深度、细菌存在、细菌负荷、伤口温度、结缔组织存在、血液存在、骨存在、组织或细胞伤口成分的改变、血管化、或坏死。
3.根据权利要求1和2中任一项所述的方法,进一步包括基于一个或多个伤口的多个训练图像来生成所述像素值的直方图,所述多个训练图像中的每一个包含至少一个已知的感兴趣区域,其中,所述像素值的直方图识别所述一个或多个伤口特性的独特光谱标志。
4.根据权利要求3所述的方法,其中,至少一个所述已知的感兴趣区域至少部分地基于对所述多个训练图像中的相应训练图像中的所述伤口的拭子或组织活检分析。
5.根据权利要求3和4中任一项所述的方法,进一步包括基于至少一个所述已知的感兴趣区域对所述多个训练图像进行分类。
6.根据权利要求3、4及5中任一项所述的方法,其中,所述直方图包括基于与所述多个训练图像相对应的多个已知的感兴趣区域的合成直方图。
7.根据权利要求1至3中任一项所述的方法,进一步包括将所述一个或多个轮廓从凹陷形状修复为凸起形状。
8.根据权利要求1至3中任一项所述的方法,进一步包括使用伤口成像装置获取所述伤口的所述图像。
9.根据权利要求1至3中任一项所述的方法,其中,获取所述伤口的所述图像进一步包括使用移动通信装置的成像装置,所述移动通信装置形成手持式伤口成像和分析装置的一部分。
10.根据权利要求9所述的方法,其中,接收所述伤口的所述图像包括将图像数据从所述移动通信装置的所述成像装置传输到所述手持式伤口成像和分析装置的处理器。
11.根据权利要求9所述的方法,进一步包括用所述手持式伤口成像和分析装置的激励光源照射所述伤口,所述激励光源被配置为激励所述伤口的各部分。
12.根据权利要求11所述的方法,其中,照射所述伤口包括用激励光源照射所述伤口。
13.根据权利要求12所述的方法,其中,照射所述伤口进一步包括用波长约为405nm的激励光源照射所述伤口。
14.根据权利要求1所述的方法,进一步包括检测所述图像中的标记,并且基于检测到的所述标记来配准所述图像。
15.根据权利要求14所述的方法,其中,检测所述标记进一步包括:基于一个或多个阈值的应用将所述图像转换成一个或多个二值图像;基于将一个或多个已知标记的颜色阈值化来生成和添加一个或多个附加的二值图像;使用侵蚀和膨胀操作去除噪声;使用多个基于形状的准则对所述图像进行过滤;从每个二值图像中提取连通成分;计算各个连通成分的中心坐标;并且基于所述中心坐标对所述二值图像进行分组。
16.根据权利要求15所述的方法,其中,所述多个基于形状的准则包括以下中的一个或多个:面积、圆度、最小惯性与最大惯性的比率、凸度、紧凑度、二值颜色和/或椭圆度。
17.根据权利要求14所述的方法,其中,配准所述图像进一步包括将所述图像与一个或多个标准化图像共同配准,所述一个或多个标准化图像包括贴纸,所述贴纸被手动分割并且具有已知的强度、圆度、惯性、面积、凸度、椭圆度、紧凑度、以及最小距离。
18.根据权利要求14和17中任一项所述的方法,其中,所述图像包括实时视频的多个帧中的一个帧,所述方法进一步包括通过整体处理所述实时视频的第一帧来识别所述标记、自动定义围绕每个标记的感兴趣区域、并且仅在来自所述多个帧的每个随后的帧中的所述感兴趣区域内部识别所述标记。
19.根据权利要求1和2中任一项所述的方法,进一步包括接收指示近似伤口边界的输入,并且基于所述输入确定实际伤口边界。
20.根据权利要求19所述的方法,其中,确定所述实际伤口边界包括:将所述近似伤口边界外部的像素识别并标注为背景像素、并且将所述近似伤口边界内部的像素识别并标注为下列之一:可能的背景像素、可能的前景像素、以及明显的前景像素。
21.根据权利要求20所述的方法,其中,所述像素的识别基于分割,所述分割包括迭代最小化。
22.一种系统,包括:
成像装置;
处理器,耦接到所述成像装置;以及
存储器,耦接到所述处理器,所述存储器被配置成存储计算机可读指令,所述计算机可读指令在被所述处理器执行时,使所述处理器执行操作,所述操作包括:
使用所述成像装置获取伤口的图像,所述图像包括多个像素;
对所述多个像素应用色度掩模,所述色度掩模基于像素值的直方图;
基于所述色度掩模的应用生成二值掩模,所述二值掩模识别所述图像上的至少一个感兴趣区域;
检测至少一个所述感兴趣区域的一个或多个轮廓以定义所述感兴趣区域;
将所述一个或多个轮廓叠加在所述图像上以形成识别至少一个所述感兴趣区域的合成图像;以及
将所述合成图像实时输出至所述成像装置的用户。
23.根据权利要求22所述的系统,其中,所述计算机可读指令进一步被配置成使所述处理器执行包括确定在所述图像内存在任何组合的一种或多种颜色的操作。
24.根据权利要求23所述的系统,其中,确定存在所述一种或多种颜色进一步包括通过多个用户定义的阈值处理所述图像并且生成颜色掩模。
25.根据权利要求24所述的系统,其中,所述颜色掩模指示与颜色组合相关联的一个或多个目标特性的存在。
26.根据权利要求25所述的系统,其中,所述一个或多个目标特性包括细菌存在、细菌菌落、伤口大小、伤口边界、以及胶原增殖中的一项或多项。
27.根据权利要求22至26中任一项所述的系统,进一步包括用于存储所述像素值的直方图的数据库。
28.根据权利要求22至26中任一项所述的系统,其中,所述成像装置是移动通信装置的成像装置。
29.根据权利要求28所述的系统,其中,所述移动通信装置和所述处理器包含在所述系统的壳体内。
30.根据权利要求22至26中任一项所述的系统,其中,所述成像装置经由网络通信地耦接到移动通信装置。
31.一种有形的非瞬时性计算机可读介质,用于存储由处理器执行以执行操作的计算机可读代码,所述操作包括:
获取多个红色、绿色、以及蓝色(RGB)图像;
利用计算机界面在多个所述图像中的每一个上标记已知的感兴趣区域,所述已知的感兴趣区域包括细菌存在、伤口边界、胶原增殖、以及伤口大小中的至少一项;
将所述多个RGB图像中的每一个转换为色调饱和度明度(HSV)颜色空间;
针对所述多个RGB图像中的每一个确定HSV值的直方图,所述HSV值的直方图识别所述已知的感兴趣区域中的每一个的独特光谱标志;并且
基于针对所述多个RGB图像中的每一个的所述HSV值的直方图来生成合成直方图;
其中,所述合成直方图用于使用伤口成像装置基于一个或多个所述独特光谱标志实时地从至少一个伤口图像中识别未知的感兴趣区域。
32.根据权利要求31所述的计算机可读介质,其中,所述处理器进一步执行包括基于一个或多个伤口的多个训练图像生成像素值的直方图的操作,所述多个训练图像中的每一个包含至少一个已知的感兴趣区域。
33.根据权利要求32所述的计算机可读介质,其中,所述直方图包括针对在至少一个所述已知的感兴趣区域外部的像素的第一组像素值,以及针对在至少一个所述已知的感兴趣区域内部的像素的第二组像素值。
34.根据权利要求32和33中任一项所述的计算机可读介质,其中,至少一个所述已知的感兴趣区域至少部分地基于对所述多个训练图像中的相应训练图像中的所述伤口的拭子分析。
35.根据权利要求33和34中任一项所述的计算机可读介质,其中,所述处理器进一步执行包括基于至少一个所述已知的感兴趣区域对所述多个训练图像进行分类的操作。
36.根据权利要求32所述的计算机可读介质,其中,所述直方图包括基于与所述多个训练图像相对应的多个所述已知的感兴趣区域的合成直方图。
37.一种系统,包括:
处理器;以及
存储器,耦接到所述处理器,所述存储器被配置成存储计算机可读指令,所述计算机可读指令在被所述处理器执行时,使所述处理器执行操作,所述操作包括:
接收伤口或组织样本的图像,所述图像包括多个像素;
将色度掩模应用于所述多个像素,所述色度掩模基于像素值的直方图并识别所述图像上的至少一个感兴趣区域;
检测围绕至少一个所述感兴趣区域的一个或多个轮廓;
将所述一个或多个轮廓叠加在所述图像上以形成识别至少一个所述感兴趣区域的合成图像;并且
在耦接到所述处理器的显示装置上输出所述合成图像。
38.根据权利要求37所述的系统,其中,所述伤口或组织样本的所述图像使用第一成像装置来获取。
39.根据权利要求38所述的系统,其中,所述像素值的所述直方图基于多个测试图像,所述测试图像已使用与所述第一成像装置基本等效的第二成像装置来获取。
40.根据权利要求39所述的系统,其中,所述第二成像装置具有与所述第一成像装置相同的成像部件。
41.根据权利要求37所述的系统,其中,所述感兴趣区域包括一个或多个伤口特性,所述一个或多个伤口特性包括伤口大小、伤口边界、伤口深度、伤口温度、组织和细胞伤口成分的改变、血管化、坏死、以及细菌存在。
42.根据权利要求37所述的系统,其中,所述感兴趣区域包括一个或多个组织特性,所述一个或多个组织特性包括组织成分、肿瘤大小、肿瘤边缘、肿瘤边界、以及组织血管化。
43.一种用于伤口分析的计算机实现的方法,所述计算机实现的方法存储在计算机可读介质上并包括由处理器执行以执行操作的逻辑指令,所述操作包括:
接收伤口的图像,所述图像包括多个像素;
检测图像中的标记;并且
基于检测到的标记配准所述图像,
其中,检测所述图像中的所述标记包括:
基于一个或多个阈值的应用将所述图像转换成一个或多个二值图像;
基于将一个或多个已知标记的颜色阈值化来生成并添加一个或多个附加的二值图像;
利用侵蚀和膨胀操作去除噪声;
使用多个基于形状的准则对所述图像进行过滤;
从每个二值图像中提取连通成分;
计算每个所述连通成分的中心坐标;并且
基于所述中心坐标对所述二值图像进行分组。
44.根据权利要求43所述的方法,其中,所述多个基于形状的准则包括以下中的一项或多项:面积、圆度、最小惯量与最大惯量的比率、凸度、紧凑度、二值颜色、和/或椭圆度。
45.根据权利要求43所述的方法,其中,配准所述图像进一步包括将所述图像与一个或多个标准化图像共同配准,所述一个或多个标准化图像包括贴纸,所述贴纸被手动分割并且具有已知的强度、圆度、惯性、面积、凸度、椭圆度、紧凑度、以及最小距离。
46.根据权利要求43、44及45中任一项所述的方法,其中,所述图像包括实时视频的多个帧中的一个帧,所述方法进一步包括通过整体处理所述实时视频的第一帧来识别所述标记、自动定义围绕每个标记的感兴趣区域、以及仅在来自所述多个帧的每个随后的帧中的所述感兴趣区域内识别所述标记。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862625611P | 2018-02-02 | 2018-02-02 | |
US62/625,611 | 2018-02-02 | ||
PCT/CA2019/000002 WO2019148265A1 (en) | 2018-02-02 | 2019-01-15 | Wound imaging and analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112005312A true CN112005312A (zh) | 2020-11-27 |
Family
ID=67479093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980011067.6A Pending CN112005312A (zh) | 2018-02-02 | 2019-01-15 | 伤口成像和分析 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11727560B2 (zh) |
EP (1) | EP3747022A4 (zh) |
JP (1) | JP2021511901A (zh) |
CN (1) | CN112005312A (zh) |
AU (1) | AU2019214330A1 (zh) |
BR (1) | BR112020015435A2 (zh) |
CA (1) | CA3089345A1 (zh) |
MX (1) | MX2020008160A (zh) |
WO (1) | WO2019148265A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112716452A (zh) * | 2020-12-27 | 2021-04-30 | 孙炳伟 | 伤口创面的红外监测方法、装置及存储介质 |
CN112890805A (zh) * | 2021-01-14 | 2021-06-04 | 四川大学华西医院 | 一种自动寻找伤口并识别伤口状态的仪器 |
CN113208852A (zh) * | 2021-05-21 | 2021-08-06 | 黎雯 | 一种伤口护理装置 |
CN113283322A (zh) * | 2021-05-14 | 2021-08-20 | 柳城牧原农牧有限公司 | 一种牲畜外伤检测方法、装置、设备和存储介质 |
CN113393420A (zh) * | 2021-05-07 | 2021-09-14 | 温州医科大学 | 一种基于红外热成像技术的伤口智能评估方法 |
CN115019181A (zh) * | 2022-07-28 | 2022-09-06 | 北京卫星信息工程研究所 | 遥感图像旋转目标检测方法、电子设备及存储介质 |
CN116269749A (zh) * | 2023-03-06 | 2023-06-23 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术系统 |
CN116740768A (zh) * | 2023-08-11 | 2023-09-12 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9179844B2 (en) | 2011-11-28 | 2015-11-10 | Aranz Healthcare Limited | Handheld skin measuring or monitoring device |
US10013527B2 (en) | 2016-05-02 | 2018-07-03 | Aranz Healthcare Limited | Automatically assessing an anatomical surface feature and securely managing information related to the same |
US11116407B2 (en) | 2016-11-17 | 2021-09-14 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
WO2018185560A2 (en) | 2017-04-04 | 2018-10-11 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US11308618B2 (en) | 2019-04-14 | 2022-04-19 | Holovisions LLC | Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone |
US12014500B2 (en) | 2019-04-14 | 2024-06-18 | Holovisions LLC | Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear |
US20220020166A1 (en) * | 2019-09-27 | 2022-01-20 | Asensus Surgical Us, Inc. | Method and System for Providing Real Time Surgical Site Measurements |
CN110689548B (zh) * | 2019-09-29 | 2023-01-17 | 浪潮电子信息产业股份有限公司 | 一种医学图像分割方法、装置、设备及可读存储介质 |
CN110970119B (zh) * | 2019-12-18 | 2024-03-08 | 四川大学华西医院 | 一种压力性损伤识别和鉴别的掌上工具 |
WO2022040030A1 (en) * | 2020-08-17 | 2022-02-24 | Thrive Bioscience, Inc. | Cell segmentation image processing methods |
US20220117546A1 (en) * | 2020-10-19 | 2022-04-21 | Woundmatrix, Inc. | Wound measurement |
US11430562B2 (en) * | 2021-01-04 | 2022-08-30 | Healthy.Io Ltd. | Selective reaction to failure to complete medical action |
IL305007A (en) | 2021-02-09 | 2023-10-01 | Adiuvo Diagnostics Private Ltd | Fluorescence-based identification of problematic cellular entities |
BE1027625B1 (fr) | 2021-02-25 | 2022-05-04 | Iot D | Dispositif multifonctionnel et système multifonctionnel pour la surveillance ergonomique et à distance d'une affection cutanée médicale ou cosmétique |
US11758263B2 (en) | 2021-08-24 | 2023-09-12 | Moleculight, Inc. | Systems, devices, and methods for imaging and measurement using a stereoscopic camera system |
EP4287002A4 (en) * | 2021-08-30 | 2024-05-29 | BOE Technology Group Co., Ltd. | DISPLAY CONTROL METHOD AND APPARATUS, AND COMPUTER READABLE STORAGE MEDIUM AND DISPLAY DEVICE |
CN113780200A (zh) * | 2021-09-15 | 2021-12-10 | 安徽理工大学 | 基于计算机视觉的路面多种病害面积检测及定位方法 |
CN114081536B (zh) * | 2021-10-21 | 2023-09-26 | 深圳市罗湖医院集团 | 鼻咽拭子采样方法、装置、电子设备及存储介质 |
CA3182708A1 (en) * | 2021-11-24 | 2023-05-24 | Moleculight Inc. | Systems, devices, and methods for image interpretation |
GB2613347A (en) * | 2021-11-30 | 2023-06-07 | Streamlined Forensic Reporting Ltd | System for wound analysis |
US11944508B1 (en) * | 2022-01-13 | 2024-04-02 | Altair Innovations, LLC | Augmented reality surgical assistance system |
US11471696B1 (en) * | 2022-02-01 | 2022-10-18 | The Florida International University Board Of Trustees | Handheld devices for wound assessment using multi-modal imaging |
CN114563378B (zh) * | 2022-03-03 | 2022-07-29 | 生态环境部卫星环境应用中心 | 湖库蓝藻水华空间分布定量描述方法、装置、介质和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050136549A1 (en) * | 2003-10-30 | 2005-06-23 | Bioimagene, Inc. | Method and system for automatically determining diagnostic saliency of digital images |
AU2002308394B2 (en) * | 2001-05-18 | 2006-11-23 | Polartechnics Limited | Boundary finding in dermatological examination |
CN106714670A (zh) * | 2014-07-24 | 2017-05-24 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
US20170372117A1 (en) * | 2014-11-10 | 2017-12-28 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003270654A1 (en) | 2002-09-12 | 2004-04-30 | Baylor College Of Medecine | System and method for image segmentation |
EP2291640B1 (en) | 2008-05-20 | 2018-12-26 | University Health Network | Device and method for fluorescence-based imaging and monitoring |
JP5836908B2 (ja) * | 2012-09-27 | 2015-12-24 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US11337612B2 (en) * | 2013-12-03 | 2022-05-24 | Children's National Medical Center | Method and system for wound assessment and management |
WO2015116823A1 (en) | 2014-01-29 | 2015-08-06 | The Johns Hopkins University | System and method for wound imaging and debridement |
SG10201405182WA (en) * | 2014-08-25 | 2016-03-30 | Univ Singapore Technology & Design | Method and system |
US9717417B2 (en) * | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
WO2016069463A2 (en) * | 2014-10-29 | 2016-05-06 | Tissue Analystics, Inc. | A system and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions |
-
2019
- 2019-01-15 US US16/966,591 patent/US11727560B2/en active Active
- 2019-01-15 CN CN201980011067.6A patent/CN112005312A/zh active Pending
- 2019-01-15 EP EP19748362.1A patent/EP3747022A4/en active Pending
- 2019-01-15 AU AU2019214330A patent/AU2019214330A1/en active Pending
- 2019-01-15 JP JP2020541966A patent/JP2021511901A/ja active Pending
- 2019-01-15 CA CA3089345A patent/CA3089345A1/en active Pending
- 2019-01-15 WO PCT/CA2019/000002 patent/WO2019148265A1/en unknown
- 2019-01-15 MX MX2020008160A patent/MX2020008160A/es unknown
- 2019-01-15 BR BR112020015435-0A patent/BR112020015435A2/pt unknown
-
2023
- 2023-08-14 US US18/449,205 patent/US20230394660A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002308394B2 (en) * | 2001-05-18 | 2006-11-23 | Polartechnics Limited | Boundary finding in dermatological examination |
US20050136549A1 (en) * | 2003-10-30 | 2005-06-23 | Bioimagene, Inc. | Method and system for automatically determining diagnostic saliency of digital images |
CN106714670A (zh) * | 2014-07-24 | 2017-05-24 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
US20170372117A1 (en) * | 2014-11-10 | 2017-12-28 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
Non-Patent Citations (2)
Title |
---|
FRANCISCO J. VEREDAS ET AL: "Efficient detection of wound bed and peripheral skin with statistical colour models", 《MEDICAL BIOLOGICAL ENGINEERING AND COMPUTING》, vol. 53, no. 4, pages 350 - 352 * |
K. SUNDEEP KUMAR ET AL: "Wound Image Analysis Using Contour Evolution", 《WOUND IMAGE ANALYSIS USING CONTOUR EVOLUTION》, vol. 6, pages 36 - 42, XP055726019, DOI: 10.5815/ijigsp.2014.06.05 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112716452A (zh) * | 2020-12-27 | 2021-04-30 | 孙炳伟 | 伤口创面的红外监测方法、装置及存储介质 |
CN112890805A (zh) * | 2021-01-14 | 2021-06-04 | 四川大学华西医院 | 一种自动寻找伤口并识别伤口状态的仪器 |
CN112890805B (zh) * | 2021-01-14 | 2023-06-02 | 四川大学华西医院 | 一种自动寻找伤口并识别伤口状态的仪器 |
CN113393420A (zh) * | 2021-05-07 | 2021-09-14 | 温州医科大学 | 一种基于红外热成像技术的伤口智能评估方法 |
CN113393420B (zh) * | 2021-05-07 | 2023-07-25 | 温州医科大学 | 一种基于红外热成像技术的伤口智能评估方法 |
CN113283322A (zh) * | 2021-05-14 | 2021-08-20 | 柳城牧原农牧有限公司 | 一种牲畜外伤检测方法、装置、设备和存储介质 |
CN113208852A (zh) * | 2021-05-21 | 2021-08-06 | 黎雯 | 一种伤口护理装置 |
CN115019181A (zh) * | 2022-07-28 | 2022-09-06 | 北京卫星信息工程研究所 | 遥感图像旋转目标检测方法、电子设备及存储介质 |
CN116269749A (zh) * | 2023-03-06 | 2023-06-23 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术系统 |
CN116269749B (zh) * | 2023-03-06 | 2023-10-10 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术系统 |
CN116740768A (zh) * | 2023-08-11 | 2023-09-12 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
CN116740768B (zh) * | 2023-08-11 | 2023-10-20 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20230394660A1 (en) | 2023-12-07 |
WO2019148265A1 (en) | 2019-08-08 |
EP3747022A4 (en) | 2021-11-10 |
JP2021511901A (ja) | 2021-05-13 |
BR112020015435A2 (pt) | 2020-12-08 |
US11727560B2 (en) | 2023-08-15 |
EP3747022A1 (en) | 2020-12-09 |
US20200364862A1 (en) | 2020-11-19 |
MX2020008160A (es) | 2020-11-24 |
AU2019214330A1 (en) | 2020-08-20 |
CA3089345A1 (en) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727560B2 (en) | Wound imaging and analysis | |
CN110337258B (zh) | 使用可编程光源对图像进行多类分类的系统和方法 | |
US7454046B2 (en) | Method and system for analyzing skin conditions using digital images | |
JP6920931B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
EP3160327B1 (en) | Acne imaging apparatus | |
Chantharaphaichi et al. | Automatic acne detection for medical treatment | |
US20150379712A1 (en) | Medical image processing | |
US20210042915A1 (en) | Automated monitoring of medical imaging procedures | |
CN110136191B (zh) | 用于体内对象的大小估计的系统和方法 | |
JP2003513735A (ja) | 皮膚状態を検査し、記録し、解析するシステムおよび方法 | |
Delpueyo et al. | Multispectral imaging system based on light-emitting diodes for the detection of melanomas and basal cell carcinomas: a pilot study | |
JPWO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
WO2020146489A1 (en) | Hyperspectral imaging in automated digital dermoscopy screening for melanoma | |
JPWO2019220801A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム | |
CN116964435A (zh) | 有问题的细胞实体的基于荧光的检测 | |
US20230363697A1 (en) | Acne severity grading methods and apparatuses | |
WO2007035829A2 (en) | Systems and methods for analyzing skin conditions of people using digital images | |
US20240065540A1 (en) | Apparatus and method for detecting cervical cancer | |
CN113631076B (zh) | 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 | |
Rimskaya et al. | Development Of A Mobile Application For An Independent Express Assessment Of Pigmented Skin Lesions | |
US20240027417A1 (en) | System and method for assessing biological tissue | |
Finkšt et al. | Autofluorescence bronchoscopy image processing in the selected colour spaces | |
JP6948032B2 (ja) | 画像解析装置および検査システム | |
US20230177694A1 (en) | Verification of segmentation of luminescence images limited to analysis regions thereof | |
WO2023064627A1 (en) | System and method for assessing biological tissue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40042733 Country of ref document: HK |