CN116829057A - 用于组织的多光谱3d成像和诊断的系统和装置及其方法 - Google Patents
用于组织的多光谱3d成像和诊断的系统和装置及其方法 Download PDFInfo
- Publication number
- CN116829057A CN116829057A CN202280012539.1A CN202280012539A CN116829057A CN 116829057 A CN116829057 A CN 116829057A CN 202280012539 A CN202280012539 A CN 202280012539A CN 116829057 A CN116829057 A CN 116829057A
- Authority
- CN
- China
- Prior art keywords
- tissue
- image
- time
- light
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 title description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000005286 illumination Methods 0.000 claims description 33
- 230000003595 spectral effect Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000005855 radiation Effects 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000010438 heat treatment Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000006698 induction Effects 0.000 claims 2
- 210000001519 tissue Anatomy 0.000 description 62
- 238000013528 artificial neural network Methods 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 13
- 210000000214 mouth Anatomy 0.000 description 13
- 238000000701 chemical imaging Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 208000007565 gingivitis Diseases 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 8
- 239000008280 blood Substances 0.000 description 8
- 208000002925 dental caries Diseases 0.000 description 8
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 229910052760 oxygen Inorganic materials 0.000 description 6
- 239000001301 oxygen Substances 0.000 description 6
- 230000036555 skin type Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 208000002874 Acne Vulgaris Diseases 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 206010000496 acne Diseases 0.000 description 4
- 230000001580 bacterial effect Effects 0.000 description 4
- 230000001680 brushing effect Effects 0.000 description 4
- 230000001684 chronic effect Effects 0.000 description 4
- 230000005802 health problem Effects 0.000 description 4
- 230000000004 hemodynamic effect Effects 0.000 description 4
- 230000004660 morphological change Effects 0.000 description 4
- 208000028169 periodontal disease Diseases 0.000 description 4
- 201000001245 periodontitis Diseases 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000002366 time-of-flight method Methods 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 206010008570 Chloasma Diseases 0.000 description 3
- 201000004624 Dermatitis Diseases 0.000 description 3
- 206010013786 Dry skin Diseases 0.000 description 3
- 206010061218 Inflammation Diseases 0.000 description 3
- 208000003351 Melanosis Diseases 0.000 description 3
- 241001303601 Rosacea Species 0.000 description 3
- 208000000453 Skin Neoplasms Diseases 0.000 description 3
- 208000026062 Tissue disease Diseases 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012631 diagnostic technique Methods 0.000 description 3
- 230000037336 dry skin Effects 0.000 description 3
- 230000004054 inflammatory process Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 201000004700 rosacea Diseases 0.000 description 3
- 201000000849 skin cancer Diseases 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 230000008833 sun damage Effects 0.000 description 3
- 208000009056 telangiectasis Diseases 0.000 description 3
- 230000000287 tissue oxygenation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 2
- 101100366935 Caenorhabditis elegans sto-2 gene Proteins 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 208000003445 Mouth Neoplasms Diseases 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 2
- 208000037581 Persistent Infection Diseases 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- 150000007513 acids Chemical class 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 208000001277 chronic periodontitis Diseases 0.000 description 2
- 238000006392 deoxygenation reaction Methods 0.000 description 2
- 108010002255 deoxyhemoglobin Proteins 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000000069 hyperpigmentation Diseases 0.000 description 2
- 230000003810 hyperpigmentation Effects 0.000 description 2
- 210000000987 immune system Anatomy 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008557 oxygen metabolism Effects 0.000 description 2
- 230000007310 pathophysiology Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 210000003296 saliva Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 235000012239 silicon dioxide Nutrition 0.000 description 2
- 239000000377 silicon dioxide Substances 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 241001448624 Miliaria Species 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 206010040954 Skin wrinkling Diseases 0.000 description 1
- 208000001203 Smallpox Diseases 0.000 description 1
- 241000870995 Variola Species 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052681 coesite Inorganic materials 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 229910052906 cristobalite Inorganic materials 0.000 description 1
- 210000004268 dentin Anatomy 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000036559 skin health Effects 0.000 description 1
- 229910052682 stishovite Inorganic materials 0.000 description 1
- 239000004408 titanium dioxide Substances 0.000 description 1
- 229910052905 tridymite Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
- A46B15/0016—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
- A46B15/0034—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a source of radiation, e.g. UV, IR, LASER, X-ray for irradiating the teeth and associated surfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/682—Mouth, e.g., oral cavity; tongue; Lips; Teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B2200/00—Brushes characterized by their functions, uses or applications
- A46B2200/10—For human or animal care
- A46B2200/1066—Toothbrush for cleaning the teeth or dentures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
提供了用于对组织进行诊断的成像系统、装置和方法。该系统可以包括一个或更多个被配置成以多个波长投射光的光源(例如，LED)。飞行时间模块可以被配置成投射调制光，接收调制光的反射部分，和/或基于所接收的调制光的反射部分生成三维飞行时间图像。多光谱相机可以被配置成接收光的反射部分，并基于所接收的光的反射部分生成多光谱图像。处理器可以被配置成识别飞行时间图像和多光谱图像；基于将飞行时间图像和多光谱图像的一个或更多个部分组合来生成数据矩阵；以及使数据矩阵显示为三维图像。
Description
相关申请的交叉引用
本申请要求2021年2月2日提交的美国临时申请第63/144,612号的优先权权益，其内容在此通过引用以其整体并入本文。
背景技术
组织健康问题可以有许多形式。例如，组织健康问题可以包括龋齿、口腔癌和牙周病。牙周病通常由口腔中的某些细菌种群引起，所述细菌种群与唾液中存在的蛋白质相互作用以形成覆盖牙齿的被称为牙菌斑的膜。如果这种生物膜累积发展，则由细菌产生的酸可能侵蚀牙齿，导致蛀牙。牙菌斑还可能侵蚀口腔的软齿龈组织，导致影响齿龈的牙龈炎、或者可能影响所有软组织和支撑牙齿的骨的牙周炎。在没有早期和准确的诊断方法的情况下，这些病症可能变成慢性的，并且给患者带来身体疼痛，并给他们带来医疗/牙科程序的负担。
其他口腔病症，如牙龈炎，使齿龈发炎，并且其特征为发红、肿胀、出血和敏感。这些变化由沿牙龈边缘的生物膜累积和对破坏性细菌副产物的释放响应的免疫系统炎症引起。牙龈炎导致增多的血管分布以及血管结构、血液动力学和组织氧合的形态学变化。在疾病进展和对治疗的响应期间，监测和评估牙龈的局部炎症血液动力特征，如组织氧饱和度(StO2)、总组织血红蛋白(tHb)、脱氧血红蛋白(Hb)和氧合血红蛋白(HbO2)，对于理解病理生理学至关重要。牙龈炎的早期阶段通过彻底刷洗和牙线是可逆转的。然而，在没有充分的口腔卫生的情况下，则可能发展成慢性感染和牙周炎。
目前，没有可以以定量深度分辨的方式提供组织的体积、光谱诊断的指标，如微观形态变化、功能和光谱信息的动态的可靠的消费者或临床水平的早期问题诊断系统。这样的装置是期望的，因为其将极大地有益于用户的临床和家庭护理，并且在慢性组织疾病预防中具有大大的益处。
发明内容
在一个方面中，本公开内容可以涉及用于对组织进行诊断的成像系统。该系统可以包括环形阵列，所述环形阵列包括一个或更多个被配置成以多个波长并沿着光路投射光的照射源(例如，LED)。可以提供包括飞行时间传感器和照射器的飞行时间模块，其中照射器被配置成将调制光沿着光路投射到组织上，以及飞行时间传感器被配置成接收投射到组织上的调制光的反射部分，并基于所接收的调制光的反射部分或发光部分生成三维飞行时间图像。多光谱相机可以被配置成接收以多个波长投射的光的反射部分，并基于所接收的光的反射部分生成多光谱图像。处理器可以被配置成识别经由飞行时间传感器生成的飞行时间图像和经由多光谱相机生成的多光谱图像；基于将飞行时间图像和多光谱图像的一个或更多个部分组合，生成深度和光谱编码的数据矩阵；并使深度和光谱编码的数据矩阵经由显示器显示为三维图像。
在另一方面中，本公开内容可以涉及用于对组织进行诊断的方法。该方法可以包括：经由一个或更多个照射源(例如，LED)将光以多个波长且沿着光路投射到组织上；沿着光路投射调制光并将调制光投射到组织上，并且接收投射到组织上的调制光的反射部分；基于所接收的调制光的反射部分或发射部分生成三维飞行时间图像；接收以多个波长投射的光的反射部分，并基于所接收的光的反射部分生成多光谱图像；基于将飞行时间图像和多光谱图像的一个或更多个部分组合来生成深度和光谱编码的数据矩阵；以及使深度和光谱编码的数据矩阵显示为三维图像。
附图说明
根据详细描述和附图，本公开内容将变得被更完全地理解，其中：
图1A、1B为如本文所述的示例性多光谱成像和诊断系统的透视图。
图2A至2C为如图1A、1B所示的示例性多光谱成像和诊断系统的图。
图3A至3C为如图1A、1B所示的示例性多光谱成像和诊断系统的图。
图4A至4C为如本文所述的另一个示例性多光谱成像和诊断系统的图。
图5A、5B为如本文所述的具有清洁刷头的扫描仪的图。
图6为如本文所述的示例性照射方法的框图。
图7A为如本文所述的示例性人工智能分类器的框图。
图7B为如本文所述的示例性人工智能通信器的框图。
图8为如本文所述的示例性人工智能模块的框图。
图9为如本文所述的示例性方法的流程图。
具体实施方式
以下对优选实施方案的描述本质上仅是示例性的并且决不旨在限制本发明。对示例性实施方案的描述旨在结合附图阅读，附图将被认为是整个书面描述的一部分。在本文所公开的示例性实施方案的描述中，对方向或取向的任何提及仅旨在为了便于描述，并且不旨在以任何方式限制本发明的范围。相对性术语例如“下”、“上”、“水平”、“垂直”、“上方”、“下方”、“向上”、“向下”、“左”、“右”“顶部”、“底部”、“前”和“后”以及其派生词(例如，“水平地”、“向下地”、“向上地”等)应解释为是指如稍后描述的或如讨论中的附图中所示的取向。除非明确指明如此，否则这些相对性术语仅是为了便于描述，并且不要求特定的取向。术语例如“附接”、“附着”、“连接”、“联接”、“互连”、“固定”以及其他类似术语是指其中结构彼此直接地或者通过中间结构间接地固定或附接的关系，以及两者可移动或固定不动的附接或关系，除非另外明确描述并非如此。本文的讨论描述并示出了可以单独或以特征的其他组合存在的特征的一些可能的非限制性组合。此外，如本文所使用的，术语“或”应解释为无论其操作数中的一个或更多个在任何时候为真时均导致真的逻辑运算符。此外，如本文所使用的，短语“基于”应解释为意指“至少部分地基于”，因此不限于“完全基于”的解释。
如通篇所使用的，范围用作用于描述该范围内的各个值和每个值的简写。范围内的任何值都可以被选择作为范围的端点。此外，本文中引用的所有参考文献在此通过引用以其整体并入。在本公开内容中的定义与所引用的参考文献的定义相冲突的情况下，以本公开内容为准。
本发明的特征可以在软件、硬件、固件、或其组合中实现。本文描述的计算机程序不限于任何特定的实施方案，并且可以在操作系统、应用程序、前台或后台过程、驱动器、或其任何组合中实现。计算机程序可以在单个计算机或服务器处理器或者多个计算机或服务器处理器上执行。
本文描述的处理器可以为任何中央处理单元(CPU)、微处理器、微控制器、计算或可编程装置或被配置成执行计算机程序指令(例如代码)的电路。各种处理器可以体现在任何合适类型的计算机和/或服务器硬件(例如台式机、膝上型电脑、笔记本电脑、平板电脑、蜂窝电话等)中，并且可以包括形成功能数据处理装置所需的所有常规辅助组件，包括但不限于总线、软件和数据存储器(例如易失性和非易失性存储器)、输入/输出设备、图形用户界面(GUI)、可移动数据存储器以及包括Wi-Fi、蓝牙、LAN等的有线和/或无线通信接口装置。
计算机可执行指令或程序(例如，软件或代码)以及本文描述的数据可以被编程到并且有形地体现在非暂时性计算机可读介质中，所述非暂时性计算机可读介质可通过如本文描述的相应处理器访问和检索，所述处理器通过执行编码在介质中的指令来配置和指导处理器执行期望的功能和过程。体现被配置成这样的非暂时性计算机可执行指令或程序的可编程处理器的装置可以被称为“可编程装置”或“装置”，并且相互通信的多个可编程装置可以被称为“可编程系统”。应注意，如本文描述的非暂时性“计算机可读介质”可以包括但不限于可以被写入和/或通过可操作地连接至介质的处理器读取的任何合适的易失性或非易失性存储器，包括随机存取存储器(RAM)及其各种类型、只读存储器(ROM)及其各种类型、USB闪存、以及磁或光数据存储装置(例如，内部/外部硬盘、软盘、磁带CD-ROM、DVD-ROM、光盘、ZIPTM驱动、蓝光(Blu-ray)盘以及其他装置)。
在某些实施方案中，本发明可以以计算机实现的过程和设备(例如基于处理器的数据处理、以及用于实践那些处理的通信系统或计算机系统)的形式体现。本发明还可以以非暂时性计算机可读存储介质中体现的软件或计算机程序代码的形式体现，其在下载到数据处理和通信系统或计算机系统中并通过数据处理和通信系统或计算机系统执行时，计算机程序代码片段将处理器配置成产生被配置成实现该过程的特定的逻辑电路。
组织健康问题可以有许多形式。例如，黑素瘤、干性皮肤、蛀牙、口腔癌、牙周病、皱纹、皮炎、红斑痤疮、色素沉着过度、日光损伤、增生、蜘蛛静脉、黄褐斑(melisma)、粟粒疹、花斑疹(versicolor)和痤疮为组织健康问题。牙周病和龋齿通常由口腔中的某些细菌种群引起，所述细菌种群与唾液中存在的蛋白质相互作用以形成覆盖牙齿的被称为牙菌斑的膜。如果这种生物膜累积发展，则由细菌产生的酸可能侵蚀牙齿，导致龋齿。牙菌斑还可能侵蚀口腔的软齿龈组织，导致可能影响齿龈的牙龈炎、或者可能影响所有软组织和支撑牙齿的骨的牙周炎。在没有早期和准确的诊断方法的情况下，这些病症可能变成慢性的，并且给患者带来身体疼痛，并给他们带来医疗/牙科程序的负担。
其他常见的口腔病症，如牙龈炎，使齿龈发炎，并且其特征为发红、肿胀、出血和敏感。这些变化由沿牙龈边缘的生物膜累积和对破坏性细菌副产物的释放响应的免疫系统炎症引起。牙龈炎导致增多的血管分布以及血管结构、血液动力学和组织氧合的形态学变化。在疾病进展和对治疗的响应期间，监测和评估牙龈的局部炎症血液动力学特征，如组织氧饱和度(StO2)、总组织血红蛋白(tHb)、脱氧血红蛋白(Hb)和氧合血红蛋白(HbO2)，对于理解病理生理学至关重要。牙龈炎的早期阶段通过彻底刷洗和牙线是可逆转的。然而，在没有充分的口腔卫生的情况下，则可能发展成慢性感染和牙周炎。
本文描述了消费者或临床水平的早期问题诊断系统。这样的系统可以以定量深度分辨的方式提供软组织和/或硬组织的体积、光谱诊断的指标(例如，微观形态变化、功能和光谱信息的动态)。这样的装置可以有益于用户的临床和家庭护理，并且可以在慢性组织疾病预防中具有大大的益处。
本文描述了高分辨扫描仪(例如，3D扫描仪)。该高分辨3D扫描仪可以基于结构化照射3D图像重建。在结构光下，图案被投射到目标上。结构的变形可以允许目标的3D特征的数学确定。在一个实例中，该系统可以包括传感器(例如，触觉传感器)，所述触觉传感器可以在进行口腔的自扫描的同时提供关于扫描进度的实时反馈。
本文描述了3D近距离成像(例如，传感)。例如，本文描述了飞行时间(ToF)3D成像。尽管本文描述了ToF 3D成像，但是这样的成像仅仅是成像的方法，并不旨在进行限制。例如，3D近距离成像可以包括ToF成像、图案化/结构化照射、立体视觉、主动立体视觉和/或激光雷达中的一者或更多者。激光雷达可以包括飞行时间方法和/或频域方法，例如，其可以使用连续波(CW)激光器。
在一个实例中，ToF 3D成像可以包括可以以x像素、y像素和xy深度提供数据的3D点云/图像。ToF 3D成像可能比高分辨3D扫描仪更简单。ToF成像可以向目标发射超短光脉冲。然后，光被散射回到快速检测传感器。通过测量光击中目标并散射回到传感器所用的时间，可以有可能计算目标与传感器的距离。例如，在ToF模块的情况下，可以并入点投射仪用于更多的备用照射，这可以使多重反射伪影最小化。由于该处理(例如，简单化处理)，ToF3D成像可以实现远远超过结构照射3D成像(例如，30Hz至60Hz之间)的成像速率。
可以进行利用ToF相机的多光谱成像(例如，3D成像)。例如，利用ToF相机的多光谱成像(例如，3D成像)可以通过用光谱相机捕捉的目标的可见光图像叠加3D深度图来进行。多光谱成像可以同时使用两种或更多种(例如，三种)波长来提供用于组织诊断的光谱图像。为了生成诊断图像，利用3D深度图来确定组织角度和距离。然后使用该角度和距离，连同由多光谱相机(例如快照多光谱相机)测量的反射光的强度，以比2D图像更准确地确定组织吸收。然后，使用组织发色团的已知吸收常数以定量或定性地确定发色团浓度图。发色团浓度图用于诊断组织健康并产生2D和/或3D诊断图像。例如，可以产生高分辨的局部解剖图像，其可以用于软组织和/或硬组织(例如与口腔、皮肤和/或面部相关的组织)的纵向形态分析。诊断图像可以用于识别对象在一个或更多个深度处的结构(例如，不同的结构)。例如，图像可以提供与软组织和/或硬组织(例如与口腔、皮肤和/或面部相关的组织)相关的光谱、荧光和/或比色信息。
高帧率的多光谱成像可以用于疾病诊断、皮肤健康评估和口腔健康评估。例如，可以使用多光谱成像来确定血液和组织氧合、血液浓度、黑色素分布、胶原密度、皮肤含水量、皮肤癌、口腔生物膜、皱纹和牙齿白度。利用高速成像，脉搏、血压、氧代谢率和/或实时血流可以是可以确定的生物计量测量结果。例如，通过使用UV/蓝光激发并将收集的荧光与3DToF数据叠加，定量光荧光可以用于诊断。
3D扫描仪可以依靠结构化照射用于3D图像获取。由于3D扫描仪所必需的复杂性和大计算能力，3D扫描仪可能(例如，对于家庭护理而言)过分昂贵和/或在临床应用中高度受限。相比之下，ToF相机可能廉价，并且可以集成到计算机和/或智能装置中用于面部识别，使该技术在消费者水平上广泛可用。当与多光谱相机和校准光源一起应用时，这样的特征可以允许ToF相机的基础设施用于家庭诊断。
为了克服当前3D扫描仪的技术困难和/或使消费者和临床医生更容易获得组织诊断技术，如本文所述，可以提供成本有效的多光谱体积组织诊断成像系统。该系统可以使用照射器(例如，调制稀疏照射投射仪)结合ToF 2D阵列传感器来实现3D成像。多光谱成像可以通过获取(例如，同时获取)目标的2D多光谱图像并将3D ToF和2D多光谱信息组合成包含3D位置和光谱信息的数据矩阵(例如，深度和光谱编码的数据矩阵)来实现。
如本文所述，数据矩阵可以显示为3D拼接图像。在一个实例中，数据矩阵可以在拼接过程期间显示，因此用户可以确保获取区域(例如，口腔区域等)的数据。使用图像结构拟合技术和惯性测量单元(IMU)来确定装置取向/位置，可以实现实时图像拼接。可以使用复杂的扩展卡尔曼滤波器-同步定位和绘图(Extended Kalman Filter-SimultaneousLocalization and Mapping，EKF-SLAM)来实现实时3D图像拼接，所述EKF-SLAM可以组合3D点云ToF图像和惯性测量单元(IMU)来确定3D空间中的装置取向/位置。在一个实例中，来自图像(例如，单个3D快照图像)的数据可以用于使用技术(例如，SLAM)来匹配/拼接后续图像。ToF传感器的高速帧速率可以提供准确和/或及时的图像拼接，这可以允许体积组织成像和分析(例如，大体积组织成像和分析)。例如，多光谱图像可以用于通过识别可以通过拼接技术对齐和匹配的结构来帮助拼接。例如，重叠点云和多光谱数据的拼接(例如，3D实时拼接)可以用于基于惯性测量单元(IMU)和SLAM技术生成整个口腔的3D光谱图。
可以提供3D多光谱(例如，光谱)成像和诊断系统。3D多光谱成像和诊断系统可以具有小的外形尺寸和/或可以被手持。3D多光谱成像和诊断系统可以基于具有调制稀疏照射的集成ToF模块、用于定量组织诊断的多光谱相机以及集成到内部SoC上用于装置取向确定的惯性测量单元(IMU)。IMU可以为使用加速计、陀螺仪、磁力计等测量和/或报告力、角速率、取向等的电子装置。图1A、1B中示出了示例性系统。图1A、1B示出了具有附接的成角度的轨道镜(mirror head，动态镜像投影)(图1A)和移除了成角度的轨道镜(图1B)的示例性装置的透视图。
系统100包括手持主体102以及一个或更多个反射镜，例如可拆卸的成角度的轨道镜103。系统100可以直接或无线联接至可以为膝上型电脑或平板电脑的数据处理和显示单元。例如，系统100可以包括在进行口内扫描(例如，自口内扫描)的同时对智能手机或平板电脑的实时视觉反馈。该系统可以包括处理器，例如片上系统(SoC)。SoC可以容纳在装置的主体中，并且可以充当数据处理单元。SoC可以为集成了一个或更多个组件如中央处理单元(CPU)、图形处理单元(GPU)、存储器、输入/输出端口、通信接口等的集成电路。所述组件可以容纳在单个基底或多个基底上。
由SoC确定的数据可以被传输(例如，无线传输)到接收单元用于显示。接收单元可以为任务为直接显示信息、或者在显示单元上显示之前对信息应用进一步处理的计算机程序。数据可以无线传输到外部服务器(例如，云)用于外部计算。来自外部计算的结果可以被传输到便携式装置，例如笔记本电脑或智能装置。主体102可以容纳一个或更多个用于对光进行引导和塑形的光学组件、照射源和/或图像获取单元。
如本文所述，光可以以多个波长和/或沿着光路投射到组织(例如，口腔组织、面部组织等)上。光可以经由一个或更多个照射源(例如，LED)投射。调制光可以沿着光路投射并投射到组织上。可以接收投射到组织上的调制光的反射部分。可以基于所接收的调制光的反射部分生成三维飞行时间图像。可以接收以多个波长投射的光的反射部分。可以产生基于所接收的光的反射部分的多光谱图像。可以基于将飞行时间图像和多光谱图像的一个或更多个部分组合生成深度和光谱编码的数据矩阵。可以使深度和光谱编码的数据矩阵显示为三维图像。
在一个实例中，可以使用3D深度剖面数据作为各种齿龈病症的指标，例如牙龈炎(例如，由于炎症引起的组织体积变化)、齿龈退缩(例如，边缘牙龈组织体积的减少)等。3D深度剖面数据可以用于叠加各种软组织和硬组织参数，例如，作为(例如，在用户/消费者侧的)伪色图。软组织和/或硬组织参数可以从多光谱光谱传感器数据，例如龋齿的空间轮廓、牙菌斑(例如生物膜浓度)、氧-脱氧和氧饱和度图、牙渍图等中导出。
图2A至2C示出了系统100的示例性组件。图2A示出了如图1A、1B提供的系统100的侧视图。图2B、2C示出了系统100的内部组件。
如图2B、2C所提供的，可以提供内部反射镜204。例如，可以提供内部反射镜204来引导ToF调制光(图2C中所示的虚线)通过系统100(例如，系统100的主体)。在一个实例中，ToF调制光可以在入射到对象(例如，样本，如组织、牙齿等)上之前穿过可见-NIR反射/IR透射分束器205。在成角度的轨道镜的实例中，ToF调制光可以被成角度的轨道镜103引导(例如，重新定向)到对象(图2A)。环形漫射器206可以用于使一个或更多个(例如，不同的)阵列光源均匀化。例如，环形漫射器206可以放置在照射环形阵列207的前面，以使不同的阵列光源均匀化。
环形阵列207可以包含一个或更多个具有以下波长的照射源(例如，LED)，370nm至415nm(UV/蓝光)用于诱导荧光，415nm至670nm(可见光)用于反射测量，以及820nm至1700nm(NIR/IR)用于近红外/红外反射测量。在实例中，LED环可以包含短波红外(SWIR)光源，用于更深入到组织中成像。均匀化的光可以入射到样品上，和/或在使用成角度的轨道镜的情况下朝向目标反射。装置主体可以包含多光谱相机208，其可以位于例如分束器205上方。多光谱相机208可以为RGB、多通道近红外(NIR)相机，具有特定可见光和NIR通道的相机。在实例中，多光谱通道可以具有一个或更多个SWIR敏感通道。可以包含ToF传感器和稀疏投射仪(例如，照射投射仪)的ToF模块209可以定位于第一内部反射镜上方。来自模块的投射光可以由反射镜引导穿过主体。
ToF传感器可以收集从目标散射并被反射镜204重新定向通过系统的反射光(例如，IR光)。反射镜可以被涂覆用于高效地反射所投射的光并透射或吸收其他波长。可以沿着光路和/或在ToF模块前方使用滤光器来阻挡非IR光撞击传感器(例如，降低背景噪声)。在一个实例中，SoC 210可以用于获取多光谱编码的图像和/或ToF深度编码的图像。SoC210可以将图像组合成深度和光谱编码的数据矩阵。例如，多光谱图像和ToF图像可以通过将图像叠加在彼此的顶部来组合。在一个实例中，每个相机(例如，ToF相机和多光谱相机)的FOV可以重叠以叠加图像，尽管在实例中图像可以通过其他技术来进行叠加。数据矩阵可以直接或无线发送(例如，实时发送)到显示器或具有显示器的其他处理单元。数据矩阵可以显示为3D图像(3D拼接图像)。在实例中，SoC可以用于一个或更多个(例如，所有)计算，并且可以将结果发送到显示器和/或外部处理/存储装置。系统100的一个或更多个组件可以由电池(例如，可充电电池211)或电源线供电。
例如，为了准确成像，ToF模块可能需要对象与传感器的距离最小。该距离可以基于ToF模块的调制和/或其他电子因素。此外，ToF模块的深度精度可能与ToF模块检测调制照射光之间的相位差的能力相关。由于光高速通过空气，因此模块可能被限制在约3mm的深度分辨率。因为光通过高折射率材料传播得更慢，所以通过将光发送通过高折射率材料，可以缩短最小成像距离和/或改善深度分辨率。
图3A至3C示出了其中内部光学器件由在IR波长中透明的高折射率材料构成的系统100的实例。图3A示出了如图1A、1B提供的系统100的侧视图。图3B、3C示出了系统100的内部组件。图2A至2C和图3A至3C中相似编号的元件示出了类似的组件。
ToF传感器可以联接至高折射率材料，或者ToF可以使用折射率类似于棱镜的另一种材料例如高折射率胶或液体联接至高折射率棱镜。高折射率棱镜可以具有带有IR反射涂层的平坦表面，该涂层充当用于ToF测量的调制IR光的反射镜。涂层可以包括例如TiO2(二氧化钛)和SiO2(二氧化硅)的交替的高介电常数层和低介电常数层。其他实例可以包括具有不同(例如，显著不同)介电常数的薄介电材料的交替的一个或更多个薄层。这些层可以为例如几十至几百纳米厚和/或可以定制成不同的波长。涂层可以被施加至系统100的一个或更多个组件，例如多光谱相机208、ToF模块209、反射镜204等中的一者或更多者。
为了降低折射率错配(例如，到棱镜系统中的背反射)，分束器205可以(例如，在没有空气界面的情况下)附接至棱镜或者使用折射率材料(如高折射率液体或胶水)附接。高折射率材料的一些实例可以包括(a)N-BK7玻璃-NA＝1.52，(b)锗-NA＝4，(c)蓝宝石-NA＝1.77，(d)聚碳酸酯塑料-NA～1.7，以及(e)硫化锌-NA＝2.63。光通过高折射率材料的速度可能较慢，并由以下等式控制：
其中“速度”为光通过材料的速度，“NA空气”为空气的折射率，“NA材料”为材料的折射率，以及“c”为真空常数中的光的速度。在一个实例中，光的速度可能降低至其在真空中速度的25％至65％。如果ToF传感器表面直接联接至透射材料(例如，没有界面的情况)，则光的速度的降低可以导致更高的深度分辨率和/或目标与传感器的更短的最小距离。例如，对于具有3mm深度分辨率的空气中的传感器，联接至锗的传感器应实现约0.75mm的深度分辨率。
装置400的实例可以包括主体402和/或一个或更多个可拆卸的扫描头，例如图4A至4C中所示的扫描头403。例如，成角度的轨道镜(如图1A所示)可以用于口内应用，而移除成角度的轨道镜可以允许外部组织成像。由于吸气和/或呼气可能发生冷凝从而在镜上形成雾，可以对成角度的镜(例如，末端反射镜)加热以对镜表面进行除雾。例如，可以使用加热元件在底部表面处利用使用焦耳加热工艺产生热的导电加热元件加热成角度的镜。作为另一个实例，具有透镜412的扫描头可以用于调节视场(FOV)的放大率。扫描头透镜的焦距可以与内部多光谱相机和ToF模块的焦距相匹配，以解决放大率的变化。
在实例中，3D扫描仪可以为(例如，可以联接至)混合的多功能卫生装置。图5A、5B描绘了用于口腔卫生的具有手持主体502和可拆卸清洁刷头513的示例性装置500。手持主体502可以包括与对手持主体102描述的组件类似的组件。在实例中，清洁刷头513可以为扫描装置的可选的可拆卸头中的一者。在这样的实例中，3D扫描仪可以充当一种类型的智能刷，用户可以使用该智能刷在刷牙之前、期间或之后清洁他们的口腔和/或扫描口腔。3D扫描智能刷的内部组件可以包括本文描述的一个或更多个示例性组件。主体形状可以具有用于刷牙的用户友好的形式。
图6示出了示例性照射方法。照射可以由SoC，例如SoC 210来控制。可以在环形阵列(例如环形阵列207)上提供一个或更多个照射源(例如四个照射源)。例如，可以在环形阵列上提供UV/蓝光、可见光、NIR和/或IR照射源。UV/蓝光波长可以在370nm至415nm的范围。可见光波长可以在415nm至670nm的范围，以及NIR/IR波长可以覆盖820nm至1700nm波长。
在实例中，可以并入从1700nm至3000nm的SWIR光源用于3D宏观成像，例如用于体内3D宏观成像。UV/蓝光照射可以用于诱发组织的荧光。可见光照射可以用于反射。NIR/IR波长可以用于反射和/或调制的IR波长可以用于深度确定。UV/蓝光和可见光波长可以与多光谱相机结合使用。例如，如果相机具有NIR通道，则NIR照射可以与多光谱相机一起使用。偏振器可以包括在照射源及其相应的传感器的前面，以杜绝镜面反射。
在实例中，NIR相机可以并入到系统100中用于NIR反射率测量。调制的IR光可以与ToF传感器结合使用用于距离确定。ToF传感器可能对用于反射率颜色测量的其他波长不敏感。因为ToF传感器可能无法检测UV/蓝光或可见光，并且多光谱相机(例如，快照多光谱相机)可能对用于ToF的调制IR光不敏感，所以可以获取(例如，同时获取)3D ToF图像和可见光相机图像。因为多光谱相机可以被多路复用以获取荧光数据，所以可能无法同时获取荧光和反射图像。
为了获取3D光谱图像，SoC可以触发(例如，首先触发)UV/蓝光光源(例如，LED)。在1微秒至10毫秒的延迟时间之后(例如，让光源达到期望的强度)，SoC可以触发(例如，同时触发)多光谱相机和ToF模块，以获取场景持续设定的积分时间。设定的积分时间可以由LED的照射强度决定。在多光谱相机和ToF模块获取了它们各自的图像之后，SoC可以停止UV/蓝光照射。在由LED使用(例如，需要)来停止照射场景的时间量所确定的设定时间(例如，延迟时间)之后，SoC可以触发用于反射光谱的光源。在1微秒至10毫秒的延迟时间(例如，为了让光源达到期望的强度)之后，SoC可以触发多光谱相机，持续预定的积分时间。SoC可以停止反射照射源。
当已经捕获荧光、反射和ToF图像时，SoC可以将荧光和ToF以及反射和ToF图像组合成深度编码的荧光3D光谱图像和深度编码的反射3D光谱图像。图像可以显示在外部显示器和/或SoC连接的显示器上。在另一些实例中，SoC可以将数据传输到外部CPU或GPU，外部CPU或GPU可以将图像组合成深度编码的图像，如本文所述。外部CPU或GPU可以是一个或更多个处理器，例如个人计算机或基于云的计算平台中发现的处理器。
将深度编码的ToF图像与多光谱图像组合可以通过叠加ToF图像和多光谱图像来进行。如果ToF图像和多光谱图像的像素尺寸和场景尺寸不同，则可以重新缩放较大的图像，并且可以对来自一个或更多个图像的像素进行插值，以在两个图像的FOV之间形成完美的叠加。多光谱图像I可见光(x像素，y像素，n通道)的信息可以附加有ToF图像ITOF(x像素，y像素，深度)以创建多光谱深度编码的图像I最终(x像素，y像素，x-y深度，n通道)。例如，可以重复该过程，以获取多个图像并将更大的3D多光谱场景拼接在一起。
在图像获取之后，可以使用拼接技术以将3D多光谱图像拼接在一起，以创建更大的场景。在拼接技术中，可以基于来自ToF图像ITOF(x像素，y像素，深度)的结构和深度来匹配场景的特征。IMU数据可以用于说明装置的取向变化，这可能导致深度信息变化。因为深度信息和/或角度取向可以是已知的，所以可以计算成像对象的表观尺寸的变化。在考虑了取向和深度之后，拼接技术的特征匹配部分可以匹配和/或合并连续图像(例如，将连续图像匹配和/或合并成更大深度和光谱编码的更大图像)。
可能需要两个或更多个(例如，两个)连续图像之间的最小特征匹配百分比。例如，可能需要来自前一图像的80％的特征匹配当前图像，以成功地将图像拼接在一起。在拼接技术中，用户可以从系统100接收反馈，以确认成功拼接或者用户是否需要重新扫描特定的体积。反馈可以是光学的或振动的。拼接可以使用板载SoC来进行，或者传输到外部处理器，例如个人计算机或云计算平台。
内部可视相机可以用于IMU。内部可视相机可以结合人工智能技术(例如，使用神经网络的人工智能技术)用于位置跟踪。在实例中，IMU数据可以被转换成网格图案，所述网格图案可以被编码和/或投射(例如，直接编码和/或投射)到图像上，以供神经网络(例如，经训练的神经网络)分类。在这样的实例中，IMU数据可能不需要与图像数据分开直接传输或加时间戳和协调。这种技术可以减少传输至处理器并由处理器分类的数据量。图像和用于图像位置跟踪的IMU的组合可以改善位置跟踪精度和/或图像拼接。
在实例中，图像数据和/或IMU数据可以与用于位置跟踪的时间戳一起被传输(例如，单独传输)。来自IMU的取向数据可以经由对图像取向进行分类的AI技术(例如，来自经训练的神经网络)与位置跟踪信息一起使用。在实例中，图像数据可以在不需要外部IMU的情况下用于取向确定。在取向确定之后，可以在考虑装置的取向的同时使用单独的拼接技术来匹配连续图像的特征，并进行3D拼接。该技术可以基于相对于目标的距离和角度(这可能影响从对象(例如，样本)到传感器的照射和散射)来识别和/或校正图像强度数据。该技术可以为标准的预写技术或经训练的神经网络。
人工智能(例如，经训练的神经网络)可以用于基于光谱信息对组织病症进行分类。对于AI分类，强度校正的3D图像可以在空间上展开成可能包含光谱信息的2D纹理图像。可以使用圆柱形或球形展开技术进行2D展开。在一些实例中，可以进行考虑到表面曲率而没有扭曲2D空间中的强度的复杂的展开。AI(例如，经训练的神经网络)可以例如实时地对光谱信息进行分类。
例如在血液氧脱氧浓度、血液体积和/或血液代谢率的情况下，分类可以为逐像素分类。分类可以为FOV分类。分类可以为基于装仓像素(binned pixel)组的分类(例如，在其中数据平滑可能是必要的噪声数据的情况下)。神经网络的分类可能与组织健康有关。可以训练神经网络来识别组织的类型，并对组织类型的具体情况进行分类。在实例中，AI(例如，经训练的神经网络)可以修改热图或其他颜色编码图中的图像，以指示病症或组织健康的得分或严重性，以便于用户的视觉理解。在经由AI技术进行分类和/或图像修改之后，经修改的图像可以重新包裹在3D网周围，以创建3D诊断图像。在高速成像的情况下，AI技术可以在同一区域寻找光谱强度的差异，以确定生物参数，如组织氧代谢、脉搏和血压。
图7A示出了示例性人工智能(例如，神经网络)诊断技术的框图。可以使用SoC上包含的技术(例如，人工智能技术)来分析图像信息(例如，获取的图像信息)。图像信息可以被提供给外部处理器，例如外部计算机或云计算平台。可以分析荧光图像信息的健康信息。例如，在口腔中，荧光多光谱信息可以包含关于牙质健康、龋齿、潜在龋齿区域、生物膜、porphryin、牙菌斑或潜在癌斑的信息。面部表面和毛孔上的细菌还可以使用荧光被看到，并且可以使用这种方法进行分析。
用于分析口腔的技术可以包括人工智能(例如，经训练的神经网络)技术和/或分析光谱的预写标准技术。在AI技术的实例中，可以训练神经网络来识别扫描仪是否正用于口腔组织、面部组织或其他身体组织。图7B示出了示例性人工智能通信器的框图。人工智能通信器可以将诊断信息转发给用户。在转发信息之后，人工智能可以解释诊断结果，作出产品建议，和/或安排医学或牙科专业人员的检查。位置信息可以用于诊断技术的分析和分类。该信息可以显示在屏幕上，以供医学或牙科专业人员进行评估。所显示的信息可以与允许用户旋转图像并以各种角度检查所显示的信息的软件相结合。在由医学或牙科专业人员进行诊断之后，可以将原始数据插入到相关的训练文件夹中，以提高人工智能的准确性和/或诊断能力。
可以分析反射数据用于组织信息。例如，在软组织反射的情况下，光谱数据可以用于确定黑色素分布、血氧和脱氧水平、血量、水合作用、白度、色素沉着过度。光谱数据可以用于诊断皮肤病症，例如干性皮肤、红斑痤疮、痤疮、皮肤癌、皮炎、日光损伤、蜘蛛静脉、花斑疹和黄褐斑，仅举数例。可以使用AI(例如，经训练的神经网络)或分析光谱的预写的标准技术来进行反射图像分析。该信息可以显示在屏幕上，以供医学或牙科专业人员进行评估。所显示的信息可以与允许用户旋转图像并以各种角度检查所显示的信息的软件相结合。
图8示出了用于训练图像诊断的模块(例如，神经网络)的示例图。神经网络(NN)训练可以从信息(例如基础事实数据)的加载开始。基础事实数据可以包括来自不同皮肤类型的用户的特定组织状态，例如痤疮、干性皮肤、红斑痤疮、痤疮、皮肤癌、皮炎、日光损伤、蜘蛛静脉、花斑疹、黄褐斑等的一个或更多个图像，这些图像被放置在单独的训练文件夹中。可以训练神经网络来识别每种组织状态的图像特征。
可以针对未包括在训练数据文件夹中的其他已知数据(例如，基础事实数据)来测试经训练的神经网络，以确定准确性。为了提高准确性，可以提供和/或添加另外的训练图像。该模块(例如，神经网络)可以提供该模块对诊断真实程度的百分比。如果数据的准确度高于阈值，则可以保存数据(例如，保存为经训练的分类器)。如果数据的准确度低于阈值，则可以调节数据。
更复杂的分层模块(例如，神经网络)可以用于例如更复杂的分析。例如，第一层神经网络可以被训练以识别皮肤类型。皮肤类型的范围可以从常见的四级分类到具有多于四级皮肤类型分类(例如，黑色素浓度)的更复杂的分类。第二层神经网络可以根据来自预定皮肤类型的基础事实数据来训练。在皮肤类型被识别的情况下，可以更准确地确定或绘制其他皮肤病症和血氧测量。
图9提供了示例性方法900的流程图。在902，可以以多个波长和/或沿着光路投射光。光可以经由环形阵列投射，所述环形阵列具有一个或更多个被配置成将光投射到组织(例如口腔内/周围的组织、皮肤组织、面部组织等)上的LED。在904，调制光可以沿着光路投射和/或投射在组织上。可以通过稀疏照射投射仪来投射调制光。在906，调制光的反射部分可以由飞行时间传感器接收。在908，飞行时间传感器可以基于所接收的调制光的反射部分生成三维飞行时间图像。在910，可以例如通过多光谱相机接收以多个波长投射的光的反射部分。在912，多光谱相机可以基于所接收的光的反射部分生成多光谱图像。
在914，可以识别经由飞行时间传感器生成的飞行时间图像和经由多光谱相机生成的多光谱图像。在916，可以基于将飞行时间图像和多光谱图像的一个或更多个部分组合生成深度和光谱编码的数据矩阵。在918，可以通过显示器显示数据矩阵。
虽然本发明已针对包括执行本发明的当前优选模式的具体示例进行描述，但是本领域技术人员将会意识到，存在上述系统和技术的多种变化和置换。应理解，在不背离本发明的范围的情况下，可以利用另一些实施方案并且可以进行结构和功能修改。因此，本发明的精神和范围应当如所附权利要求中所阐述的那样被宽泛地解释。
Claims (20)
1.一种用于对组织进行诊断的成像系统，所述系统包括：
一个或更多个照射源，所述一个或更多个照射源被配置成将光以多个波长且沿着光路投射到所述组织上；
多光谱相机，所述多光谱相机被配置成接收以多个波长投射的所述光的反射部分，并基于所接收的光的反射部分生成多光谱图像；
飞行时间模块，所述飞行时间模块包括飞行时间传感器和照射器，其中所述照射器被配置成将调制光沿着所述光路投射到所述组织上，以及所述飞行时间传感器被配置成接收投射到所述组织上的所述调制光的反射部分，并基于所接收的所述调制光的反射部分生成三维飞行时间图像；以及
处理器，所述处理器被配置成：
接收经由所述飞行时间传感器生成的所述飞行时间图像和经由所述多光谱相机生成的所述多光谱图像；
基于将所述飞行时间图像和所述多光谱图像的一个或更多个部分组合，生成深度和光谱编码的数据矩阵；以及
使所述深度和光谱编码的数据矩阵经由显示器显示为三维图像。
2.根据权利要求1所述的系统，还包括一个或更多个反射镜，所述一个或更多个反射镜被配置成将所投射的调制光沿着所述光路引导到所述组织上，并将所述调制光的反射部分沿着所述光路从所述组织引导至所述飞行时间传感器。
3.根据权利要求2所述的系统，其中所述一个或更多个反射镜被涂覆用于高效地反射所投射的光。
4.根据前述权利要求中任一项所述的系统，其中所述一个或更多个照射源包括：至少一个产生波长范围在370nm至415nm(UV/蓝光)的用于诱导荧光的照射源，至少一个产生波长范围在415nm至670nm(可见光)的用于反射测量的照射源，以及至少一个产生波长范围在820至1700(NIR/IR)的用于近红外/红外反射测量的照射源。
5.根据前述权利要求中任一项所述的系统，其中所述一个或更多个照射源包括用于更深入到所述组织中成像的短波红外(SWIR)光源。
6.根据前述权利要求中任一项所述的系统，还包括沿所述光路定位的滤光器，其中所述滤光器被配置成阻挡来自所述飞行时间传感器的非IR光。
7.根据前述权利要求中任一项所述的系统，其中所述飞行时间模块定位在内部反射镜上方。
8.根据前述权利要求中任一项所述的系统，其中经由所述照射器投射的所述调制光在入射到所述组织上之前穿过可见-NIR反射/IR透射分束器。
9.根据前述权利要求中任一项所述的系统，还包括被配置成将所述调制光引导至所述组织的被加热的成角度的轨道镜，其中所述成角度的轨道镜被使用加热元件加热，以除去由于所述系统的用户的吸气或呼气而对镜表面形成的雾。
10.根据前述权利要求中任一项所述的系统，还包括被配置成提供与所述组织的扫描相关的实时反馈的触觉传感器。
11.根据前述权利要求中任一项所述的系统，其中所述处理器还被配置成：
识别多个飞行时间图像和多光谱图像；
基于将所述多个飞行时间图像和多光谱图像的一个或更多个部分组合，生成多个深度和光谱编码的数据矩阵；
经由拼接技术拼接所述多个深度和光谱编码的数据矩阵；以及
使经拼接的多个深度和光谱编码的数据矩阵经由显示器显示。
12.根据前述权利要求中任一项所述的系统，还包括清洁刷头，其中所述系统被配置成在使用所述清洁刷头清洁所述组织的同时进行对所述组织的扫描。
13.根据前述权利要求中任一项所述的系统，其中所述处理器被配置成生成用于所述组织的纵向形态分析的高分辨率局部解剖图像。
14.根据前述权利要求中任一项所述的系统，其中所述处理器被配置成基于所述数据矩阵来确定与所述组织相关的光谱、荧光或比色信息中的至少一者。
15.一种用于对组织进行诊断的方法，所述方法包括：
经由一个或更多个照射源将光以多个波长且沿着光路投射到所述组织上；
沿着所述光路投射调制光并将所述调制光投射到所述组织上，并且接收投射到所述组织上的所述调制光的反射部分；
基于所接收的所述调制光的反射部分生成三维飞行时间图像；
接收以多个波长投射的所述光的反射部分，并基于所接收的光的反射部分生成多光谱图像；
基于将所述飞行时间图像和所述多光谱图像的一个或更多个部分组合，生成深度和光谱编码的数据矩阵；以及
使所述深度和光谱编码的数据矩阵显示为三维图像。
16.根据权利要求15所述的方法，还包括经由一个或更多个反射镜将所投射的调制光沿着所述光路引导到所述组织上，并将所述调制光的反射部分沿着所述光路从所述组织引导至所述飞行时间传感器。
17.根据权利要求16所述的方法，其中所述一个或更多个反射镜被涂覆用于高效地反射所投射的光。
18.根据权利要求15至17中任一项所述的方法，其中所述一个或更多个照射源包括：至少一个产生波长范围在370nm至415nm(UV/蓝光)的用于诱导荧光的照射源，至少一个产生波长范围在415nm至670nm(可见光)的用于反射测量的照射源，以及至少一个产生波长范围在820至1700(NIR/IR)的用于近红外/红外反射测量的照射源。
19.根据权利要求15至18中任一项所述的方法，还包括经由触觉传感器提供与所述组织的扫描相关的实时反馈。
20.根据权利要求15至19中任一项所述的方法，还包括：
识别多个飞行时间图像和多光谱图像；
基于将所述多个飞行时间图像和多光谱图像的一个或更多个部分组合，生成多个深度和光谱编码的数据矩阵；
经由拼接技术拼接所述多个深度和光谱编码的数据矩阵；以及
使经拼接的多个深度和光谱编码的数据矩阵被显示。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163144612P | 2021-02-02 | 2021-02-02 | |
| US63/144,612 | 2021-02-02 | ||
| PCT/US2022/011385 WO2022169544A1 (en) | 2021-02-02 | 2022-01-06 | System and devices for multispectral 3d imaging and diagnostics of tissues, and methods thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116829057A true CN116829057A (zh) | 2023-09-29 |
Family
ID=80123427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280012539.1A Pending CN116829057A (zh) | 2021-02-02 | 2022-01-06 | 用于组织的多光谱3d成像和诊断的系统和装置及其方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220240786A1 (zh) |
| EP (1) | EP4199812A1 (zh) |
| CN (1) | CN116829057A (zh) |
| AU (1) | AU2022215469A1 (zh) |
| WO (1) | WO2022169544A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110581951B (zh) * | 2019-08-22 | 2021-12-14 | 苏州佳世达光电有限公司 | 口扫机及其控制方法 |
| USD979755S1 (en) * | 2020-12-17 | 2023-02-28 | Reset Technology Corporation | Intraoral scanning device |
| EP4291875A4 (en) | 2021-02-09 | 2024-07-31 | Adiuvo Diagnostics Private Ltd | FLUORESCENCE-BASED DETECTION OF PROBLEMATIC CELLULAR ENTITIES |
| WO2024092163A1 (en) * | 2022-10-28 | 2024-05-02 | University Of Washington | Multispectral analysis using a smartphone camera for measuring concentrations of light-emitting compounds |
| WO2024146786A1 (en) * | 2023-01-03 | 2024-07-11 | 3Shape A/S | An intraoral scanning system for determining composed scan information |
| EP4447067A1 (en) * | 2023-04-13 | 2024-10-16 | Koninklijke Philips N.V. | Machine learning techniques for predictive periodontitis assessment using measurement data captured by a personal oral health care device |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4571625B2 (ja) * | 2003-05-05 | 2010-10-27 | ディーフォーディー テクノロジーズ エルエルシー | 光断層映像法による画像化 |
| US8270689B2 (en) * | 2006-09-12 | 2012-09-18 | Carestream Health, Inc. | Apparatus for caries detection |
| FR2977469B1 (fr) * | 2011-07-08 | 2013-08-02 | Francois Duret | Dispositif de mesure tridimensionnelle utilise dans le domaine dentaire |
| EP2938262A4 (en) * | 2012-12-31 | 2016-08-24 | Omni Medsci Inc | SHORT-WAVE INFRARED SUPER CONTINUOUS LASER FOR THE EARLY RECOGNITION OF CARIES |
| US10660526B2 (en) * | 2012-12-31 | 2020-05-26 | Omni Medsci, Inc. | Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors |
| WO2017176301A1 (en) * | 2016-04-06 | 2017-10-12 | Carestream Health, Inc. | Hybrid oct and surface contour dental imaging |
| US10708574B2 (en) * | 2017-06-15 | 2020-07-07 | Align Technology, Inc. | Three dimensional imaging apparatus with color sensor |
| EP3713446B1 (en) * | 2017-11-26 | 2023-07-26 | Dentlytec G.P.L. Ltd. | Handheld dental tracking device |
| US11096586B1 (en) * | 2017-12-08 | 2021-08-24 | Verily Life Sciences Llc | Systems for detecting carious lesions in teeth using short-wave infrared light |
| EP3784111A2 (en) * | 2018-04-25 | 2021-03-03 | Dentlytec G.P.L. Ltd. | Properties measurement device |
| US11513267B2 (en) * | 2018-06-10 | 2022-11-29 | Apple Inc. | Patterned mirror edge for stray beam and interference mitigation |
| US10585173B1 (en) * | 2019-01-15 | 2020-03-10 | Shenzhen Guangjian Technology Co., Ltd. | Systems and methods for enhanced ToF resolution |
| EP4157061A2 (en) * | 2020-05-26 | 2023-04-05 | Dentsply Sirona Inc. | Method and apparatus for multimodal soft tissue diagnostics |
| JP7472674B2 (ja) * | 2020-06-22 | 2024-04-23 | コニカミノルタ株式会社 | 口腔内測定装置 |
-
2022
- 2022-01-06 AU AU2022215469A patent/AU2022215469A1/en active Pending
- 2022-01-06 WO PCT/US2022/011385 patent/WO2022169544A1/en active Application Filing
- 2022-01-06 CN CN202280012539.1A patent/CN116829057A/zh active Pending
- 2022-01-06 EP EP22701764.7A patent/EP4199812A1/en active Pending
- 2022-01-06 US US17/569,708 patent/US20220240786A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| AU2022215469A9 (en) | 2024-09-26 |
| AU2022215469A1 (en) | 2023-08-03 |
| WO2022169544A1 (en) | 2022-08-11 |
| US20220240786A1 (en) | 2022-08-04 |
| EP4199812A1 (en) | 2023-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220240786A1 (en) | System and Devices for Multispectral 3D Imaging and Diagnostics of Tissues, and Methods Thereof | |
| US11771313B2 (en) | Intra-oral 3-D fluorescence imaging | |
| US20230263397A1 (en) | 3d intraoral scanner measuring fluorescence | |
| EP2400890B1 (en) | Method and apparatus for imaging tissue topography | |
| WO2015186225A1 (ja) | 走査型投影装置、投影方法、及び手術支援システム | |
| US20220189611A1 (en) | Noninvasive multimodal oral assessment and disease diagnoses apparatus and method | |
| US20190328234A1 (en) | System and method for ranking bacterial activity leading to tooth and gum disease | |
| EP2898326A1 (en) | Efficient modulated imaging | |
| JP2013212247A (ja) | 皮膚測定システム | |
| US20240138665A1 (en) | Dental imaging system and image analysis | |
| JP2016540622A (ja) | 医用イメージング | |
| CN117425517A (zh) | 护肤设备 | |
| US20240324884A1 (en) | Technologies for Three-Dimensional Spectroscopic Imaging of Tissue Properties | |
| Hyttinen | Oral and dental spectral imaging for computational and optical visualization enhancement | |
| US20240090772A1 (en) | Intraoral Diagnostic Device and Method of Using Same | |
| US20240268935A1 (en) | Intraoral scanning | |
| TWM455474U (zh) | 複數波長之斷層成像系統 | |
| KR20210055948A (ko) | 접촉과 비접촉 방식으로 피부 상태를 진단하는 피부 진단기 | |
| WO2006130316A2 (en) | Devices and methods for determining depth of a boundary using structured light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |