JP2021532881A - マルチスペクトル情報を用いた拡張画像化のための方法およびシステム - Google Patents
マルチスペクトル情報を用いた拡張画像化のための方法およびシステム Download PDFInfo
- Publication number
- JP2021532881A JP2021532881A JP2021505298A JP2021505298A JP2021532881A JP 2021532881 A JP2021532881 A JP 2021532881A JP 2021505298 A JP2021505298 A JP 2021505298A JP 2021505298 A JP2021505298 A JP 2021505298A JP 2021532881 A JP2021532881 A JP 2021532881A
- Authority
- JP
- Japan
- Prior art keywords
- tissue
- image
- multispectral
- classifier
- multispectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 172
- 238000003384 imaging method Methods 0.000 title claims description 76
- 238000012549 training Methods 0.000 claims abstract description 251
- 230000003595 spectral effect Effects 0.000 claims abstract description 206
- 238000001514 detection method Methods 0.000 claims abstract description 176
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 100
- 238000009826 distribution Methods 0.000 claims abstract description 86
- 238000010801 machine learning Methods 0.000 claims abstract description 83
- 230000008859 change Effects 0.000 claims abstract description 43
- 210000001519 tissue Anatomy 0.000 claims description 412
- 239000000203 mixture Substances 0.000 claims description 128
- 238000001228 spectrum Methods 0.000 claims description 122
- 238000005286 illumination Methods 0.000 claims description 104
- 238000006213 oxygenation reaction Methods 0.000 claims description 93
- 238000004088 simulation Methods 0.000 claims description 72
- 238000005259 measurement Methods 0.000 claims description 57
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 238000000701 chemical imaging Methods 0.000 claims description 42
- 210000000056 organ Anatomy 0.000 claims description 42
- 239000008280 blood Substances 0.000 claims description 39
- 210000004369 blood Anatomy 0.000 claims description 39
- 238000001727 in vivo Methods 0.000 claims description 34
- 208000028867 ischemia Diseases 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000001356 surgical procedure Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 25
- 238000013334 tissue model Methods 0.000 claims description 22
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 20
- 206010028980 Neoplasm Diseases 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 229920006395 saturated elastomer Polymers 0.000 claims description 12
- 210000000941 bile Anatomy 0.000 claims description 11
- 201000011510 cancer Diseases 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 11
- 238000002834 transmittance Methods 0.000 claims description 11
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 claims description 10
- 229960004657 indocyanine green Drugs 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 210000001165 lymph node Anatomy 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 9
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 8
- 238000012880 independent component analysis Methods 0.000 claims description 8
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 claims description 7
- 102000008186 Collagen Human genes 0.000 claims description 7
- 108010035532 Collagen Proteins 0.000 claims description 7
- 102000016942 Elastin Human genes 0.000 claims description 7
- 108010014258 Elastin Proteins 0.000 claims description 7
- 230000000740 bleeding effect Effects 0.000 claims description 7
- 229920001436 collagen Polymers 0.000 claims description 7
- 239000000975 dye Substances 0.000 claims description 7
- 229920002549 elastin Polymers 0.000 claims description 7
- 229960000907 methylthioninium chloride Drugs 0.000 claims description 7
- 239000000779 smoke Substances 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000005316 response function Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 150000002632 lipids Chemical class 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000001953 sensory effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 4
- 208000002925 dental caries Diseases 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000000763 evoking effect Effects 0.000 claims description 4
- 230000001338 necrotic effect Effects 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 230000000926 neurological effect Effects 0.000 claims description 4
- 230000010076 replication Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 206010061218 Inflammation Diseases 0.000 claims description 2
- 230000004054 inflammatory process Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 54
- 238000013459 approach Methods 0.000 description 53
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000012360 testing method Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 12
- 230000010412 perfusion Effects 0.000 description 12
- 230000008901 benefit Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 11
- 238000007637 random forest analysis Methods 0.000 description 11
- 102000001554 Hemoglobins Human genes 0.000 description 10
- 108010054147 Hemoglobins Proteins 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 229910052724 xenon Inorganic materials 0.000 description 10
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000000126 in silico method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 230000002547 anomalous effect Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000000985 reflectance spectrum Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 239000006096 absorbing agent Substances 0.000 description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000036770 blood supply Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 2
- 208000008839 Kidney Neoplasms Diseases 0.000 description 2
- 238000002835 absorbance Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013383 initial experiment Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000013059 nephrectomy Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 210000002254 renal artery Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 101100421200 Caenorhabditis elegans sep-1 gene Proteins 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 229920000877 Melamine resin Polymers 0.000 description 1
- BZLVMXJERCGZMT-UHFFFAOYSA-N Methyl tert-butyl ether Chemical compound COC(C)(C)C BZLVMXJERCGZMT-UHFFFAOYSA-N 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 241000405965 Scomberomorus brasiliensis Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005284 basis set Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000005045 desmin Anatomy 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002795 fluorescence method Methods 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- JDSHMPZPIAZGSV-UHFFFAOYSA-N melamine Chemical compound NC1=NC(N)=NC(N)=N1 JDSHMPZPIAZGSV-UHFFFAOYSA-N 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001292 preischemic effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000012109 statistical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
前記組織の1つまたは複数のマルチスペクトル画像を取得するステップと、
適用するステップであって、
‐ 機械学習ベースの回帰器もしくは分類器、または
‐ 所与の訓練データセットに対するそのマルチスペクトル画像のマルチスペクトル撮像器部分の近さに関する情報を決定するための分布外(out of distribution、OoD)検出アルゴリズム、または
‐ 変化検出アルゴリズム
を、前記1つまたは複数のマルチスペクトル画像か、前記マルチスペクトル画像から導出された画像の少なくとも一部分か、マルチスペクトル画像、複数の画像またはそれらから導出された画像の部分の時間シーケンスか、に適用するステップであって、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを導出するという、適用するステップと、
を含む、方法が提供される。
採用される回帰器または分類器が、
‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、訓練照明のスペクトル組成が、前記関心領域を照明する前記光の推定されたスペクトル組成と最も類似したものになるよう、回帰器または分類器を選択すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成から導出された情報に基づいて、取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、変換されたマルチスペクトル画像に適用することであって、変換が、標準照明からの照明のスペクトル組成の逸脱に起因するマルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
のうちの1つによって、組織の前記関心領域を照明する光の推定されたスペクトル組成に一致させられる。
組織パラメータが拡張画像内で視覚化されないこと、
組織パラメータが拡張画像内で、ただし、信頼の指示と共に視覚化されること、
拡張画像化において用いられるべき組織パラメータが、
− 同じ画像内の異なる領域、
− 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および/またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、ならびに
− 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの1つからの値の選択または組み合わせによって導出されること、
のうちの1つまたは複数を含み得る。
関心領域の前記1つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ、音声コマンドを受け付けるためのマイクロホン、データをコンピューティング・デバイスまたはデータベースと交換するための無線データ・リンク、ならびに前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の視野内における拡張画像の表示を、特に、拡張画像が、ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの1つまたは複数のために適したデータ処理ユニット、のうちの1つまたは複数をさらに含む。
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている。
前記組織の前記1つまたは複数のマルチスペクトル画像を取得するように構成されたカメラと、
コンピューティング・デバイスであって、
‐ 機械学習ベースの回帰器もしくは分類器、または
‐ 所与の訓練データセットに対するマルチスペクトル画像もしくは前記マルチスペクトル画像の部分の近さに関する情報を決定するためのOOD検出アルゴリズム、または
‐ 変化検出アルゴリズム
を、少なくとも部分の前記1つもしくは複数のマルチスペクトル画像、もしくは前記マルチスペクトル画像から導出された画像に、またはマルチスペクトル画像、複数の画像もしくはそれらから導出された画像の部分の時間シーケンスに適用し、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを導出するための機械学習モジュールを含む、コンピューティング・デバイスと、
を備える、システムに関する。
前記回帰器または分類器が、照明の所与のスペクトル組成の下でマルチスペクトル画像から1つまたは複数の組織パラメータを予測するように訓練されており、
コンピューティング・デバイスが、
‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、訓練照明のスペクトル組成が、前記関心領域を照明する前記光の推定されたスペクトル組成と最も類似したものになるよう、回帰器または分類器を選択すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成から導出された情報に基づいて、取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、変換されたマルチスペクトル画像に適用することであって、変換が、標準照明からの照明のスペクトル組成の逸脱に起因するマルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
のうちの1つによって、採用される回帰器または分類器を、組織の前記関心領域を照明する光の推定されたスペクトル組成に一致させるように構成されている。
関心領域の前記1つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ、
音声コマンドを受け付けるためのマイクロホン、
データをコンピューティング・デバイスまたはデータベースと交換するための無線データ・リンク、ならびに前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の視野内における拡張画像の表示を、特に、拡張画像が、ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの1つまたは複数のために適したデータ処理ユニット、のうちの1つまたは複数をさらに含む。
組織分類パラメータ、特に、様々な臓器を指定する、壊死組織を指定する、癌組織、特に、癌リンパ節組織、および/またはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
歯科適用物における異物質および/または虫歯を指定するパラメータ、
主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
出血の存在を指示する事象パラメータ、または煙の存在を指示するパラメータ、
感覚誘発電位を表す神経学的パラメータ、または
医療事象を予測する、事象予測パラメータ、
のうちの1つまたは複数を含む。
組織パラメータを拡張画像内で視覚化しないこと、
組織パラメータを拡張画像内で、ただし、信頼の指示と共に視覚化すること、
拡張画像化において用いられるべき組織パラメータを、
‐ 同じ画像内の異なる領域、
‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および/またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの1つからの値の選択または組み合わせによって導出すること、
のうちの1つまたは複数を実施するように構成されている。
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている。
された値が前記近さの数値として用いられ、前記WAICは、
近さが不十分であることが見出された場合には、コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用するようにさらに構成されており、
特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する。
前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する。
本発明の実施形態では、手術中に検査される組織tは層状構造としてモデル化される。各層lは光学的関連組織特性のセットによって特徴付けられる:
l={vhb,s,amie,b,g,n,d}、ここで、パラメータは以下のものを記述する:
vhb 血液体積分率[%]、単位体積の組織を占有する血液量
s 酸素結合ヘモグロビン対総ヘモグロビンの比[%]、酸素化とも称される
amie 所与の波長における、ここでは、500nmにおける、等価散乱係数による散乱量[cm−1]を定量化するパラメータ
b 散乱能、散乱の指数関数的波長依存性を特徴付ける項
g 散乱の指向性を特徴付ける、異方性因子
n 屈折率
d 層厚[μm]
スペクトル反射率は、波長ごとの組織との相互作用後に表面に戻る光の部分を表す。この量は組織の特性であり、それゆえ、測定システムには依存しない。層状モデルから導かれた組織からのこのような反射率スペクトルrを生成するために、関数rsimが波長λにおいて評価される。
前の段落において説明されたシミュレーションは特定の波長におけるスペクトル反射率をもたらす。スペクトル反射率は組織の固有の特性であり、それゆえ、測定システムおよび照光には依存しない。順モデルの生成における第3のステップとして、図1に示されるように(「画像化システムへの適応」)、カメラに依存しないスペクトル反射率は、オンライン適用における介入中に用いられることになる特定のカメラによって測定された画像強度に比例する値に変換される。図1において指示されるように、カメラは、例えば、腹腔鏡、手術室内に設置されるか、もしくは移動可能に設けられたカメラ、または外科医によって装着される眼鏡、特に、以下においてより詳細に説明されることになるように、拡張現実感適用物のために適応させられた眼鏡に関連付けられたカメラに関連付けられ得る。本発明はいかなる特定の種類のカメラにも限定されない。しかし、本発明の好ましい実施形態では、オンライン適用において用いられるべき特定のカメラは、本明細書において図1における「画像化システムへの適応」と称されるものによって、機械学習回帰器を訓練するために用いられる順モデルを確立する際に明示的に考慮される。
r(λ,t) 組織のためのスペクトル反射率。
lj(λ,p) bjの応答、カメラの量子効率、イルミナント(例えば、キセノンまたはハロゲン)の放射照度、および用いられる光学セットの透過率のような画像化システムにおける他の成分を包摂する線形因子。概して、それは画像p内の位置に依存することになる。
τ(・) 可能な画像強度内でより高い放射照度範囲を網羅するために、多くの場合、意図的に非線形である、カメラ応答関数
wj 光の粒子性に起因するショット・ノイズ、およびセンサ温度に依存し、積分時間において線形である、いわゆるダーク・ノイズによって主に形成される、帯域jのためのカメラ・ノイズ
これまでに説明された方法によれば、シミュレートされた画像強度は、画像の明るさα(p)、およびセンサに到達する光のスペクトル分布lj(λ)に依存する。データをlj(λ)の変化に対してより堅牢にするために、各帯域強度はその体積
乗法的なα(p)は、全ての帯域の合計を用いて正規化し、データを、正規化反射率とさらに称されるものに変換することによって考慮される:
訓練された回帰器は、図1の概略図において指示されるように、イン・ビボで獲得されたマルチスペクトル画像の各画素に適用され得る。この画像はシミュレーションと同じ変換を受けなければならない。好ましい実施形態では、まず、画像Iが、ダークDおよび白色画像Wによる
ビデオ速度における拡張画像化を可能にするために、一実施形態では、図2に概略的に示される腹腔鏡システム10が提供された。腹腔鏡システム10は、シャフト部分14、および照明光源18に連結されたライト・ガイド16を有する腹腔鏡12を備える。腹腔鏡12は、それが、マルチスペクトル・スナップショット画像センサ22および好適な画像化光学素子24を含む小型で軽量のマルチスペクトル・スナップショット・カメラ20を備えるという点で、従来技術の腹腔鏡とは異なる。好ましい実施形態では、マルチスペクトル・スナップショット・カメラ20は、25Hzよりも高いビデオ・フレーム速度における実況画像化を可能にする。一実施形態では、Ximea(Muenster, Germany)MQ022HG−IM−SM4×4−VISマルチスペクトル・スナップショット・カメラ20が市販の腹腔鏡と組み合わせられた。Ximeaカメラは、512x272x16の解像度の画像立方体のための最大170Hzのフレーム速度を有するモザイク・スナップショット・センサ22を含み、第3の次元は16個の利用可能な色チャネルに似ている。センサは、Leuven, BelgiumにおけるInteruniversity Microelectronics Centre(IMEC)によって作製され、10のビット深度を有する。センサは、4×4の繰り返しモザイク・パターンを用いて、単一のスナップショットにおいて完全なマルチスペクトル画像を獲得する。図3は、単一の画像に2回拡大されたときのモザイク・パターンを示す。
組織のスペクトル反射率は、採用される画像化システムとは無関係である組織の固有特性である。それにもかかわらず、記録された反射率は、主に、カメラのフィルタ応答、カメラの量子効率、イルミナントの相対放射照度等によって影響を受け得る。それゆえ、シミュレートされたスペクトルの、対応する画像化ハードウェアへの適応が必要とされる。
正規化モジュール48において、モザイク画像が、スペクトルおよび空間ドメインを個々の軸に分離するためにデモザイク処理される(ブロック50)。これは、例えば、R.ZhenおよびR.L.Stevenson. Image Demosaicing. In Color Image and Video Enhancement,13〜54ページ. Springer, Cham (2015). ISBN 978−3−319−09362−8 978−3−319−09363−5に記載されているとおりのバイリニア補間を用いて、またはCNNフレームワーク内で補間を学習することによって(M.Gharbi、G.Chaurasia、S.Paris、およびF.Durand. Deep Joint Demosaicing and Denoising. ACMTrans. Graph., 35(6):191:1‐191:12 (2016)参照)、達成され得る。本実施形態では、デモザイク処理50は、4×4の各モザイクを16次元ベクトルに積み重ねることによって実施される。この演算は、画像にわたって16個の出力チャネルおよび4のストライドを用いて4×4のカーネルをシフトすることによって実施され得る。このとき、16個のカーネル・チャネルの各々は、抽出されたモザイク画素においては1のエントリ、他所では0を有する。デモザイク処理のこの単純な仕方は、各モザイクの空間広がりに起因する小さな空間的ずれを生ぜしめるが、これは、非常に良好な結果を得ることを依然として可能にすることに留意されたい。
機能推定モジュール54は、入力データと組織パラメータとの間の関係が確立される、ネットワークの心臓部と見なされ得る。図示された実施形態では、それは、V.NairおよびG.E.Hinton. Rectified linear units improve restricted Boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML−10),807〜814ページ (2010)においてさらに説明される種類のいくつかの畳み込み/正規化線形ユニット(rectified linear unit、ReLU)ブロック56で構成されている。最も単純な実施形態では、全てのブロック56は1x1畳み込みであり、各画像画素に適用された、完全に接続された画素単位のネットワークと同じ結果を意味する。パッチ単位の3×3モザイク入力が上述されたように生成される場合には、最初の2つの層は2x2畳み込みであり、その後に、1x1の特徴変換が続く。完全に畳み込みによるアーキテクチャのゆえに、任意のサイズのパッチおよび画像がネットワークへの入力の役割を果たすことができる。畳み込み層およびフィルタの数は実装形態に依存し、重みおよびバイアスが、次に説明される損失に関して学習される。次に、ブロック58において、組織パラメータ画像または画像群(酸素化および血液体積分率などの、1つを超える組織パラメータが決定される場合)のための推定値を表す、演算の結果が取得される。
損失は、訓練の間に最小化されるべき目的関数である。図示された実施形態では、ブロック62において、
図5を参照すると、正規化および機能推定がイン・ビボ・ネットワークに適用される前に、カメラ画像64が反射率に変換される。2つの画像:光を用いない暗画像と、標準白基準などの白反射率標準から撮影された白色画像と、が、この目的のために介入前に記録された。それらは、ブロック66および68を参照願うが、単純に加算され(−dark)、乗算される(1/(white−dark))ためにネットワーク内に記憶された。
馴染んだ画像も介入中に参照として医師に示すために、RGB画像が同時に推定される。
1つの目標適用物は、腎臓腫瘍が外科的に除去される、腎部分切除である。これらの介入の最中には、しばしば、出血を防止するために腎動脈がクランプされなければならない。特に、腎臓の癌部においてのみ虚血が誘起される、区動脈の好ましい選択的クランピングが遂行される場合には、正確なクランピングの検証は簡単でない。従来技術に係る正確なクランピングを確実にするための1つの可能性は、インドシアニン・グリーン(indocyanine green、ICG)蛍光を用いて灌流をチェックすることである:ICGが血流中に注入された後に、それは血漿に結合する。結合したICGは血流を通って進み、内蔵中に、特に、腎臓および肝臓中に1分以内に蓄積する。それゆえ、蛍光信号が存在しないことは、灌流が存在しないことに対応する。約30分の長い洗い出し期間のゆえに、この試験は、誤ったセグメントがクランプされた場合には繰り返し可能でない。
マルチスペクトル画像がHSI(色相、彩度、輝度)色空間に変換されるサブステップ84。HSI色空間は、それが色を輝度および彩度から分離するため、鏡面ハイライトを決定するために特に適している。対応する変換行列は、この場合も先と同様に、RGB推定に関して上述されたのと同様の仕方で、線形回帰を用いて決定され得る。具体的には、HSI色空間への変換は、上述されたマルチスペクトル画像のRGB推定に基づき得る。RGBからHSI色空間に変換する最終ステップのために適した公式が、例えば、J.Serra, Espaces couleur et traitement d’images, Centre de Morphologie Mathematique, Ecole des Mines de Paris, Paris, France, Tech. Rep. N−34/02/MM, 2002.において、次式として示唆されている:
Int=(R+G+B)/3;
(B+R)>=2Gである場合には、Sat=(2R−G−B)/2;
(B+R)<2Gである場合には、Sat=(R+G−2B)/2;
(1)低露出画像の獲得
原理的には、イルミナントに関するスペクトル情報を標準(すなわち高露出時間)マルチスペクトル画像の鏡面ハイライトから直接回復することが可能であるが、実際には、鏡面反射光が、通例、検出器を飽和させ、「無効」画素を生じさせる。他方で、画像の他の部分は、通例、基礎をなす組織特性によってかなり影響を受け、それゆえ、イルミナントの回復のためにあまり適さない。この問題を克服するために、本実施形態では、校正用の低露出時間マルチスペクトル画像の獲得が提案される。本実施形態では、「低露出」は比較的短い露出時間を常に指すことに留意されたい。しかし、本開示はこれに限定されず、低露出はまた、小さい絞り開口、または同様のものを用いて確立され得る。これらの低露出画像は、概して、低い信号対ノイズ比(signal−to−noise−ratio、SNR)に関連付けられるが、本実施形態における指導的仮説は、これらの画像においては、「有効な」鏡面ハイライト画素がイルミナントに関する最大スペクトル情報を包含するということである。これらの低露出画像のための最適な露出時間を決定するために、以下において詳述されるように、いくつかの実験が実施された。
(2)画像処理(鏡面ハイライトのセグメント化)
本実施形態では、低露出画像は、特定の範囲Imin<Ims<Imax内の強度Imsを有する画素を選択することによって露出過度および露出不足画素を除去することを含む鏡面ハイライトのセグメント化のアプローチを用いて処理される。本明細書において、Iminは、所与のマルチスペクトル・カメラのために1度決定されるだけでよい、所与の露出時間にわたる暗電流のレベルに設定される。Imaxは高強度でのカメラ応答における非線形性を考慮し、製造業者の仕様に従って設定される。これは、有効画素の集合に対応する画素の添え字の集合Idxvalidをもたらす。この添え字の集合に基づいて、鏡面ハイライト画素は以下のように識別される。最初に、反射率を全ての帯域にわたって平均することによって、明度(IL)i;jが全ての(i,j)∈Idxvalidのために計算される:
(3)イルミナントの推定
本実施形態におけるイルミナントは、上述の仕方で選定された鏡面ハイライト画素においては、組織からの拡散反射光が無視され得るという理想的仮定に基づいて計算される。(i,j)∈Idxhlごとに、獲得されたスペクトルを正規化することによって、イルミナントの推定値が計算される。
1. スーパー画素を用いて同様の領域グループ化すること
2. スーパー画素ごとにテクスチャ(ローカル・バイナリ・パターン)およびスペクトル(平均スペクトル)特徴を算出すること。
3. スーパー画素ごとに臓器を推定するためにSVM分類器を訓練すること
4. クラス確率の分散を分析することによって分類の信頼を決定すること
によって遂行された。
・ ラッパ法:このような方法は回帰関数に依拠し、 − その名が示唆するように − 回帰器を最適化関数内にラップし、その一方で、「平均絶対誤差」などの基準を最小化する帯域を反復的に選択する。本文脈において、最適な帯域の探索は、Whitney AW. A direct method of nonparametric measurement selection. IEEE Transactions on Computers. 1971年9月;100(9):1100−3において説明されているとおりの、逐次探索選択(sequential search selection、SFS)、またはKohavi R、John GH. Wrappers for feature subset selection. Artificial intelligence. 1997年12月1日;97(1−2):273−32において説明されているとおりの、最良優先探索(best first search、BFS)アプローチとしてモデル化され得る。他の可能な探索方略も組み込まれ得る。
・ 入力(X)および目標データ(Y)を純粋に頼りにする方法:このような方法は「フィルタ」法とも呼ばれる。それらは、採用される回帰器の種類とは無関係である。数例を挙げると、Fleuret F. Fast binary feature selection with conditional mutual information. Journal of Machine Learning Research. 2004;5(Nov):1531−55)において説明されているとおりの、条件付き相互情報量最大化(Conditional Mutual Information Maximization、CMIM)、Jakulin A. Machine learning based on attribute interactions(博士論文、Univerza v Ljubljani)において説明されているとおりの、相互作用キャッピング(Interaction Capping、ICAP)、およびYang H、Moody J. Feature selection based on joint mutual information. In Proceedings of international ICSC symposium on advances in intelligent data analysis 1999年6月(22〜25ページ)において説明されているとおりの結合相互情報(Joint Mutual Information、JMI)などの、異なるメトリックがこのドメインの方法のために採用され得る。フィルタ法は、通例、分類などの離散ドメイン問題において用いられる。それを、連続ドメイン問題である、連続目標変数を用いた条件付き相互情報の計算のための回帰に拡張するために、通例採用されるヒストグラム・ビニングの代わりに、Kraskovの最近傍相互情報推定器(Kraskov A、Stogbauer H、Grassberger P. Estimating mutual information. Physical review E. 2004年6月23日;69(6):066138)が用いられる。
機械学習アルゴリズムによって与えられた信頼の尺度:推論の不確実性はアルゴリズム特定的な仕方で決定され得る。例えば、サポート・ベクター・マシンのために、本発明者らのうちの一部による以前の研究、Moccia,S.、Wirkert,S.J.、Kenngott,H.、Vemuri,A.S.、Apitz,M.、Mayer,B.、 ... & Maier−Hein,L. (2018). Uncertainty−aware organ classification for surgical data science applications in laparoscopy. IEEE Transactions on Biomedical Engineeringにおいて説明されているように、事後確率確実性指数(posterior probability certainty index、PPCI)およびジニ係数(Gini coefficient、GC)が用いられ得る。ランダム・フォレストの場合には、Breiman L. Random forests. Machine learning. 2001;45(1):5−3において説明されているように、個々の木の標準偏差が用いられ得る。畳み込みニューラル・ネットワーク(CNN)では、条件付き確率密度の推定(Feindt M. A Neural Bayesian Estimator for Conditional Probability Densities. arXiv:physics/0402093[インターネット].2004年2月18日)、モデル・ベースおよび画像ベースの両方の不確実性の推定(Kendall A、Gal Y. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? arXiv:170304977 [cs] [インターネット].2017年3月15日)、およびKingma DP、Salimans T、Welling M. Variational Dropout and the Local Reparameterization Trick. In: Cortes C、Lawrence ND、Lee DD、Sugiyama M、Garnett R、編集者. Advances in Neural Information Processing Systems 28[インターネット]. Curran Associates, Inc.;2015[2018年7月27日に引用]. 2575〜2583ページにおいて説明されているとおりの、いわゆるドロップアウト・サンプリングを含む、いくつかの方法が提案されている。
・ 不確実性の視覚化:不確実性は、推定を、高い確実性をもって視覚化すること、および/または信頼の定量化を各測定結果と共に提供することのみによって明示的にされ得る。
・ 信頼ベースの値集約:このような実施形態では、信頼値が、値の不確実性ベースの集約、例えば、関心領域から得られた推論値の重みつき平均、または同様のもののために用いられ得る。
Watanabe,S.: Algebraic geometry and statistical learning theory. Cambridge University Press(2009)の元の研究では、WAICは次式にように定義された。
WAICのコンセプトは、パラメータ化されたモデルに対してのみ機能する。この前提条件を満たすために、発明者らは、本実施形態では、多変量標準ガウス分布となるように選定された、解析的に扱いやすい分布に従ってスペクトルXを潜在空間Zにエンコードするために、ディープ・ニューラル・ネットワークfθを用いた。このニューラル・ネットワークfθは、それが同じ訓練データを用いて訓練されることを除いて、それ自体は、機能パラメータを決定するために最終的に用いられることになる機械学習ベースの分類器または回帰器と関連がないことに留意されたい。すなわち、ニューラル・ネットワークfθはいかなる生物学的に医学的に意味のあるパラメータを予測するためにも意図されておらず、その代わりに、単に、スペクトルXの分布を多変量標準ガウス分布に対応付けるように訓練され、このOoD分析のためにのみ用いられる。
上記において説明されたOoD検出へのアプローチは、発明者らによって、イン・シリコおよびイン・ビボ使用の両方の場合の様々な例において検証された。
(1)XSC sup,rのWAIC分布がXSC tr,sのものに一致するかどうか、および
(2)XSC tr,sのサポート内にないXSC supの部分が我々の方法によって外れ値として正確に分類されたかどうか
を吟味した。
・ 虚血前:これは、結合組織が関心のある臓器から除去されており、手術プロセスのための経路が空けられている、手術の準備段階であることができるであろう。この段階の間は、組織への血流に対する外部の影響はない。この段階Iの間に得られたマルチスペクトル測定結果/画像はr_BC(before clamping(クランピング前))と称する。
・ 虚血中:これは、関心のある組織が、例えば、腫瘍または任意の他の疾病の存在のゆえに、切除されることになる、実際の手術プロセスが行われる直前の段階である。この段階は、血液を関心のある臓器/組織に供給する可能な全ての動脈をクランプすることによって虚血を誘起することによって開始する。手術の部分の最中に得られたマルチスペクトル測定結果はr_DC(during clamping(クランピング中))と称される。
・ 虚血後:これは、主要手術プロセスが完了し、組織の切除が完了し、残った組織が元通りに縫合された段階である。このステップの後に、クランプが開かれる。この段階の間に得られたマルチスペクトル測定結果はr_AU(after unclamping(クランピング解除後))と称される。
Claims (104)
- 患者の組織の拡張画像を生成する方法であって、各拡張画像が少なくとも1つの組織パラメータを前記組織の前記画像の領域または画素に関連付け、前記方法が、
前記組織の1つまたは複数のマルチスペクトル画像を取得するステップと、
適用するステップであって、
‐ 機械学習ベースの回帰器もしくは分類器、または
‐ 所与の訓練データセットに対するマルチスペクトル画像もしくは前記マルチスペクトル画像の部分の近さに関する情報を決定するための分布外(OoD)検出アルゴリズム、または
‐ 変化検出アルゴリズム
を、前記1つまたは複数のマルチスペクトル画像か、前記マルチスペクトル画像から導出された画像の少なくとも一部分か、マルチスペクトル画像、複数の画像またはそれらから導出された画像の部分の時間シーケンスか、に適用するステップであって、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを導出するという、適用するステップと、
を含む、
方法。 - 前記回帰器または分類器が、マルチスペクトル画像から前記1つまたは複数の組織パラメータを予測するように訓練されており、および/または、前記変化検出アルゴリズムが、特に、長・短期記憶モデルに基づく、機械学習ベースの変化検出アルゴリズムである、
請求項1に記載の方法。 - 前記方法が、治療、特に、観血的手術を受ける患者の組織の前記1つまたは複数の拡張画像を生成するためのものであり、前記方法が、前記組織の関心領域を照明する光のスペクトル組成を推定するステップをさらに含み、前記1つまたは複数のマルチスペクトル画像に適用される前記回帰器または分類器が、照明の所与のスペクトル組成の下でマルチスペクトル画像から前記1つまたは複数の組織パラメータを予測するように訓練されており、
採用される前記回帰器または分類器が、
‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、前記訓練照明の前記スペクトル組成が、前記関心領域を照明する前記光の前記推定されたスペクトル組成と最も類似したものになるよう、前記回帰器または分類器を選択すること、または
‐ 前記関心領域を照明する前記光の前記推定されたスペクトル組成から導出された情報に基づいて、前記取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、前記変換されたマルチスペクトル画像に適用することであって、前記変換が、前記標準照明からの前記照明の前記スペクトル組成の逸脱に起因する前記マルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
‐ 前記関心領域を照明する光の前記推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
のうちの1つによって、前記組織の前記関心領域を照明する光の前記推定されたスペクトル組成に一致させられる、
請求項1または2に記載の方法。 - 前記方法が、治療、特に、観血的手術を受ける患者の組織の前記1つまたは複数の拡張画像を生成するためのものであり、前記方法が、前記組織の関心領域を照明する光のスペクトル組成を推定し、前記OoD検出アルゴリズムによって実施された前記OoD検出における、または前記変化検出アルゴリズムによって実施された前記変化検出における、前記推定されたスペクトル組成をそれぞれ考慮するステップをさらに含む、
請求項1または2に記載の方法。 - 前記少なくとも1つの組織パラメータが、以下のもの:
酸素化、血液体積分率、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、人工染料、特に、メチレン・ブルー、インドシアニン・グリーン(ICG)の存在、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されたパラメータ、
組織分類パラメータ、特に、様々な臓器を指定する、壊死組織を指定する、癌組織、特に、癌リンパ節組織、および/もしくはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
歯科適用物における異物質および/または虫歯を指定するパラメータ、
主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
出血の存在を指示する事象パラメータ、組織炎症を指示するパラメータ、煙の存在を指示するパラメータ、
感覚誘発電位を表す神経学的パラメータ、
医療事象を予測する、事象予測パラメータ、または
前記OoD検出アルゴリズムの基礎をなす所与の訓練データセットと比べたときの、またはより早い時点における前記組織と比べたときの、前記組織の変化を指示するパラメータ、
のうちの1つまたは複数を含む、
請求項1から4のいずれか一項に記載の方法。 - 照明光のスペクトル組成を推定する前記ステップが、前記組織の前記関心領域から、または前記組織の前記関心領域に近い領域から鏡面反射された光に基づく、
請求項1から5のいずれか一項に記載の方法。 - 前記方法が、前記組織の前記関心領域、または前記組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するステップをさらに含む、
請求項6に記載の方法。 - 前記方法が、前記マルチスペクトル画像をより低い次元の色空間、特に、HSI色空間に変換するステップをさらに含む、
請求項6または7に記載の方法。 - 鏡面反射領域をサイズに従って仕分けるステップをさらに含み、好ましくは、鏡面反射性画素の1番目からn番目に大きい連結領域が決定され、nは、連結された鏡面反射性画素の領域の総数よりも小さい整数である、
請求項7または8に記載の方法。 - 識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするステップをさらに含む、
請求項7から9のいずれか一項に記載の方法。 - 前記マルチスペクトル画像内の識別された鏡面反射領域内において、特に、主成分分析または独立成分分析を用いて、鏡面反射からの寄与を拡散反射からの寄与から分離するステップをさらに含む、
請求項7から10のいずれか一項に記載の方法。 - 前記照明光の前記スペクトル組成を推定するために、前記関心領域のマルチスペクトル画像が、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも低い露出を用いて記録される、
請求項6から8のいずれか一項に記載の方法。 - より低い露出の前記マルチスペクトル画像が、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも短い露出時間および/または小さい絞り開口を用いて記録され、好ましくは、前記露出時間および/または絞りサイズが、強度が、前記回帰器または分類器が適用される前記マルチスペクトル画像を記録するために用いられる前記露出のために得られた強度に対して、少なくとも20%だけ、好ましくは、少なくとも40%だけ、および最も好ましくは、少なくとも60%だけ減少させられるように選定される、
請求項12に記載の方法。 - 前記スペクトル組成が、選択された数の画素または画素グループに基づいて推定され、前記画素または画素グループが、前記画像を記録するために用いられた画像検出器が前記画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、前記画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から選択され、前記明度は、前記画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である、
請求項12または13に記載の方法。 - 前記マルチスペクトル画像が、数がk個の色チャネルを含み、前記方法が、前記k個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するステップをさらに含み、前記準連続スペクトル内の波長が、好ましくは、10nm以下だけ、好ましくは、5nm以下だけ、および最も好ましくは、3nm以下だけ分離されている、
請求項8から14のいずれか一項に記載の方法。 - 前記1つまたは複数の拡張画像が、25Hz以上の速度で、好ましくは、75Hz以上の速度で連続的に生成された一連の拡張画像である、
請求項1から15のいずれか一項に記載の方法。 - 前記マルチスペクトル画像がマルチスペクトル・センサを用いて取得され、前記マルチスペクトル・センサがマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、好ましくは、各マルチスペクトル画素が3×3または4×4のセンサ画素のグループを含む、
請求項1から16のいずれか一項に記載の方法。 - 前記回帰器または分類器が畳み込みニューラル・ネットワークに基づく、
請求項1から17のいずれか一項に記載の方法。 - 前記対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを取得するために、前記回帰器または分類器が、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用される、
請求項18に記載の方法。 - 前記マルチスペクトル画像の前記画像領域または画素がマルチスペクトル・センサのマルチスペクトル画素によって形成され、前記センサの各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、前記回帰器または分類器が適用される前記近傍が、前記マルチスペクトル・センサのいくつかの近接したマルチスペクトル画素に対応する、
請求項17および19に記載の方法。 - 前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練され、前記複製が、組織不均質性に対応する個々のノイズおよび/または変更を受ける、
請求項19または20に記載の方法。 - 前記マルチスペクトル画像が、数がk個の色チャネルを含み、前記回帰器または分類器を前記マルチスペクトル画像に適用する前記ステップが、前記マルチスペクトル画像の前記色チャネルから取得されたk個の反射率値を前記回帰器または分類器に入力することを含む、
請求項1から21のいずれか一項に記載の方法。 - 前記反射率値が、完全な暗闇において記録された暗画像を前記マルチスペクトル画像から減算し、好ましくは、前記画像を、基準白色目標物から取得された、または取得可能な白色画像と、前記暗画像との差によってさらに正規化することによって、光センサ読み値から取得される、
請求項22に記載の方法。 - 前記マルチスペクトル画像からRGB画像を導出するステップをさらに含む、
請求項1から23のいずれか一項に記載の方法。 - 前記回帰器または分類器が順モデルに基づいて訓練され、および/または前記OoD検出アルゴリズムの基礎をなす前記所与の訓練データセットが、少なくとも部分的に、順モデルに基づいて決定され、前記順モデルが、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、および前記マルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含み、前記スペクトル反射率の前記シミュレーションが、好ましくは、モンテ・カルロ・シミュレーションである、
請求項1から24のいずれか一項に記載の方法。 - 前記組織モデルが、複数の層を含む層状組織モデルであり、各層が光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータが、好ましくは、血液体積分率、酸素化、脂肪の存在もしくは濃度の存在、またはメラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーもしくはインドシアニン・グリーン(ICG)の存在のうちの1つまたは複数を含む、
請求項25に記載の方法。 - 光学的関連組織パラメータの前記セットが、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの1つまたは複数をさらに含む、
請求項26に記載の方法。 - 前記画像化システムへの前記スペクトル反射率の前記適応が、前記モデル化された組織の前記スペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む、
請求項25から27のいずれか一項に記載の方法。 - 各色チャネルに関連付けられた強度の前記推定値の前記算出が、用いられるカメラもしくは光センサの量子効率、照明光のスペクトル組成に関する情報、用いられる光学構成要素の透過率、非線形カメラ応答関数、および色チャネルごとのカメラ・ノイズのうちの1つまたは複数に基づく、
請求項28に記載の方法。 - 所与のタスクのために、複数のシミュレーションの中から、シミュレーションの部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの前記部分セットは前記シミュレーションのうちの残りのものよりも前記測定結果に良好に一致する、
請求項24から29のいずれか一項に記載の方法。 - 複数の回帰器または分類器が前記1つまたは複数のマルチスペクトル画像に適用され、可能な組織パラメータのための複数の結果をもたらし、前記組織の前記画像の前記領域または画素に関連付けられた前記組織パラメータが、前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって取得される、
請求項1から30のいずれか一項に記載の方法。 - 前記機械学習ベースの回帰器または分類器が、前記1つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記1つまたは複数の組織パラメータの前記予測と共に提供するために適している、
請求項1から31のいずれか一項に記載の方法。 - 前記信頼値が既定の信頼基準を満たさない場合には、前記方法が、以下のこと:
前記組織パラメータが前記拡張画像内で視覚化されないこと、
前記組織パラメータが前記拡張画像内で、ただし、前記信頼の指示と共に視覚化されること、
機能画像化において用いられるべき組織パラメータが、
‐ 同じ画像内の異なる領域、
‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および/またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの1つからの値の選択または組み合わせによって導出されること、
のうちの1つまたは複数を含む、
請求項32に記載の方法。 - 前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である、
請求項1から33のいずれか一項に記載の方法。 - 可能な組織パラメータの前記確率分布が複数のモードを呈し、および/または所定の閾値よりも広い場合には、少なくとも1つの新たなマルチスペクトル画像が、異なる画像化設定を用いて、特に、マルチスペクトル画像化のために選択された異なる照明スペクトルおよび/または異なる帯域を用いて生成される、
請求項34に記載の方法。 - 前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔:495から505nm、535から545nm、550から570nm、575から585nm、および590から610nmのうちの1つに含まれる、少なくとも3つ、好ましくは、少なくとも4つのスペクトル成分を含む、
請求項1から35のいずれか一項に記載の方法。 - 前記回帰器または分類器が、前記マルチスペクトル画像から導出された画像に適用され、前記マルチスペクトル画像から導出された前記画像が、前記マルチスペクトル画像の複数のマルチスペクトル画素で構成されたスーパー画素を含む、
請求項1から36のいずれか一項に記載の方法。 - 前記スーパー画素が、スペクトル反射率情報、および組織のテクスチャに関連する情報を含む、
請求項37に記載の方法。 - 前記拡張画像が、外科医によって装着されるべきゴーグル(96)の視野内に投影される、
請求項1から38のいずれか一項に記載の方法。 - 前記ゴーグル(96)が、以下の構成要素:
‐ 前記関心領域の前記1つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ(20)
‐ 音声コマンドを受け付けるためのマイクロホン(102)、
‐ データをコンピューティング・デバイス(30)またはデータベースと交換するための無線データ・リンク(100)、ならびに
‐ 前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の前記視野内における拡張画像の表示を、特に、前記拡張画像が、前記ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの1つまたは複数のために適したデータ処理ユニット(98)、
のうちの1つまたは複数をさらに含む、
請求項39に記載の方法。 - 前記機械学習ベースの回帰器または分類器を前記1つまたは複数のマルチスペクトル画像の少なくとも一部分に適用する前記ステップに加えて、分布外検出(OoD)のステップをさらに含み、前記OoD検出が、所与の訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む、
請求項1から40のいずれか一項に記載の方法。 - 前記OoD検出が、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたOoD検出アルゴリズムを用いて実施され、前記数値が、前記所与の訓練データセット内の前記対応するスペクトル情報に対する前記スペクトル情報の近さを指示する、
請求項1から41のいずれか一項に記載の方法。 - 前記OoD検出アルゴリズムが、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク(INN)のアンサンブルを含み、前記アンサンブルの前記ニューラル・ネットワークの各々が、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、前記変換された訓練データが所定の統計的分布に一致し、前記OoD検出アルゴリズムが、データ・サンプルのための近さの数値を、
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている、
請求項42に記載の方法。 - 前記OoD検出アルゴリズムが、前記近さの数値を決定するために、「広く使える情報量規準」(WAIC)を用い、特に、前記WAIC、またはそれから導出された値が前記近さの数値として用いられ、前記WAICは、
WAIC(x)=Varθ[log p(x|θ)]−Eθ[log p(x|θ)]
として定義され、ここで、xはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルのニューラル・ネットワークのパラメータであり、log p(x|θ)は前記所定の統計的分布に対応し、Eθ[log p(x|θ)]は、正規化の目的のために用いられる期待値項である、
請求項43に記載の方法。 - 前記所定の分布が、
log p(x|θ)=−1/2||fθ(x)||2−n/2 log(2π)+log|det Jfθ(x)|
として定義される多変量標準ガウス分布であり、ここで、fθは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、xはデータ・サンプルであり、Jfθは前記分布のヤコビアンを示す、
請求項44に記載の方法。 - 前記OoD検出アルゴリズムが変分オートエンコーダに基づく、
請求項1から45のいずれか一項に記載の方法。 - 所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、前記所与の訓練データセットに対する、または関連訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の前記近さを決定するために、前記OoD検出が実施され、前記近さが不十分であることが見出された場合には、機能組織パラメータが決定されないか、または信頼できないと標識され、
前記方法が、好ましくは、前記近さが不十分であることが見出された場合には、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用することをさらに含み、
特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する、
請求項41から43のいずれか一項に記載の方法。 - 回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、前記マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い前記回帰器または分類器を選択するために、前記OoD検出を用い、前記選択された回帰器または分類器を前記マルチスペクトル画像またはその部分に適用するステップをさらに含み、
前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する、
請求項47に記載の方法。 - 前記OoD検出が経時的に繰り返し実施され、これにより、訓練データの所与のセットとの前記マルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出する、
請求項1から48のいずれか一項に記載の方法。 - 前記OoD検出に関連付けられた前記訓練データセットが、正常に酸素化された組織に似た訓練データを含み、前記OoD検出が、虚血を識別するために用いられる、
請求項1から49のいずれか一項に記載の方法。 - 前記OoD検出に関連付けられた前記訓練データセットが、非癌組織、特に、非癌リンパ節組織に似た訓練データを含み、前記OoD検出が、癌組織を識別するために用いられる、
請求項1から49のいずれか一項に記載の方法。 - 前記OoD検出アルゴリズムが、少なくとも部分的に、イン・ビボ・マルチスペクトル画像を使って、特に、前記患者自身のイン・ビボ・マルチスペクトル画像に基づいて訓練される、
請求項1から51のいずれか一項に記載の方法。 - 前記患者自身のイン・ビボ・マルチスペクトル画像が、シミュレートされた訓練データ、および/または他の患者のイン・ビボ・マルチスペクトル画像から取得された訓練データに基づいて事前訓練されたOOD検出アルゴリズムに適用される転移学習のために用いられる、
請求項52に記載の方法。 - 患者の組織の1つまたは複数の拡張画像を生成するためのシステムであって、各拡張画像が少なくとも1つの組織パラメータを前記組織の前記画像の領域または画素に関連付け、前記システムが、
前記組織の前記1つまたは複数のマルチスペクトル画像を取得するように構成されたカメラと、
コンピューティング・デバイス(30)であって、
‐ 機械学習ベースの回帰器もしくは分類器、または
‐ 所与の訓練データセットに対するマルチスペクトル画像もしくは前記マルチスペクトル画像の部分の近さに関する情報を決定するためのOoD検出アルゴリズム、または
‐ 変化検出アルゴリズム
を、前記1つまたは複数のマルチスペクトル画像か、前記マルチスペクトル画像から導出された画像の少なくとも一部分か、マルチスペクトル画像、複数の画像またはそれらから導出された画像の部分の時間シーケンスか、に適用し、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを導出するための機械学習モジュール(32)、を含むコンピューティング・デバイス(30)と、
を備える、
システム。 - 前記回帰器または分類器が、マルチスペクトル画像から前記1つまたは複数の組織パラメータを予測するように訓練されており、および/または前記変化検出アルゴリズムが、特に、長・短期記憶モデルに基づく、機械学習ベースの変化検出アルゴリズムであり、および/または前記システムが、前記組織の関心領域を照明する光のスペクトル組成を推定するための装置をさらに備え、
前記回帰器または分類器が、照明の所与のスペクトル組成の下でマルチスペクトル画像から前記1つまたは複数の組織パラメータを予測するように訓練されており、
前記コンピューティング・デバイスが、
‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、前記訓練照明の前記スペクトル組成が、前記関心領域を照明する前記光の前記推定されたスペクトル組成と最も類似したものになるよう、前記回帰器または分類器を選択すること、または
‐ 前記関心領域を照明する前記光の前記推定されたスペクトル組成から導出された情報に基づいて、前記取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、前記変換されたマルチスペクトル画像に適用することであって、前記変換が、前記標準照明からの前記照明の前記スペクトル組成の逸脱に起因する前記マルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
‐ 前記関心領域を照明する光の前記推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
のうちの1つによって、採用される前記回帰器または分類器を、前記組織の前記関心領域を照明する光の前記推定されたスペクトル組成に一致させるように構成されている、
請求項54に記載のシステム。 - 前記システムが、治療、特に、観血的手術を受ける患者の組織の前記1つまたは複数の拡張画像を生成するように構成されており、前記システムが、前記組織の関心領域を照明する光のスペクトル組成を推定し、前記OOD検出アルゴリズムによって実施された前記OOD検出における、または前記変化検出アルゴリズムによって実施された前記変化検出における、前記推定されたスペクトル組成を考慮するようにさらに構成されている、
請求項54に記載のシステム。 - 表示デバイス(34)をさらに備え、前記システムが、前記拡張画像を表示するように構成されており、前記システムが、特に、前記拡張画像を、前記関心領域のRGB画像と共に、またはそれと重ね合わせられた様態で表示するように構成されている、
請求項55に記載のシステム。 - ゴーグル(96)をさらに備え、前記システムが、前記拡張画像を前記ゴーグル(96)の視野内に投影するように構成されている、
請求項55または56に記載のシステム。 - 前記ゴーグル(96)が、以下の構成要素:
‐ 前記関心領域の前記1つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ(20)、
‐ 音声コマンドを受け付けるためのマイクロホン102、
‐ データをコンピューティング・デバイス(30)またはデータベースと交換するための無線データ・リンク(100)、ならびに
前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の前記視野内における拡張画像の表示を、特に、前記拡張画像が、前記ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの1つまたは複数のために適したデータ処理ユニット(98)、
のうちの1つまたは複数をさらに含む、
請求項58に記載のシステム。 - 前記少なくとも1つの組織パラメータが、以下のもの:
酸素化、血液体積分率、胆汁の存在もしくは濃度、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されたパラメータ、
組織分類パラメータ、特に、様々な器官を指定する、壊死組織を指定する、癌組織、特に、リンパ節組織、および/またはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
歯科適用物における異物質および/または虫歯を指定するパラメータ、
主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
出血の存在を指示する事象パラメータ、または煙の存在を指示するパラメータ、
感覚誘発電位を表す神経学的パラメータ、
医療事象を予測する、事象予測パラメータ、または
前記OoD検出アルゴリズムの基礎をなす所与の訓練データセットと比べたときの前記組織の変化を指示するパラメータ、
のうちの1つまたは複数を含む、
請求項55から59のいずれか一項に記載のシステム。 - 照明光のスペクトル組成を推定するための前記装置が、前記組織の前記関心領域から、または前記組織の前記関心領域に近い領域から鏡面反射された光に基づいて前記推定を実施するように構成されている、
請求項55から60のいずれか一項に記載のシステム。 - スペクトル組成を推定するための前記装置が、前記マルチスペクトル・カメラを用いて取得された、前記組織の前記関心領域の、または前記組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するように構成されている、
請求項61に記載のシステム。 - スペクトル組成を推定するための前記装置が、前記マルチスペクトル画像をより低い次元の色空間、特に、HSI色空間に変換するようにさらに構成されている、
請求項61または62に記載のシステム。 - 前記装置が、鏡面反射領域をサイズに従って仕分けるようにさらに構成されており、好ましくは、鏡面反射性画素の1番目からn番目に大きい連結領域が決定され、nは、連結された鏡面反射性画素の領域の総数よりも小さい整数である、
請求項62または63に記載のシステム。 - 前記装置が、識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするようにさらに構成されている、
請求項62から64のいずれか一項に記載のシステム。 - 前記装置が、前記マルチスペクトル画像内の識別された鏡面反射領域内において、特に、主成分分析または独立成分分析を用いて、鏡面反射からの寄与を拡散反射からの寄与から分離するようにさらに構成されている、
請求項62から65のいずれか一項に記載のシステム。 - 前記照明光の前記スペクトル組成を推定するために、前記システムが、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも低い露出を用いて前記関心領域のマルチスペクトル画像を記録するように構成されている、
請求項61から63のいずれか一項に記載のシステム。 - 前記システムが、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも短い露出時間および/または小さい絞り開口を用いてより低い露出の前記マルチスペクトル画像を記録するように構成されており、好ましくは、前記露出時間および/または絞りサイズが、強度が、前記回帰器または分類器が適用される前記マルチスペクトル画像を記録するために用いられる前記露出のために得られた強度に対して、少なくとも20%だけ、好ましくは、少なくとも40%だけ、および最も好ましくは、少なくとも60%だけ減少させられるように設定される、
請求項67に記載のシステム。 - 前記システムが、選択された数の画素または画素グループに基づいて前記スペクトル組成を推定するように構成されており、前記システムが、前記画像を記録するために用いられた画像検出器が前記画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、前記画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から前記画素または画素グループを選択するように構成されており、前記明度は、前記画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である、
請求項67または68に記載のシステム。 - 前記マルチスペクトル画像が、数がk個の色チャネルを含み、前記装置が、前記k個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するようにさらに構成されており、前記準連続スペクトル内の波長が、好ましくは、10nm以下だけ、好ましくは、5nm以下だけ、および最も好ましくは、3nm以下だけ分離されている、
請求項61から69のいずれか一項に記載のシステム。 - 前記1つまたは複数の拡張画像が、25Hz以上の速度で、好ましくは、75Hz以上の速度で連続的に生成された一連の拡張画像である、
請求項54から70のいずれか一項に記載のシステム。 - マルチスペクトル・カメラ(20)がマルチスペクトル・センサ(22)を含み、前記マルチスペクトル・センサ(22)がマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、これにより、単一の撮影においてマルチスペクトル画像を取得することを可能にし、好ましくは、各マルチスペクトル画素が3×3または4×4のセンサ画素のグループを含む、
請求項54から71のいずれか一項に記載のシステム。 - 前記回帰器または分類器が畳み込みニューラル・ネットワークに基づく、
請求項54から72のいずれか一項に記載のシステム。 - 前記対応するマルチスペクトル画像の画像領域または画素に関連付けられた1つまたは複数の組織パラメータを取得するために、前記機械学習モジュール(32)が、前記回帰器または分類器を、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用するように構成されている、
請求項73に記載のシステム。 - 前記マルチスペクトル画像の前記画像領域または画素が前記マルチスペクトル・カメラ(20)のマルチスペクトル・センサ(22)のマルチスペクトル画素によって形成され、前記センサ(22)の各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、前記回帰器または分類器が前記機械学習モジュール(32)によって適用される前記近傍が、前記マルチスペクトル・センサ(32)のいくつかの近接したマルチスペクトル画素に対応する、
請求項73および74に記載のシステム。 - 前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練されるか、または訓練することによって取得可能であり、前記複製が、組織不均質性に対応する個々のノイズおよび/または変更を受ける、
請求項74または75に記載のシステム。 - 前記マルチスペクトル画像が、数がk個の色チャネルを含み、前記機械学習モジュール(32)が、前記マルチスペクトル画像の前記色チャネルから取得されたk個の反射率値を前記回帰器または分類器に入力することによって、前記回帰器または分類器を前記マルチスペクトル画像に適用する前記ステップを実施するように構成されている、
請求項54から76のいずれか一項に記載のシステム。 - 前記機械学習モジュール(32)が、完全な暗闇において記録された暗画像をマルチスペクトル画像から減算し、好ましくは、前記画像を、基準白色目標物から取得された、または取得可能な白色画像と、前記暗画像との差によってさらに正規化することによって、前記カメラ(20)の前記センサ(22)の読み値から前記反射率値を取得するように構成されている、
請求項77に記載のシステム。 - 前記機械学習モジュール(32)が、前記マルチスペクトル画像からRGB画像を導出するように構成されている、
請求項54から78のいずれか一項に記載のシステム。 - 前記機械学習モジュール(32)によって採用される前記回帰器または分類器が順モデルに基づいて訓練され、および/または前記OoD検出アルゴリズムの基礎をなす前記所与の訓練データセットが順モデルに基づいて決定され、前記順モデルが、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、および前記マルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含み、前記スペクトル反射率の前記シミュレーションが、好ましくは、モンテ・カルロ・シミュレーションである、
請求項54から79のいずれか一項に記載のシステム。 - 前記組織モデルが、複数の層を含む層状組織モデルであり、各層が光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータが、好ましくは、血液体積分率、酸素化、腫瘍の存在、脂肪の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーもしくはインドシアニン・グリーン(ICG)の存在のうちの1つまたは複数を含む、
請求項80に記載のシステム。 - 光学的関連組織パラメータの前記セットが、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの1つまたは複数をさらに含む、
請求項81に記載のシステム。 - 前記画像化システムへの前記スペクトル反射率の前記適応が、前記モデル化された組織の前記スペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む、
請求項80から82のいずれか一項に記載のシステム。 - 各色チャネルに関連付けられた強度の前記推定値の前記算出が、用いられるカメラまたは光センサの量子効率、照明光のスペクトル組成に関する情報、用いられる光学構成要素の透過率、非線形カメラ応答関数、および色チャネルごとのカメラ・ノイズのうちの1つまたは複数に基づく、
請求項83に記載のシステム。 - 前記回帰器または分類器が所与のタスクのために訓練されており、前記訓練内が、シミュレーションのより大きいセットからのシミュレーションの部分セットに基づいており、シミュレーションの前記部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの前記部分セットが、前記シミュレーションのうちの残りのものよりも前記測定結果に良好に一致した、
請求項54から84のいずれか一項に記載のシステム。 - 前記データ処理ユニット(98)が、複数の回帰器または分類器を前記1つまたは複数のマルチスペクトル画像に適用し、可能な組織パラメータのための複数の結果をもたらすため、および前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって、前記組織の前記画像の前記領域または画素に関連付けられた前記組織パラメータを取得するために適している、
請求項54から85のいずれか一項に記載のシステム。 - 前記機械学習ベースの回帰器または分類器が、前記1つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記1つまたは複数の組織パラメータの前記予測と共に提供するために適している、
請求項54から86のいずれか一項に記載のシステム。 - 前記信頼値が既定の信頼基準を満たさない場合には、前記データ処理ユニット(98)が、以下のこと:
前記組織パラメータを前記拡張画像内で視覚化しないこと、
前記組織パラメータを前記拡張画像内で、ただし、前記信頼の指示と共に視覚化すること、
前記機能画像化において用いられるべき組織パラメータを、
‐ 同じ画像内の異なる領域、
‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および/またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの1つからの値の選択または組み合わせによって導出すること、
のうちの1つまたは複数を実施するように構成されている、
請求項87に記載のシステム。 - 前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である、
請求項54から88のいずれか一項に記載のシステム。 - 可能な組織パラメータの前記確率分布が複数のモードを呈し、および/または所定の閾値よりも広い場合には、前記システムが、異なる画像化設定を用いて、特に、前記マルチスペクトル画像化のために選択された異なる照明スペクトルおよび/または異なる帯域を用いて少なくとも1つの新たなマルチスペクトル画像を生成するように構成されている、
請求項89に記載のシステム。 - 前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔:495から505nm、535から545nm、550から570nm、575から585nm、および590から610nmのうちの1つに含まれる、少なくとも3つ、好ましくは、少なくとも4つのスペクトル成分を含む、
請求項54から90のいずれか一項に記載のシステム。 - 前記コンピューティング・デバイス、または前記システムに関連付けられた追加のコンピューティング・デバイスが、前記機械学習ベースの回帰器または分類器を前記1つまたは複数のマルチスペクトル画像の少なくとも一部分に適用する前記ステップに加えて、分布外検出(OoD)を実施するように構成されており、前記OoD検出が、所与の訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む、
請求項54から91のいずれか一項に記載のシステム。 - 前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたOoD検出アルゴリズムを用いて前記OoD検出を実施するように構成されており、前記数値が、前記所与の訓練データセット内の前記対応するスペクトル情報に対する前記スペクトル情報の近さを指示する、
請求項54から92のいずれか一項に記載のシステム。 - 前記OoD検出アルゴリズムが、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク(INN)のアンサンブルを含み、前記アンサンブルの前記ニューラル・ネットワークの各々が、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、前記変換された訓練データが所定の統計的分布に一致し、前記OoD検出アルゴリズムが、データ・サンプルのための近さの数値を、
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている、
請求項93に記載のシステム。 - 前記OoD検出アルゴリズムが、前記近さの数値を決定するために、「広く使える情報量規準」(WAIC)を用い、特に、前記WAIC、またはそれから導出された値が前記近さの数値として用いられ、前記WAICは、
WAIC(x)=Varθ[log p(x|θ)]−Eθ[log p(x|θ)]
として定義され、ここで、xはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルの前記ニューラル・ネットワークの前記パラメータであり、log p(x|θ)は前記所定の統計的分布に対応し、Eθ[log p(x|θ)]は、正規化の目的のために用いられる期待値項である、
請求項94に記載のシステム。 - 前記所定の分布が、
log p(x|θ)=−1/2||fθ(x)||2−n/2 log(2π)+log|det Jfθ(x)|
として定義される多変量標準ガウス分布であり、ここで、fθは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、xはデータ・サンプルであり、Jfθは前記分布のヤコビアンを示す、
請求項95に記載のシステム。 - 前記OoD検出アルゴリズムが変分オートエンコーダに基づく、
請求項54から96のいずれか一項に記載のシステム。 - 所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記所与の訓練データセットに対する、または関連訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の前記近さを決定するために、前記OoD検出を実施し、前記近さが不十分であることが見出された場合には、機能組織パラメータを決定しないか、または信頼できないと標識するように構成されており、
前記近さが不十分であることが見出された場合には、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用するようにさらに構成されており、
特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する、
請求項92から97のいずれか一項に記載のシステム。 - 回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、前記マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い前記回帰器または分類器を選択するために、前記OoD検出を用い、前記選択された回帰器または分類器を前記マルチスペクトル画像またはその部分に適用するように構成されており、
前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する、
請求項98に記載のシステム。 - 前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記OoD検出を経時的に繰り返し実施し、これにより、訓練データの所与のセットとの前記マルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出するように構成されている、
請求項54から99のいずれか一項に記載のシステム。 - 前記OoD検出に関連付けられた前記訓練データセットが、正常に酸素化された組織に似た訓練データを含み、前記OoD検出が、虚血を識別するために用いられる、
請求項54から100のいずれか一項に記載のシステム。 - 前記OoD検出に関連付けられた前記訓練データセットが、非癌組織、特に、非癌リンパ節組織に似た訓練データを含み、前記OoD検出が、癌組織を識別するために用いられる、
請求項54から100のいずれか一項に記載のシステム。 - 前記OoD検出アルゴリズムが、少なくとも部分的に、イン・ビボ・マルチスペクトル画像を使って、特に、前記患者自身のイン・ビボ・マルチスペクトル画像に基づいて訓練される、
請求項54から102のいずれか一項に記載のシステム。 - 前記患者自身のイン・ビボ・マルチスペクトル画像が、シミュレートされた訓練データ、および/または他の患者のイン・ビボ・マルチスペクトル画像から取得された訓練データに基づいて事前訓練されたOOD検出アルゴリズムに適用される転移学習のために用いられる、
請求項103に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18186700.3 | 2018-07-31 | ||
EP18186700 | 2018-07-31 | ||
PCT/EP2019/070669 WO2020025696A1 (en) | 2018-07-31 | 2019-07-31 | Method and system for augmented imaging using multispectral information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021532881A true JP2021532881A (ja) | 2021-12-02 |
JPWO2020025696A5 JPWO2020025696A5 (ja) | 2022-08-05 |
Family
ID=63363828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505298A Pending JP2021532881A (ja) | 2018-07-31 | 2019-07-31 | マルチスペクトル情報を用いた拡張画像化のための方法およびシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220012874A1 (ja) |
EP (1) | EP3830790A1 (ja) |
JP (1) | JP2021532881A (ja) |
WO (1) | WO2020025696A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7195467B1 (ja) | 2022-02-28 | 2022-12-23 | 株式会社エクサウィザーズ | 学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US11500365B2 (en) * | 2019-09-15 | 2022-11-15 | Oracle International Corporation | Anomaly detection using MSET with random projections |
CN111091536B (zh) * | 2019-11-25 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 医学图像处理方法、装置、设备、介质以及内窥镜 |
US11681914B2 (en) * | 2020-05-08 | 2023-06-20 | International Business Machines Corporation | Determining multivariate time series data dependencies |
US11393194B2 (en) * | 2020-08-11 | 2022-07-19 | International Business Machines Corporation | Selective analysis for field boundary detection |
CN112132812B (zh) * | 2020-09-24 | 2023-06-30 | 平安科技(深圳)有限公司 | 证件校验方法、装置、电子设备及介质 |
EP4229548A1 (en) | 2020-10-16 | 2023-08-23 | Koninklijke Philips N.V. | Sequential out of distribution detection for medical imaging |
WO2022178706A1 (en) * | 2021-02-24 | 2022-09-01 | Qualcomm Incorporated | Out-of-distribution detection and reporting for machine learning model deployment |
CN113221659B (zh) * | 2021-04-13 | 2022-12-23 | 天津大学 | 一种基于不确定感知网络的双光车辆检测方法及装置 |
CN113313185B (zh) * | 2021-06-09 | 2024-01-12 | 西北工业大学 | 一种基于自适应空谱特征提取的高光谱图像分类方法 |
CN114627369B (zh) * | 2022-01-19 | 2024-03-22 | 上海土蜂科技有限公司 | 环境监测系统、方法及其计算机装置 |
CN114972290A (zh) * | 2022-06-13 | 2022-08-30 | 北京理工大学 | 光谱成像加速方法及装置 |
WO2024086564A1 (en) * | 2022-10-17 | 2024-04-25 | Monogram Orthopaedics Inc. | Markerless tracking with spectral imaging camera(s) |
CN115495703B (zh) * | 2022-11-18 | 2023-04-28 | 杭州领见数字农业科技有限公司 | 一种基于机载多光谱数据的烟草成熟度检测方法及系统 |
CN117011244B (zh) * | 2023-07-07 | 2024-03-22 | 中国人民解放军西部战区总医院 | 一种腕部多光谱图像处理方法 |
CN117409077B (zh) * | 2023-10-18 | 2024-04-05 | 无锡九霄科技有限公司 | 基于多尺度残差UNet分割的芯片姿态检测方法 |
CN117204796B (zh) * | 2023-11-09 | 2024-02-13 | 哈尔滨海鸿基业科技发展有限公司 | 一种腹腔内窥镜多光谱成像方法及装置 |
CN117437426A (zh) * | 2023-12-21 | 2024-01-23 | 苏州元瞰科技有限公司 | 一种高密度代表性原型指引的半监督语义分割方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
US20100027865A1 (en) * | 2008-08-01 | 2010-02-04 | Siemens Corporate Research, Inc. | Method and System for Brain Tumor Segmentation in 3D Magnetic Resonance Images |
JP2018502677A (ja) * | 2014-10-29 | 2018-02-01 | スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. | 組織分類用の反射モードマルチスペクトル−時間分解型光学イメージング方法および装置 |
JP2018516703A (ja) * | 2015-06-12 | 2018-06-28 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | がん組織を同定するシステム及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5413477A (en) * | 1992-10-16 | 1995-05-09 | Gas Research Institute | Staged air, low NOX burner with internal recuperative flue gas recirculation |
JP2013544588A (ja) * | 2010-11-03 | 2013-12-19 | ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャライゼーション | invivoにおける組織酸素化の判定 |
US8761476B2 (en) * | 2011-11-09 | 2014-06-24 | The Johns Hopkins University | Hyperspectral imaging for detection of skin related conditions |
US11526691B2 (en) * | 2017-12-14 | 2022-12-13 | Nec Corporation | Learning device, learning method, and storage medium |
-
2019
- 2019-07-31 WO PCT/EP2019/070669 patent/WO2020025696A1/en unknown
- 2019-07-31 US US17/263,858 patent/US20220012874A1/en active Pending
- 2019-07-31 JP JP2021505298A patent/JP2021532881A/ja active Pending
- 2019-07-31 EP EP19744742.8A patent/EP3830790A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
US20100027865A1 (en) * | 2008-08-01 | 2010-02-04 | Siemens Corporate Research, Inc. | Method and System for Brain Tumor Segmentation in 3D Magnetic Resonance Images |
JP2018502677A (ja) * | 2014-10-29 | 2018-02-01 | スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. | 組織分類用の反射モードマルチスペクトル−時間分解型光学イメージング方法および装置 |
JP2018516703A (ja) * | 2015-06-12 | 2018-06-28 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | がん組織を同定するシステム及び方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7195467B1 (ja) | 2022-02-28 | 2022-12-23 | 株式会社エクサウィザーズ | 学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220012874A1 (en) | 2022-01-13 |
WO2020025696A1 (en) | 2020-02-06 |
EP3830790A1 (en) | 2021-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021532881A (ja) | マルチスペクトル情報を用いた拡張画像化のための方法およびシステム | |
JP2021532891A (ja) | マルチスペクトル情報を用いた観血的治療における拡張画像化のための方法およびシステム | |
Clancy et al. | Surgical spectral imaging | |
Iqbal et al. | Recent trends and advances in fundus image analysis: A review | |
Akbar et al. | Automated techniques for blood vessels segmentation through fundus retinal images: A review | |
US11141044B2 (en) | Method and apparatus for estimating the value of a physical parameter in a biological tissue | |
JP7229996B2 (ja) | 流れを視覚化するための機械学習を使用したスペックルコントラスト分析 | |
CN107019490A (zh) | 多模激光斑点成像 | |
US20220125280A1 (en) | Apparatuses and methods involving multi-modal imaging of a sample | |
CN113613545A (zh) | 具有单次曝光多类型成像、改进的聚焦和改进的血管造影图像序列显示的患者调节的眼科成像系统 | |
Wangwiwattana et al. | Pupilnet, measuring task evoked pupillary response using commodity rgb tablet cameras: Comparison to mobile, infrared gaze trackers for inferring cognitive load | |
WO2017020045A1 (en) | System and methods for malarial retinopathy screening | |
WO2021229684A1 (ja) | 画像処理システム、内視鏡システム、画像処理方法及び学習方法 | |
JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
JP7346596B2 (ja) | 画像処理システム及びプログラム | |
Alonso-Caneiro et al. | Automatic retinal and choroidal boundary segmentation in OCT images using patch-based supervised machine learning methods | |
Kumar et al. | Retinal image blood vessel classification using hybrid deep learning in cataract diseased fundus images | |
US20230267610A1 (en) | Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium | |
Mangrulkar | Retinal image classification technique for diabetes identification | |
US20240127446A1 (en) | Semi-supervised fundus image quality assessment method using ir tracking | |
WO2022228396A1 (zh) | 内窥镜多光谱图像处理系统及处理和训练方法 | |
Akbari et al. | Hyperspectral imaging and diagnosis of intestinal ischemia | |
Kiefer et al. | A survey of glaucoma detection algorithms using fundus and OCT images | |
Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
Yunita et al. | Smoker’s Melanosis Tongue Identification System using the Spatial and Spectral Characteristic Combinations Tongue in the Visible and Near-Infrared Range |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230414 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230711 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231226 |