CN113164068A - 用于处理测温视频图像的方法和系统 - Google Patents
用于处理测温视频图像的方法和系统 Download PDFInfo
- Publication number
- CN113164068A CN113164068A CN201980067992.0A CN201980067992A CN113164068A CN 113164068 A CN113164068 A CN 113164068A CN 201980067992 A CN201980067992 A CN 201980067992A CN 113164068 A CN113164068 A CN 113164068A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- video images
- thermometric
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000001757 thermogravimetry curve Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 6
- 238000009529 body temperature measurement Methods 0.000 claims description 4
- 238000010183 spectrum analysis Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 5
- 239000003814 drug Substances 0.000 abstract description 4
- 238000004870 electrical engineering Methods 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000010223 real-time analysis Methods 0.000 abstract 1
- 206010028980 Neoplasm Diseases 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 11
- 230000005855 radiation Effects 0.000 description 11
- 210000000481 breast Anatomy 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 238000004861 thermometry Methods 0.000 description 8
- 230000017531 blood circulation Effects 0.000 description 7
- 230000004064 dysfunction Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000002503 metabolic effect Effects 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 206010006187 Breast cancer Diseases 0.000 description 5
- 208000026310 Breast neoplasm Diseases 0.000 description 5
- 241000282412 Homo Species 0.000 description 5
- 206010027476 Metastases Diseases 0.000 description 5
- 208000009956 adenocarcinoma Diseases 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000700159 Rattus Species 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000002329 infrared spectrum Methods 0.000 description 4
- 210000002751 lymph Anatomy 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 4
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000001072 colon Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 210000003563 lymphoid tissue Anatomy 0.000 description 3
- 210000000713 mesentery Anatomy 0.000 description 3
- 230000004060 metabolic process Effects 0.000 description 3
- 210000004165 myocardium Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006496 vascular abnormality Effects 0.000 description 3
- 108010004103 Chylomicrons Proteins 0.000 description 2
- 206010051228 Chylothorax Diseases 0.000 description 2
- 208000005189 Embolism Diseases 0.000 description 2
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 2
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 2
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 206010029113 Neovascularisation Diseases 0.000 description 2
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007675 cardiac surgery Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 239000000549 coloured material Substances 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 description 2
- 201000007273 ductal carcinoma in situ Diseases 0.000 description 2
- 230000002550 fecal effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 210000005245 right atrium Anatomy 0.000 description 2
- 210000005241 right ventricle Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 210000002978 thoracic duct Anatomy 0.000 description 2
- 201000007423 tubular adenocarcinoma Diseases 0.000 description 2
- 230000005747 tumor angiogenesis Effects 0.000 description 2
- 208000019553 vascular disease Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UCTWMZQNUQWSLP-VIFPVBQESA-N (R)-adrenaline Chemical compound CNC[C@H](O)C1=CC=C(O)C(O)=C1 UCTWMZQNUQWSLP-VIFPVBQESA-N 0.000 description 1
- 229930182837 (R)-adrenaline Natural products 0.000 description 1
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 241000282465 Canis Species 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 208000009458 Carcinoma in Situ Diseases 0.000 description 1
- 206010015866 Extravasation Diseases 0.000 description 1
- 241000272186 Falco columbarius Species 0.000 description 1
- 108090001030 Lipoproteins Proteins 0.000 description 1
- 102000004895 Lipoproteins Human genes 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010039491 Sarcoma Diseases 0.000 description 1
- 241000221016 Schoepfia arenaria Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 240000000359 Triticum dicoccon Species 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000002491 angiogenic effect Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- SMDHCQAYESWHAE-UHFFFAOYSA-N benfluralin Chemical compound CCCCN(CC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O SMDHCQAYESWHAE-UHFFFAOYSA-N 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 210000001268 chyle Anatomy 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 229960005139 epinephrine Drugs 0.000 description 1
- 230000036251 extravasation Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 230000003692 lymphatic flow Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 201000001119 neuropathy Diseases 0.000 description 1
- 230000007823 neuropathy Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 208000033808 peripheral neuropathy Diseases 0.000 description 1
- 150000003904 phospholipids Chemical class 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 210000003281 pleural cavity Anatomy 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000000250 revascularization Effects 0.000 description 1
- 210000005005 sentinel lymph node Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 150000003626 triacylglycerols Chemical class 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000006492 vascular dysfunction Effects 0.000 description 1
- 230000024883 vasodilation Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K3/00—Thermometers giving results other than momentary value of temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K3/00—Thermometers giving results other than momentary value of temperature
- G01K3/08—Thermometers giving results other than momentary value of temperature giving differences of values; giving differentiated values
- G01K3/14—Thermometers giving results other than momentary value of temperature giving differences of values; giving differentiated values in respect of space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toxicology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明描述了一种用于处理患者的测温视频图像的方法和系统,包括一种实时界定感兴趣区域的宏观方面的方法,所述感兴趣区域通过MIR和LIR电磁波发射和融合真实图像生成,具有图像改善,还允许通过NIR电磁波发射来实时分析微观方面,用于通过红外振动谱法来对样品进行谱鉴定。本发明涉及医学、生物医学和电气工程的领域。
Description
技术领域
本发明描述了用于处理患者的测温视频图像的方法和系统,其包括这样的方法:利用图像增强来界定通过发射电磁波MIR和LIR和融合真实图像所生成的感兴趣区域的宏观方面,能够通过发射NIR电磁波来分析微观方面,用于通过红外振动谱来对样品进行谱识别。本发明属于医学、生物医学和电气工程领域。
背景技术
通过分析电磁谱,我们认识到最常用的成像测试是在极端条件下进行的。谱的红外部分主要应用于工业检查、汽车工业、钢铁工业、航空工业、化学工业、工程、艺术和电气维护,这是一种可靠的技术,有助于防止生产过程中断,避免浪费和灾难(NOGUEIRA,2010)。
在医疗保健领域,Nicholas A.Diakides是主要人物,因为他在1962-1983年期间担任美国陆军夜视和电光实验室的红外技术项目的经理,当时他开发了数种用于红外成像的应用,包括“智能”图像处理、计算机辅助检测(CAD)、基于知识的数据库和远程医疗系统。在Diakides的合作下,该技术在1972年由欧洲热学协会监管(LAHIRI,2012)。在2003年,FDA(食品药品监督管理局)将该测试规定为“实时数字测温法”。在巴西,AMB(巴西医疗学会)规定了“皮肤热学”测试,编号为39.01.007-4。
在心脏外科手术中,测温视频的最初用途发生在心肌血管重建程序中,其中使用的方法确保了冠状动脉手术中移植物和吻合口(anastomoses)的活力(MOHR,1989)。这对患有心绞痛的患者也很有用,其显示心前区的热变化大于正常患者,这已经被血管造影术证实(BRIOSCHI,2002)。在临床心脏病学中,测温可用于辅助诊断动脉粥样硬化性心血管疾病,因为它可以证明患者皮肤在特定区域出现了与动脉粥样硬化闭塞程度有关的血管功能障碍(THIRUVENGADAM,2014)。
值得注意的是,在工业领域中使用的术语是“热成像技术和温谱检查图”,其使用静态图像。在医疗保健领域,规定的术语是“热学技术和测温检查”,其具有实时的动态图像,其中测温图像是可以处理的数字图像。
焦点上的差异是使测温图像成为我们感兴趣的目标的原因。从“热成像”的工业标准改编至医疗保健领域(adaptation)(ARENA 2004;TAN,2009;NOGUEIRA,2010;RING 2013;QUESADA,2016)形成了一种趋势,即使用未充分利用该技术的工业软件的静态和彩色图像(彩虹)(VADARSCA,2014),因为它可以提供比我们使用图像的标准时所显示的信息更多的信息,而图像的标准要考虑这样的事实,即人类是一个动态的、恒温的结构,几乎是一个黑体。根据热辐射理论,黑体被认为是一个假设的目标,其吸收了所有的入射辐射并根据普朗克定律辐射出连续的谱。通过对所有频率的普朗克定律进行积分,我们获得了斯特藩-玻尔兹曼定律,该定律描述了黑体的总发射功率(MODEST,2013)。我们的皮肤几乎是黑体,其具有97%至99%的辐射率,1%至3%的反射率(LAHIRI,2012)。
1987年,Gautherie对超过25,000名无症状(59%)和有症状(41%)的女性进行了一项为期四年的前瞻性研究,其目的是调查与乳腺恶性肿瘤早期相关的热紊乱和血管紊乱。所有患者均进行标准化条件下的热成像检查、乳腺X线摄像、体检、并在标明时进行补充射线摄像、超声和细胞学检查。在294例原位、微浸润和不可触及的诊断癌症中,60-70%的癌症产生了显著的热异常,在大多数情况下,这些异常由扭曲的热血管模式组成。958例患者中有204例(21.3%)在初诊时出现了异常的温谱图,但没有体检或乳腺X线摄像检查的异常,她们在随后的三年中患上了癌症。
1996年,Gamagami在他的《乳腺X线摄像图谱》中写道,在乳腺癌的临床或乳腺X线摄像临床表征出现之前的几年,无症状患者中可以观察到肿瘤出现前的血管生成变化。这些发现在过去被解释为假阳性,几年后,可触及的肿瘤本身发生在同一乳房。在另一项对初次检查有热异常的女性进行的研究中,随访了2至10年,这些女性中有33%发展成了乳腺癌(FEIG,1999)。
成像技术的进步已经产生了增强的图像,但是每种图像形式都有其自身的实际局限性,这是由器官和组织结构的性质所造成的。这些局限性增强了探索新技术和探索使用多种图像形式的可能性的需求(JAMES,2014)。根据Balan(2005),从图像中提取最多并用于生成矢量的特征是:颜色、纹理和形状。
颜色表示包括来自正交笛卡尔空间中的传统RGB(红色、绿色和蓝色),其对映于目标的物理特性,更准确地反映了人类在色彩、饱和度和强度方面感知的颜色模型(PHAM,2000)。纹理和形状可以更准确地区分和分离图像,因为在大多数情况下,目标(器官、组织和异常)具有可以用来界定它们的特定的形状和纹理,并且可以通过光滑度、粗糙度和规则性的特征通过人眼来进行认识和区分(TUCERYAN,1993)。
分割将图像分解成均匀的区域,并且该任务可以通过识别感兴趣区域(ROI)之间的边界来实现。根据Santos(2006)的观点,图像分割的区域在某些特征(例如灰度或纹理)方面必须是均一且均匀的,而相邻区域在它们均一的特征方面必须具有显著不同的值。分割界限必须是简单的、不杂乱,并且在空间上是精确的(HARALICK,1985)。
当然,不存在用于图像分割的通用算法,相反,大多数技术改编为用于某些应用,并且仅在某些假设下有效,如果颜色图像中描绘的目标受到高光、底纹和阴影的影响,这些假设容易产生分割错误。克服此缺点的唯一方法是考虑与有色物质的反应性质,分析光如何与有色材料相互作用,并在分割算法中引入这种物理相互作用的模型(PHAM,2000)。
现有技术缺乏这样的用于处理患者的测温视频图像的系统,该系统除了能够比较不同的图像以根据操作员的需求使用最有效的图像之外,还能够定位感兴趣区域,记录尽管肉眼不可见但是存在的事件,检测不同图像类型中的许多异常。还缺少这样的系统,即其用于识别不可见或不可触及的感兴趣区域,从而用于样品的谱分析。
因此,从研究论文中,未找到预期或暗示本发明的教导的文件,因此鉴于现有技术,本文提出的解决方案具有新颖性和创造性。
发明内容
因此,本发明通过一种系统解决了现有技术的问题,该系统通过使用红外线谱内不同长度的电磁波以及调整所获得的图像的调色板,处理能够通过视频温谱图检测异常的患者测温视频图像。
在第一目的中,本发明提供了一种用于处理患者的测温视频图像的方法,所述方法包括以下步骤:
a.通过发射电磁波MIR和LIR界定感兴趣区域并记录肉眼不可见的异常;
b.通过所述发射电磁波MIR和LIR对所述感兴趣区域进行录测温视频;
c.通过所述发射NIR电磁波,识别肉眼不可见的异常,从而用于对所述样品进行谱分析;
d.调整生成的视频温谱图的分辨率。
在第二目的中,本发明示出了一种用于处理患者的测温视频图像的系统,包括:
a.获取视频温谱图的装置;
b.操作视频温谱图的装置。
本发明的这些目的和其他目的本领域技术人员可立即进行评价,并将在下文详细描述。
附图说明
为了更好地定义和阐明本专利申请的内容,给出了以下附图:
由工业标准改编的热成像图像的当前标准的介绍
图1示出了MIR红外区域中两种颜色的乳腺癌(原位导管癌)的图像(SZU,2003)。
图2示出了LIR红外区域中两种颜色的乳腺癌(原位导管癌)的图像(SZU,2003)。
图3示出了MIR范围中的右乳房的图像(左)(SZU,2003)。
图4示出了右乳房LIR的图像(右),其示出了在界线内有增强(SZU,2003)。
图5示出了在应用LCCN(拉格朗日约束神经网络)算法之前乳房的彩色图像(SZU,2003)。
图6示出了LCCN算法在乳房的彩色图像中的应用,其中证实为病变的位置被标记为粉红色(SZU,2003)。
图7示出了通过调色板检测到的热不对称的实例。
图8示出了工业图像中使用的并且改编为用于图像测试的颜色模式。
证明所提出的测温视频图像的增强
图9和图10通过调色板示出了大鼠的肺部(黑色箭头)和心脏(黄色箭头)出现的轮廓,所述大鼠在实验期间散发热量到环境中(22±2℃)以降低其温度。
图11示出了在兔子的心肌收缩期间用于检测血液(蓝色显示)的图像处理的结果,通过心肌的腔室(右心房到右心室)实时示出。
图12示出了在不同的调色板中实时查看图像处理的可能性,以便找到最合适的调色板(由箭头指示),从而产生图11中的图像。
证明来自所提出的测温视频图像的诊断电位标准
图13:黑色箭头指示可见的肿瘤块(具有囊性区域和乳突区域的复杂腺癌),而黄色箭头明显由正常的犬乳腺组织组成,无可见或可触及的变化。
图14示出了前图的放大图。
图15示出了手术期间处理的图像,形成图13和图14。外科医生的手握住肿瘤块(腺癌),如黑色箭头所示,并且在检查期间,右侧有非常明显的、不可见的或不可触及的粗糙纹理(黄色箭头)。
图16示出了推定的活检,其组织病理学结果指示与肿瘤区域(实体癌)类似的模式。
图17示出了在狗中具有相同图像模式的区域的对侧不对称性。
图18示出了不对称区域的划界。在下部,肿瘤块是可触及且可见的(黑色箭头),但是上部标记没有变化的迹象(黄色箭头)。
图19示出了具有与指示转移(具有与腺癌相容的血管肿瘤性栓塞的粘液性、实体性和浸润性模式)的肿瘤区域类似的模式的推定活检(黄色箭头)。
图20示出了由于肿瘤(管状腺癌)促进的新血管形成而在同一区域中可能存在较大的温差,其中这些点是由不同的温度建立(狗)。
图21示出了狗中的肿瘤块(黑色箭头)、肿瘤覆盖区域(红色箭头)和某一距离处的推定转移区域(黄色箭头)。
图22示出了检测肿瘤覆盖区域的图21的测温视频图像。
图23示出了图21的测温视频图像,其检测到了在图24中被证明的某一距离处的潜在转移。
图24示出了导致管状腺癌的图21的推定区域(黄色箭头)的组织病理学检查的结果。
图25示出了人类右乳房的上部内部象限中的不对称区域和低温下的变化,其表明功能障碍。在中部,将含有肉瘤的手术块从由测温视频所界定的区域移除。在右侧,证明了移除的区域。
图26和图27示出了在大鼠中诱导的受黑素瘤影响的区域。
图28、图29和图30示出了在连续的吸气运动中的中部(*)和颅骨右肺叶的图像,通过圆圈突出了进气口的呼吸运动。
图31示出了通过粪结的嵌塞而引起的肠(结肠)的扩张环路的图像,其示出了血管化区域(黑色箭头)和失活区域(黄色箭头)。
图32示出了肠(结肠)的扩张环路的图像,其示出了肠系膜(*)的循环解剖结构的可视化。
图33示出了狗的结肠的失活区域(黄色箭头)和肠系膜的循环解剖结构(黑色箭头)。
所提出的测温视频图像的标准的结果
图34示出了在狗的外科手术期间淋巴液泄漏到胸腔(在肺和心脏周围)的真实图像。
图35示出了利用工业标准彩虹的调色板的图34中的测温图像,其被插入作为比较标准,以通过新标准将图像增强进行背景化。
图36示出了通过能够证明通过胸导管的淋巴泄漏部位的调色板的图像的实施方案。
图37示出了通过调色板的图像的实施方案,压缩夹持以中断通过胸导管来自淋巴的流。
图38和图39分别示出了在新的处理之后的图36和图37中的图像增强的实施方案,因为调色板的构造改进了该过程。
构建所提出的测温视频图像的标准
对于工业检查,有理由获得关于目标发出的所有温度的信息,因为其趋于进入热平衡,但是对于人类而言,重要的是像素或区域之间相对于其周围环境的温差,即,新陈代谢活动的增加或减少,其表明功能障碍,因为我们是恒温的且保持我们体内温度恒定。
外围温度可以随环境而均匀地变化,但在病理实例中,我们所具有的温度在像素之间的温差可以达到几度。因此,根据要研究的病理,所使用的设备的灵敏度以及采集我们感兴趣的温度非常重要。
通过使用图38和图39作为实例,其中研究的目标是淋巴组织(淋巴),其中要研究的温度范围略低于最大温度(血液)。在这种情况下,必须构建调色板以示出最高温度,而我们不感兴趣的温度应形成离散的颜色梯度,灰阶是最理想的。
图40示出了在编辑的图像中使用的调色板的另一实施方案,其中在灰阶的最大峰值处的不同颜色促进了不同组织的可视化。
图41示出了在编辑图像中使用的调色板的另一实施方案,其中在灰阶的最大峰值处的不同颜色,在最大峰值之前具有强烈的颜色印迹,其证明了最大新陈代谢强度的区域。
图42、图43和图44示出了在编辑的图像中使用的调色板的另一实施方案,其中调色板构造的变化可能会改变图像的结果、增加细节或在实时工作时使操作员感到困惑。
图45示出了在编辑的图像中使用的调色板的另一实施方案,其中,灰阶促进了感兴趣区域的周围环境的可视化,其中在梯度的中间部分中添加另一颜色直至峰值着色之前的极限。
图46示出了在编辑的图像中使用的调色板的另一实施方案,其中当其放弃灰阶作为背景色调时,均匀的梯度在实时检查中可能混淆。
图47示出了在编辑的图像中使用的调色板的另一实施方案,其中色调梯度中具有对比度的梯度可以给出关于周围环境的信息。
图48和图49示出了在编辑的图像中使用的调色板的另一实施方案。对比区域的反转可能是可见图像和主观图像之间的差异。
图50和图51示出了在编辑的图像中使用的调色板的另一实施方案,其中与灰阶对比的颜色的集中的位置可能是可见图像和主观图像之间的差异。
图52示出了使用分割来去除无关紧要的信息,从而促进了对感兴趣区域的分析。在温度栏中,上部或下部分割的振幅画出了要界定的区域的覆盖范围。
图53、图54、图55和图56示出了等温线,作为在感兴趣区域中使用的划界根据,从而用于促进类似区域的定位。根据温度列中的位置和等温线的振幅(黄色),产生的结果寻求热相似性。
图57示出了用于识别热相似性的几个等温线,当界定区域或在距明显病理某一距离处搜索相同的模式时,其对于搜索病理模式很有用。
用于算法应用的模块化环境
图58示出了使用标准调色板进行操作的系统的实施方案。
图59示出了在实时的系统操作期间具有多个可用调色板的调色板搜索系统的功能之一的实施方案。应当记住,这些调色板具有统一的梯度背景。
图60示出了通过“Merlin标”工具使用系统功能来改善图像的实施方案。在统一的梯度背景上,可以对调色板中的颜色集进行分组(由一系列颜色表示),然后在统一的背景下将其在温度标上垂直地滑动,直到图像出现并变得更清晰。“Merlim标”工具通过颜色序列使得小的温差更明显,从而形成图像。调色板的分组颜色序列是预定义的颜色,其可以在统一的梯度颜色(具有几个预先建立的模式并且可以选择)上移动。此外,等温线(纯色和孤立色)也在垂直温度栏中移动,以在不对称性的搜索中搜索温度变化。例如,选择0.3℃等温线会找出与其在垂直温度标中的位置有关的0.3℃的差异区域,从而指出要研究的区域。
技术协会
图64示出了来自热图像和核磁共振的3D重建的实施方案。
图65.a和图65.b示出,随着技术的发展,辐射图像允许进行新的处理。图65.a是在这项技术的开发之初进行处理的,而图65.b是一年后进行处理的,因为处理逻辑是不断重复的。由黑色箭头所指示的,在两个图像中以及图65.b的右侧检测到的肿瘤块在检查期间存在非常明显的、不可见的或不可触及的粗糙纹理(黄色箭头)。
图66示出了谱数据立方体的概念。立方体数据包含两个空间维度和一个谱维度(LI等,2013),从而用于诊断推定的改变区域,但无可见的或可触及的迹象。
图67示出了前哨淋巴结的正常谱和转移结果(O'SULLIVAN,2011)。
图68示出了用于处理测温视频图像的系统的实施方案,其可以在数个技术领域中使用。
图69示出了当使用“谱”工具时从NIR图像获得的谱的实例。
具体实施方式
以下描述是通过实施例的方式给出的,而不是对本发明的范围的限制,并且它们将使得可以更加清楚地理解本专利申请的目的。
在第一目的中,本发明提出一种处理患者的测温视频图像的方法,包括以下步骤:
a.通过发射电磁波MIR和LIR界定感兴趣区域并记录肉眼不可见的异常;
b.通过发射电磁波MIR和LIR对感兴趣区域录测温视频;
c.通过发射NIR电磁波,识别肉眼不可见的异常,用于对样品进行谱分析;
d.调整生成的视频温谱图的分辨率。
红外辐射的长度在0.75-1000μm的范围内,可以细分为三个较小的组:近红外或NIR(0.76-1.5μm)、中红外或MIR(1.5-5.6μm)和远红外或FIR(5.6-1000μm)。尽管在27℃下来自人体皮肤的红外发射在2至20μm的波长范围内,其峰值在约10μm处。8-12μm之间的波长范围称为人体红外辐射,但是,随着新一代检测器的使用,NIR和MIR区域也被使用(LAHIRI,2012)。
发射率是在相同温度下通过任何物体和黑体(在给定波长处)辐射的能量之间的关系。因此,发射率始终假设0到1之间的值,其在数值上等于物体吸收的辐射的分数。该热量对于视网膜的光学受体是不可见的,但是可以被生成超辐射图像或低辐射图像的特殊检测器捕获。
人体发射的热量(红外线)是由分子运动产生的。该热量是由人体连续产生的,是新陈代谢的产物(生物体的全部生化反应的结果),而新陈代谢强度表示化学反应期间热量的释放。
尽管外围温度随着昼夜节律、体力劳动、新陈代谢、水合平衡,药物和环境温度而变化,但是中心温度不改变(恒温),是均一的并且形成热模式中的对称性。
健康的人在身体的左侧和右侧之间具有热对称性,在人体的两侧上的皮肤温差很小,约为0.2℃(UEMATSU,1985)。
对于工业检查,有理由获得关于目标发射的所有温度的信息,因为其趋于进入热平衡,但是对于人类,只有极端温度才重要,因为我们是恒温的且我们保持体内温度恒定。
外围温度可以随环境而均匀地变化,但在病理实例中,我们所具有的温度在像素之间的温差可以达到几度。因此,根据要研究的病理,所使用的设备的灵敏度和对我们感兴趣的温度的捕捉非常重要。
通过使用图38和图39作为实例,其中研究的目标是淋巴组织(淋巴),其中要研究的温度范围略低于最大温度(血液)。在这种情况下,构建调色板以示出最高温度,而我们不感兴趣的温度形成离散的颜色梯度,灰阶是最理想的。
热不对称性是由生物体的功能变化引起的,因此,0.3℃以上的差异表明异常,而1℃以上(GOODMAN,1986)的差异则强烈地指示功能障碍(DIBENEDETO,2002)。
从Ring和Ammer(2007)的角度来看,如果该技术遵循已建立的标准,则红外图像仅产生可靠且有效的结果,其中,图像的捕获必须在受控环境中进行。
不同的作者对进行检查的环境温度不认同。此类建议与提交进行检查的组织的类型直接相关,其中,观察到的温度范围为18℃-25℃(LAHIRI,2012)。
红外辐射可通过在分子中包含三个或更多个原子的气体和悬浮的固体颗粒的存在下与大量周围气体相互作用,这些气体的一些波长被吸收和发送(大气衰减)(VERATTI,1992;NOGUEIRA,2010)。
摄像机与进行研究的组织之间的距离不是检查成功的相关因素。腹部和躯干的图像分析的理想距离似乎为约2米左右,但是相对于输出数据而言,更大或更小的距离并没有导致统计学上的显著变化(TOPALIDOU,2016)。
在2000年,Anbar提出小肿瘤能够在红外图像中产生显著变化,这可能是由原位导管癌(DICS)诱导的一氧化氮血管舒张引起的。
肿瘤的生长取决于新血管形成,并且肿瘤中新血管的成功募集(血管生成)取决于肿瘤细胞产生的血管生成生长因子。新血管邻近肿瘤生长且没有平滑肌,使它们难以被肾上腺素控制。这样可以保持更恒定的血液流动,从而增加局部温度(SALHAB,2005)。
患有癌症的乳腺的区域随着时间的推移产生具有复杂性变化的热信号,其中达到90.90%的正确率(SILVA,2015)。
测温用在许多心脏外科手术中,因为心脏发射的红外辐射与其温度成正比,而这与冠状动脉的流量成正比(ROBICSEK,1978)。因此,心肌组织的高热量发射指示血流增加,而发射减少表明血流灌注不足。高的心脏血流流量及其显著的新陈代谢活性使心肌成为通过红外测温进行检查的极佳器官(BRIOSCHI,2002)。
除已描述的用途外,该技术还针对其他应用,例如疼痛的治疗和控制、血管病、风湿病、神经病、外科手术、眼科、皮肤科、烧伤、溃疡、牙科、呼吸障碍、运动和身体康复。
在27℃下,来自人体皮肤的红外发射在2至20μm的波长范围内,峰值在约10μm处。8-12μm之间的波长范围称为人体红外辐射(LIR),但是,随着新一代检测器的使用,NIR和MIR区域也被使用(LAHIRI,2012)。
在Szu于2003年进行的一项实验中,如图3和图4所示,很明显,根据红外区域,在选择一个或另一个红外区域时,某些细节可能会丢失。
此外,图5和图6示出了在彩色图像中使用多谱段算法LCCN(拉格朗日约束神经网络),在乳腺区域的原位癌病灶中仍证实存在超辐射区域,尽管2003年该技术存在局限性。这些细节可以改变对患者健康状况的评估以及可以使用的治疗方法。
在实验过程中,据报道具有两种颜色的红外图像可以正确地记录不对称性并对乳腺癌提供更好的诊断,甚至在LIR和MIR区域中也可以比较相同的图像,如图3和图4所示。
另一个重要的观点是Arena在2004年提出的,当时他建议在单个显示器中组合多种形态,其中可以对数据进行颜色编码和分层,从而在清晰且简洁的图像中改善认知,如图7所示。
如果,在一方面,R/D算法和工业软件的颜色模式是最常用的,在另一方面,长红外范围(LIR)不再从也反映了分子运动的其他范围接收信息,则表明该技术有效,但未使用适当的技术。
在27℃下,来自人体皮肤的红外发射在2至20μm的波长范围内,峰值在约10μm处,LIR使用更多。
处理患者的测温视频图像的方法使用MIR和LIR红外发射,用于宏观方面的可视化和感兴趣区域的界定。在先前对MIR和LIR进行界定之后,NIR意欲被用于微观方面(谱识别)。
对患者的测温视频图像的处理包括以下过程:界定需要从中获取信息的区域,生成视频温谱图以及通过调整分辨率来操作该视频温谱图。
需记住,关于上述特殊性,因为每个人体组织具有特定的发射率,在红外线区域的不同范围内发射热量,人体两侧上正常皮肤温度的差异为约0.2℃。热不对称性是由生物体的功能变化引起的,因此,0.3℃以上的差异表明异常,1℃以上的差异则强烈地指示功能障碍。
对于工业检查,有理由获得关于目标发射的所有温度的信息,因为其趋于进入热平衡,但是对于人类,只有极端温度才重要,因为我们是恒温的且保持我们体内温度恒定。外围温度可以随环境而均匀地变化,但是在病理中,我们所具有的温度在像素之间的温差可以达到几度。因此,根据要研究的病理,所使用的设备的灵敏度和对我们感兴趣的温度的捕获非常重要。
医学图像的分割对于设计解剖结构和其他感兴趣区域是至关重要的。颜色和纹理是两个低水平特征,并且也是最重要的特征,其用于基于内容提取图像和视频信息,并且通常用于索引和管理数据。
为了使调色板的构造适合于病理学,有必要知道预期会发现什么,因为每种疾病都有其自身的特殊性。理想的是检查感兴趣区域并找到最大温度和最小温度,并根据此参数建立调色板的颜色范围。
使用分割从我们不感兴趣的区域去除信息也很重要,这有助于对来自感兴趣区域的图像进行分析,如图52所示。
除了分割之外,等温线是划界根据,其可以在感兴趣区域中使用,以利于区域的定位,如图53至图56所示。
在每个创建调色板的过程中,一个或两个等温线的颜色数量、位置和关联可以改变比现有技术所能理解的更多的信息。在所有情况下,即使没有根据,图像的增强也表明,红外图像比温差可以提供更多的可视信息。在一个实施方案中,调色板被存储在系统内部,用于处理患者的测温视频图像。在另一个实施方案中,通过获取云中的调色板的方式来获取调色板。
在第二个目的中,本发明的特征在于一种用于处理患者的测温视频图像的系统,该系统包括:
a.视频温谱图的获取装置,包括至少一个读取头;以及
b.操作视频温谱图的装置,配置为接收由获取装置生成的视频温谱图。
在一个实施方案中,获取装置包括读取头,其利用与摄像机相关联的红外波段NIR、MIR和LIR中的技术,用于图像融合。在一个实施方案中,所述摄像机是CCD摄像机。因此,该系统使得在由摄像机捕获的真实图像与由读取头捕获的视频温谱图的图像之间进行融合成为可能。
为了实时分析图像,除了构造调色板之外,还必须存在一个环境,使得其可以被改善。也有必要使用一些工具来使其适应要研究的情况,使该技术可重复。在一个实施方案中,用于处理患者的测温视频图像的系统包括3个模块,其彼此交互,用于操作视频温谱图,包括用户模块、管理员模块和开发者模块。
视频温谱图是检测到的任何图像,其证明了分析区域的不同温度。
用户模块提供了访问配置文件控件。用户必须与至少一个访问配置文件相关联,其确定了对系统信息的访问权限和/或访问级别,作为信息的共同管理员或仅是管理自己信息的客户。另外,用户模块具有报告的打印,其中,这些报告包括文本、图像和/或视频中的过程描述,其涉及客户的先前注册及其历史。
管理员模块允许广泛使用对象的功能,支持软件安装、报告中心、远程医疗和更新。在另一个实施方案中,管理员模块具有对对象的所有功能的特权访问,从而允许支持。
开发者模块具有系统控制自身,并且包括由具有高水平知识和责任的用户进行管理。在另一个实施方案中,开发者模块保留其他模块的所有参数化控件,包括数据库、调色板、等温线、图形、统计数据,并具有编辑源代码和生成对象的权限。
在用于处理患者的测温视频图像的系统中,调色板编辑是允许编辑新调色板的模块。在一个实施方案中,它是一种可以在实时之外使用的功能,并且可以协同更新软件。
在一个实施方案中,调色板编辑允许读取不驻留在系统中的调色板以生成新的图像模式,如图40至图50所举例说明的,从而使得其具有直观的表示形式,具有与便利工具相关的实用控件,例如工作时用于快捷方式的功能键。
在另一个实施方案中,编辑模块类似于大轮子,如图59和图60所示,通过滚动鼠标以视频和/或静态图像示出了驻留在软件中的调色板的图像。一旦选择了最佳图像,在选定选项上用鼠标单击两次可将该图像传输到主屏幕,其可以使用分割和等温线来进行编辑。
在一个实施方案中,当选择最佳的梯度背景选项时,该改进是通过“Merlin标”工具来进行,如图60所示。一旦激活,该标除了具有链接标外,还具有顶部按钮和底部按钮。在分组后,可以通过鼠标将调色板移动到温度标上的期望位置。分组范围是指在均一的梯度颜色上和/或以预先建立的模式的预定义颜色的梯度,其变为可移动。此外,等温线(纯色和孤立色)也在垂直温度标中移动,以寻找从0.1至5℃的温度变化,以寻找不对称性。例如,选择0.3℃等温线会相对于其在垂直温度标中的位置寻找0.3℃的差异区域,从而指出要研究的区域。图60示出的实施方案使用通过“Merlim标”工具进行图像增强的系统功能。
在技术融合中,NIR可以捕获差异区域的图像,创建可以识别分子结构的谱,并将其与已注册的谱库进行比较,对要研究或不研究的区域进行实时诊断。
在一个实施方案中,用于处理患者的测温视频图像的系统包括图像转换至医学数字图像通信系统(DICOM),其中该信息成为与其他软件进行通信和查询的文件。作为辐射图像,可以随着技术的发展对其进行再次编辑。
在另一个实施方案中,用于处理患者的测温视频图像的系统包括计算机断层扫描图像和/或核磁共振与热图像之间的3D融合,以在重建和处理速度方面有效地工作,如图64所举例说明的。
实施例1
此处所示的实施例仅旨在举例说明实施本发明的数种方式中的一种,但是并不限制本发明的范围。
图像的获取/捕获装置是利用与CCD摄像机相关联的利用红外范围(NIR、MIR和LIR)技术的读取头实现的,用于将图像与相关的消耗单元和冷却单元融合。
借助于科学的热像仪和Research IR软件,产生了工业标准的彩色输出图像,尽管离理想还很远,但如今可以认为这是一项出色的技术。
由于证据表明,在病理情况下,新陈代谢强度增加并产生热量(化学反应和分子运动的结果),显然发生了该事件,但是没有被观察到。
第一步是从捕获的图像构造调色板,其中调色板应该由组织和器官构建。
调色板的构建是由在动物实验单元(UEA-RJ)进行了一些实验的大鼠和兔子制成的。由于它们具有很高的新陈代谢强度,因此有可能形成可能证明图28和图33中所示的解剖结构的轮廓的颜色模式。
随后,我们试图观察在兔子的开胸手术期间是否有可能看到心脏中的血流。当朝向右心房和右心室进入尾腔静脉时,如图11中的蓝色所示的血流很明显。
为了获得该图像而构建了数个调色板,以便选择在视频上显示最佳清晰度的选项。图12示出了构建的数个调色板。
当可视化血流时,即使对于大多数训练有素的外科医生来说,以现有技术中识别淋巴组织的知识,淋巴流也是个问题。
以这种方式,在UEA的常规医疗保健中,在开胸手术期间对狗进行了检查以矫正乳糜胸,如图34至图39所示。乳糜胸是一种使人衰弱的疾病,其中胸导管破裂,并且随后胸膜腔内的乳糜泄露。乳糜是乳状淋巴液,其是消化过程中吸收的脂肪(具有高浓度的乳糜微粒)和脂蛋白(如甘油三酯、磷脂和胆固醇)产生的(ALLMAN,2010)。识别胸导管对于纠正乳糜的溢出至关重要。
在形成调色板的每个过程中,有可能认识到,与现有技术中使用的相比,颜色的数量、一个或两个等温线的位置和关联可以提供更多的信息。在所有情况下,即使没有根据,也可能改善图像,表明红外图像除温差外还可以提供更多的可视信息。
实施例2
图65.a和65.b中举例说明了使用用于处理测温视频图像的方法的不同情况,之前在图13至图16中进行了说明。由于图像具有辐射性,因此有可能重新分析在实验开始时捕获的所有图像,并在重复所述处理逻辑时重建新的模式。这样,有可可视化之前看不到的纹理。
实施例3
在另一情况下,有可能识别出与已知肿瘤区域类似的区域,但无可见或可触及的变化,这是导致肿瘤性栓塞的活检的目标,如图17至图19所示。
除了易于可视化和划界的损伤处之外,温度测量是功能障碍的重要指征。如图21至23所示,也有可能在另一个调色板中识别肿瘤的范围和在一距离内的转移。
重要的是,根据图28至图30中出现的呼吸运动,该技术也可以应用于评估肺通气量。
在肠系膜中,其允许检查血管和功能障碍区域。在这种情况下,构建了调色板来检查粪结,其中肠环路扩张,如图31至图33所示。
实施例4
在大鼠中,诱导了黑素瘤(肿瘤)在耳朵中的生长,使得有可能识别出哪些动物形成了肿瘤,以及肿瘤覆盖的区域,而不管可见的迹象。图26和27。
实施例5-MART站(1)
为了举例说明用于处理患者的测温视频图像的系统,在该实施例中称为实时站(MART)(1)中的新陈代谢活动,图68示出了MART站(1)在5种不同的用途中的实施例。
MART站(1)是与图像发生器连接的计算机化编辑站,其通过红外传感器捕获由人体发射的无辐射的静态和/或动态数字图像,能够记录视频并将它们转换为数据。
检测新陈代谢变化的测温视频可以辅助决策过程,因为MART站(1)使用由感染、器官或组织形成的新图像模式,可以有效地记录事件,尽管事实上其肉眼看不见、但它们是存在的。
用于手术室(1.1)的MART站(1),包括:
a.肿瘤的覆盖范围和边界的界定;
b.肿瘤血管形成的识别;
c.推定的在一距离内的转移的活检;
d.血管异常的识别,包括淋巴异常;
e.局部缺血区域的识别。
用于放射科(1.2)的MART站(1),包括:
a.乳腺的血管异常的识别;
b.指示功能障碍的热不对称性的识别;
c.肿瘤的覆盖范围和边界的界定;
d.局部缺血区域的识别。
用于皮肤科(1.3)的MART站(1),包括:
a.指示功能障碍的热不对称性的识别;
b.肿瘤的覆盖范围和边界的界定;
c.血管异常或肿瘤冲洗的识别;
d.干细胞微环境(niche)的识别。
用于心脏内科(1.4)的MART站(1)包括在努力测试期间局部缺血的识别。
用于实验室用途(1.5)的MART站(1)(可见的变化之前),包括:
a.培养基中的细胞分布的识别;
b.细胞生长、竞争或死亡的识别;
c.细胞能量行为的可视化。
与CCD摄像机相关联的红外范围内(NIR、MIR和LIR)的技术的读取头用于图像融合的用途。
MIR和LIR旨在查看宏观方面并界定感兴趣区域。在先前界定MIR和LIR之后,NIR旨在用于微观方面(样品谱的识别)。这样,系统可使用“谱”工具,该工具包括捕获NIR图像以形成图像中的样品谱。图69示出了通过该工具获得的谱的实例。
红外振动谱学可以从分子运动中提取关于各种生物材料的结构和组成的信息(LEE,2009)。NIR区域中的谱学可以是一项出色的技术关联。对于每种类型的键,它都有自己的自振频率,并且由于两种不同化合物中的两种相同类型的键处于两种略有不同的环境中,因此,两种不同结构的分子在红外或红外线谱中的吸收模式永远不会完全相同。尽管在两种情况下吸收的频率可能相同,但是两种不同分子的红外线谱(吸收模式)将永远不会相同。因此,红外线谱可以作为分子,与指纹对人类的意义相同,如图66所示。化学实验室中广泛使用两种类型的红外线谱仪:色散和傅立叶变换(FT)仪器。然而,FT红外线谱仪产生的谱要比色散仪快得多(PAIVA,2010)。
可以使用从傅立叶变换红外线谱获得的具体参数来分析推定区域,使其成为一种可以将癌变前和恶性细胞以及组织与正常状态区分开的快速且无需试剂的方法(SAHU,2005)。图67示出了该谱的实施方案。
本领域技术人员将理解这里呈现的知识,并且将能够以呈现的方式以及其他变型和替代形式来再现本发明,其均包括在所附权利要求的范围内。
Claims (12)
1.用于处理患者的测温视频图像的方法,其特征在于,所述方法包括步骤:
a.通过发射电磁波MIR和LIR界定感兴趣区域并记录肉眼不可见的异常;
b.通过所述发射电磁波MIR和LIR对所述感兴趣区域录测温视频;
c.通过所述发射NIR电磁波,识别肉眼不可见的异常,用于对所述样品进行谱分析;以及
d.调整生成的视频温谱图的分辨率。
2.根据权利要求1的用于处理测温视频图像的方法,其特征在于,在所述录测温视频的步骤之后包括检测所述感兴趣区域中的温差的步骤。
3.根据权利要求2的用于处理测温视频图像的方法,其特征在于,包括步骤:在能够在最大温度标上移动并且最小地形成期望的测温视频图像的均一梯度背景上构建调色板的颜色范围。
4.根据权利要求3的用于处理测温视频图像的方法,其特征在于,所述调色板包括与一个或多个等温线相关的颜色、定位和运动的结合。
5.根据权利要求4的用于处理测温视频图像的方法,其特征在于,在最大温度标和最小温度标上以预定的间隔将所选择的等温线分组,其中所述等温线可以移动以找到期望的测温视频图像。
6.根据权利要求3的用于处理测温视频图像的方法,其特征在于,包括在所生成的视频温谱图中应用所述调色板的阶段。
7.用于处理患者的测温视频图像的系统,其特征在于,所述系统包括:
a.视频温谱图的获取装置,包括至少一个读取头;以及
b.操作所述视频温谱图的装置,其配置为接收由所述获取装置生成的视频温谱图。
8.根据权利要求7的用于处理测温视频图像的系统,其特征在于,所述获取装置包括与摄像机相关联的红外波段NIR、MIR和LIR读取头,用于图像融合。
9.根据权利要求8的用于处理测温视频图像的系统,其特征在于,在所述NIR红外范围内的采集生成所述测温视频图像中样本谱。
10.根据权利要求7的用于处理测温视频图像的系统,其特征在于,所述操作视频温谱图的装置包括:均一的梯度基底,形成所述测温视频图像的最大温度标和最小温度标;以及调色板,用多种颜色构建,其在温度标上移动以找到期望的测温视频图像。
11.根据权利要求10的用于处理测温视频图像的系统,其特征在于,所述调色板还包括:等温线的平行标,其中选择由多个纯色表示的预定温度范围以在所述温度标上移动,从而找到类似的温度区域。
12.根据权利要求10的用于处理测温视频图像的系统,其特征在于,所述操作视频温谱图的装置包括现有的调色板的同时可视化工具,由叠加的微型图像表示,其中当选择用于操作所述测温视频图像时,所述微型图像的叠加被突出显示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BR102018068627A BR102018068627A2 (pt) | 2018-09-14 | 2018-09-14 | método e sistema de processamento de imagens vídeo termométricas |
BR102018068627-5 | 2018-09-14 | ||
PCT/BR2019/050398 WO2020051669A1 (pt) | 2018-09-14 | 2019-09-13 | Método e sistema de processamento de imagens vídeo termométricas |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113164068A true CN113164068A (zh) | 2021-07-23 |
CN113164068B CN113164068B (zh) | 2024-05-28 |
Family
ID=69776910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980067992.0A Active CN113164068B (zh) | 2018-09-14 | 2019-09-13 | 用于处理测温视频图像的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11931130B2 (zh) |
EP (1) | EP3851032A4 (zh) |
CN (1) | CN113164068B (zh) |
BR (1) | BR102018068627A2 (zh) |
IL (1) | IL281473A (zh) |
WO (1) | WO2020051669A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011303B (zh) * | 2023-10-08 | 2024-01-09 | 泰安金冠宏油脂工业有限公司 | 基于机器视觉的油料生产质量检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070213617A1 (en) * | 2006-02-16 | 2007-09-13 | Berman Herbert L | Infrared detection of cancerous tumors and other subsurface anomalies in the human breast and in other body parts |
CN102309318A (zh) * | 2011-07-08 | 2012-01-11 | 首都医科大学 | 基于红外序列图像的人体生理参数检测的方法 |
CN104055498A (zh) * | 2014-04-30 | 2014-09-24 | 首都医科大学 | 一种基于红外序列图像的人体呼吸和心率信号非接触式检测方法 |
US20150124102A1 (en) * | 2013-11-01 | 2015-05-07 | Flir Systems Ab | Enhanced visual representation of infrared data values |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4418782C2 (de) * | 1993-05-21 | 1997-01-09 | Mitsubishi Electric Corp | System und Verfahren zum Einstellen eines Farbbildes |
US7783096B2 (en) * | 2005-10-17 | 2010-08-24 | Siemens Corporation | Device systems and methods for imaging |
US7864999B2 (en) * | 2005-10-19 | 2011-01-04 | Siemens Medical Solutions Usa, Inc. | Devices systems and methods for processing images |
US9599461B2 (en) * | 2010-11-16 | 2017-03-21 | Ectoscan Systems, Llc | Surface data acquisition, storage, and assessment system |
US10095688B1 (en) * | 2018-04-02 | 2018-10-09 | Josh Schilling | Adaptive network querying system |
-
2018
- 2018-09-14 BR BR102018068627A patent/BR102018068627A2/pt not_active Application Discontinuation
-
2019
- 2019-09-13 US US17/275,976 patent/US11931130B2/en active Active
- 2019-09-13 CN CN201980067992.0A patent/CN113164068B/zh active Active
- 2019-09-13 WO PCT/BR2019/050398 patent/WO2020051669A1/pt unknown
- 2019-09-13 EP EP19858989.7A patent/EP3851032A4/en active Pending
-
2021
- 2021-03-14 IL IL281473A patent/IL281473A/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070213617A1 (en) * | 2006-02-16 | 2007-09-13 | Berman Herbert L | Infrared detection of cancerous tumors and other subsurface anomalies in the human breast and in other body parts |
CN102309318A (zh) * | 2011-07-08 | 2012-01-11 | 首都医科大学 | 基于红外序列图像的人体生理参数检测的方法 |
US20150124102A1 (en) * | 2013-11-01 | 2015-05-07 | Flir Systems Ab | Enhanced visual representation of infrared data values |
CN104055498A (zh) * | 2014-04-30 | 2014-09-24 | 首都医科大学 | 一种基于红外序列图像的人体呼吸和心率信号非接触式检测方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3851032A1 (en) | 2021-07-21 |
WO2020051669A1 (pt) | 2020-03-19 |
US11931130B2 (en) | 2024-03-19 |
US20220036600A1 (en) | 2022-02-03 |
BR102018068627A2 (pt) | 2020-03-31 |
CN113164068B (zh) | 2024-05-28 |
IL281473A (en) | 2021-06-30 |
EP3851032A4 (en) | 2022-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ekici et al. | Breast cancer diagnosis using thermography and convolutional neural networks | |
US9754371B2 (en) | Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition | |
EtehadTavakol et al. | Application of K-and fuzzy c-means for color segmentation of thermal infrared breast images | |
Ng | A review of thermography as promising non-invasive detection modality for breast tumor | |
Ng et al. | Application of infrared to biomedical sciences | |
Kaczmarek et al. | Active IR-thermal imaging in medicine | |
US20240095923A1 (en) | Detection and Characterization of CancerousTumors | |
Vardasca et al. | Current issues in medical thermography | |
US10123704B2 (en) | Method and system for dual-band active thermal imaging using multi-frequency currents | |
Shahari et al. | Color analysis of thermograms for breast cancer detection | |
González et al. | An approach for thyroid nodule analysis using thermographic images | |
EP1620003B1 (en) | System and method for identifying and classifying dynamic thermodynamic processes in mammals and discriminating between and among such processes | |
Zhang et al. | Visible near-infrared hyperspectral imaging and supervised classification for the detection of small intestinal necrosis tissue in vivo | |
CN113164068B (zh) | 用于处理测温视频图像的方法和系统 | |
Negied | Infrared thermography-based breast cancer detection—comprehensive investigation | |
US7408156B2 (en) | System and method for identifying and classifying dynamic thermodynamic processes in mammals and discriminating between and among such processes | |
US8233968B1 (en) | Method and apparatus for high resolution dynamic digital infrared imaging | |
Amini et al. | Thermographic image analysis method in detection of canine bone cancer (osteosarcoma) | |
González et al. | Analysis of static and dynamic infrared images for thyroid nodules investigation | |
BR102019019090A2 (pt) | Método e sistema de processamento de imagens vídeo termométricas | |
Pokharel et al. | Review on the evolving role of infrared thermography in oncological applications | |
Gavriloaia et al. | Infrared signature analysis of the thyroid tumors | |
Hashemi et al. | Assessment of Computer Regulation Thermography (CRT) as a Complemetrary Diagnostic tool for Breast Cancer Patient | |
Datta et al. | Identification of Brain Cancer Using Medical Hyperspectral Image Analysis | |
Klyukin et al. | A Method to Record the Surface Temperature Distribution of the Skin as a Safe and Ergonomic Approach to Diagnosis and Monitoring in Breast Cancer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |