CN117152362A - 内窥镜多光谱的多路成像方法、装置、设备及存储介质 - Google Patents

内窥镜多光谱的多路成像方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117152362A
CN117152362A CN202311407775.6A CN202311407775A CN117152362A CN 117152362 A CN117152362 A CN 117152362A CN 202311407775 A CN202311407775 A CN 202311407775A CN 117152362 A CN117152362 A CN 117152362A
Authority
CN
China
Prior art keywords
data
spectrum
model
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311407775.6A
Other languages
English (en)
Other versions
CN117152362B (zh
Inventor
岑立剑
廖艳春
杨建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongan Shida Technology Co ltd
Original Assignee
Shenzhen Zhongan Shida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongan Shida Technology Co ltd filed Critical Shenzhen Zhongan Shida Technology Co ltd
Priority to CN202311407775.6A priority Critical patent/CN117152362B/zh
Priority claimed from CN202311407775.6A external-priority patent/CN117152362B/zh
Publication of CN117152362A publication Critical patent/CN117152362A/zh
Application granted granted Critical
Publication of CN117152362B publication Critical patent/CN117152362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种内窥镜多光谱的多路成像方法、装置、设备及存储介质，用于提升内窥镜多光谱的多路成像的质量。方法包括：通过内窥镜中的多个图像传感器采集每个通道的第一光谱图像数据；构建每个通道的光源模型以及进行光谱校正，得到多个第二光谱图像数据；对多个第二光谱图像数据进行多维数据融合，生成多维数据立体并进行加权处理，得到融合多维像素矩阵；进行数据降维和特征提取，得到目标降维像素数据并进行数据重构与模型构建，得到光谱立体数据模型；进行图像特征分析，得到图像特征分析结果；对图像特征分析结果和光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。

Description

内窥镜多光谱的多路成像方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种内窥镜多光谱的多路成像方法、装置、设备及存储介质。
背景技术
在现代医学影像领域，内窥镜技术在疾病诊断和治疗中发挥着重要作用。然而，传统的内窥镜成像方法往往只能提供表面或单一信息，难以全面了解组织结构和病变情况。为了克服这些局限，研究人员开始关注多光谱成像技术，以获得更丰富的生物组织信息。
多光谱成像技术结合了不同波长范围的光谱信息，可以提供组织的光学特性、血液供应情况以及其他生物分子的分布情况。然而，仅仅获取多光谱图像还不足以充分了解组织的复杂情况，因此需要将多通道光谱图像与其他信息相结合，以获得更全面的解析。然而，现有方案的在内窥镜应用中也存在局限，进而导致现有方案的成像质量低。
发明内容
本发明提供了一种内窥镜多光谱的多路成像方法、装置、设备及存储介质，用于提升内窥镜多光谱的多路成像的质量。
本发明第一方面提供了一种内窥镜多光谱的多路成像方法，所述内窥镜多光谱的多路成像方法包括：
通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵；
对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
结合第一方面，在本发明第一方面的第一种实现方式中，所述获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据，包括：
获取每个通道的光谱分布数据，并对所述光谱分布数据进行分段处理，得到每个光谱分布数据对应的多个光谱分段数据；
通过预置的三次多项式，分别对所述多个光谱分段数据进行样条拟合，得到多个样条段；
对所述多个样条段进行平滑处理，得到每个通道的光源模型；
根据所述光源模型对所述多个通道进行光强预测，得到每个通道的光强预测数据；
获取所述第一光谱图像数据的光强真实数据，并对所述光强预测数据和所述光强真实数据进行光谱比例校正，得到多个第二光谱图像数据。
结合第一方面，在本发明第一方面的第二种实现方式中，所述对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵，包括：
对所述多个第二光谱图像数据进行图像对齐和亮度均衡，得到多个标准光谱图像数据；
根据所述多个通道的通道顺序，对所述多个标准光谱图像数据进行堆叠，生成多维数据立体；
分别对所述多个通道进行权重分配，得到每个通道的第一通道权重，并根据所述第一通道权重对所述多维数据立体进行像素加权融合，得到融合多维像素矩阵。
结合第一方面，在本发明第一方面的第三种实现方式中，所述对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型，包括：
分别计算所述融合多维像素矩阵中每个通道的像素平均值，并根据所述像素平均值对所述融合多维像素矩阵进行中心化处理，得到中心化像素矩阵；
计算所述中心化像素矩阵对应的协方差矩阵，并对所述协方差矩阵进行特征值分解，得到特征值和对应的特征向量；
根据所述特征值的大小，选取主成分特征，并根据所述主成分特征对所述融合多维像素矩阵进行降维映射，得到目标降维像素数据；
分别对所述融合多维像素矩阵进行光谱特征和空间分布特征提取，得到光谱特征和空间分布特征，并根据所述光谱特征和所述空间分布特征，对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型。
结合第一方面，在本发明第一方面的第四种实现方式中，所述分别对所述融合多维像素矩阵进行光谱特征和空间分布特征提取，得到光谱特征和空间分布特征，并根据所述光谱特征和所述空间分布特征，对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型，包括：
对所述融合多维像素矩阵进行光谱响应特征提取，得到光谱特征，并对所述融合多维像素矩阵进行像素空间分布特征提取，得到空间分布特征；
对所述目标降维像素数据进行数据重构，得到初始光谱模型，其中，所述初始光谱模型中的每个像素点代表组合了不同通道光谱信息的数据；
根据所述光谱特征和所述空间分布特征，对所述初始光谱模型进行模型构建，得到光谱立体数据模型。
结合第一方面，在本发明第一方面的第五种实现方式中，所述通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果，包括：
对所述光谱立体数据模型输入预置的图像特征分析模型，其中，所述图像特征分析模型包括：卷积神经网络以及循环神经网络；
通过所述卷积神经网络对所述光谱立体数据模型进行卷积处理，得到模型表面特征；
通过所述循环神经网络对所述光谱立体数据模型进行时序关系特征提取，得到模型时序特征；
根据所述模型表面特征和所述模型时序特征，生成所述光谱立体数据模型的图像特征分析结果。
结合第一方面，在本发明第一方面的第六种实现方式中，所述对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据，包括：
对所述图像特征分析结果和所述光谱立体数据模型进行解码，得到图像特征解码数据和数据模型解码数据；
对所述图像特征解码数据和所述数据模型解码数据进行三维映射，得到目标三维模型；
对所述目标三维模型进行像素值插值与增强，得到内窥镜三维成像数据。
本发明第二方面提供了一种内窥镜多光谱的多路成像装置，所述内窥镜多光谱的多路成像装置包括：
采集模块，用于通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
构建模块，用于获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
融合模块，用于对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵；
重构模块，用于对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
分析模块，用于通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
成像模块，用于对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
本发明第三方面提供了一种内窥镜多光谱的多路成像设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述内窥镜多光谱的多路成像设备执行上述的内窥镜多光谱的多路成像方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的内窥镜多光谱的多路成像方法。
本发明提供的技术方案中，通过内窥镜中的多个图像传感器采集每个通道的第一光谱图像数据；构建每个通道的光源模型以及进行光谱校正，得到多个第二光谱图像数据；对多个第二光谱图像数据进行多维数据融合，生成多维数据立体并进行加权处理，得到融合多维像素矩阵；进行数据降维和特征提取，得到目标降维像素数据并进行数据重构与模型构建，得到光谱立体数据模型；进行图像特征分析，得到图像特征分析结果；对图像特征分析结果和光谱立体数据模型进行三维成像，得到内窥镜三维成像数据，本发明通过利用多个通道的光谱信息，能够获取组织不同波长下的光谱分布，从而提供更丰富的生物信息。通过光源校正，可以减少光源波动对图像质量的影响。多维数据融合和特征提取使得图像信息更具代表性和可解释性。而应用深度学习技术，卷积神经网络和循环神经网络，可以从光谱立体数据模型中提取更复杂的特征，进而提升内窥镜多光谱的多路成像的质量。
附图说明
图1为本发明实施例中内窥镜多光谱的多路成像方法的一个实施例示意图；
图2为本发明实施例中多维数据融合的流程图；
图3为本发明实施例中数据降维和特征提取的流程图；
图4为本发明实施例中数据重构与模型构建的流程图；
图5为本发明实施例中内窥镜多光谱的多路成像装置的一个实施例示意图；
图6为本发明实施例中内窥镜多光谱的多路成像设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种内窥镜多光谱的多路成像方法、装置、设备及存储介质，用于提升内窥镜多光谱的多路成像的质量。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中内窥镜多光谱的多路成像方法的一个实施例包括：
S101、通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
可以理解的是，本发明的执行主体可以为内窥镜多光谱的多路成像装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器首先，选择合适的图像传感器。这些传感器需要具有高分辨率、低噪声和良好的光谱特性，以确保采集到的数据准确可靠。每个传感器应该对应一个特定的波长范围，以便获取多个通道的光谱数据。例如，可见光传感器可以覆盖可见光波段，红外传感器负责红外光谱范围，以此类推。其次，需要进行光学系统的设计，以确保来自不同通道的光线被正确聚焦和分配到各自的传感器上。这涉及到使用适当的光学滤波器或光栅，以分离不同波长的光谱信息。这可以确保每个通道只接收其预设波长范围内的光。接下来，确保不同传感器的图像采集是同步进行的。这需要一个精确的时间同步系统，以确保每个通道的图像在相同的时间点采集。这对于后续数据处理非常重要，以避免数据不匹配问题。一旦传感器选择、光学设计和同步采集设置好，就可以开始采集光谱图像数据了。每个传感器负责采集其对应波长范围内的光谱信息，这些数据将成为每个通道的第一光谱图像数据。最终，这些第一光谱图像数据可以用于进一步的分析和处理，例如光谱校正、数据融合和特征提取，以获得更全面的光谱信息和图像特征。例如，在内窥镜中集成四个不同的图像传感器。传感器1覆盖可见光范围，传感器2覆盖红外光范围，传感器3覆盖近红外光范围，传感器4覆盖紫外光范围。针对每个传感器，选择适当的波长范围，以检测不同光谱特性。例如，可见光传感器可以覆盖400纳米到700纳米的范围。设计光学系统，包括滤波器，以确保每个传感器只接收特定波长范围内的光。使用精确的时间同步系统，确保四个传感器同时捕捉图像数据。内窥镜在检测过程中捕捉不同波长范围的图像。这些图像将成为每个通道的第一光谱图像数据。
S102、获取每个通道的光谱分布数据，并根据光谱分布数据构建每个通道的光源模型，以及根据光源模型分别对第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
具体的，服务器首先，获取光谱分布数据，这是多光谱成像的基础。对于每个通道，需要采集其光谱分布数据，描述了在该通道中不同波长的光的强度分布情况。其次，对光谱分布数据进行分段处理，将光谱分布数据分成多个光谱分段数据，每个分段对应于不同波长范围内的段落。然后，使用预置的三次多项式对每个光谱分段数据进行样条拟合，以获得多个样条段。这些样条段将光谱分布数据的曲线进行逼近，有助于建立光源模型。接着，对多个样条段进行平滑处理，以减少噪音和不规则性，提高模型的准确性。平滑处理有助于将模型更好地拟合实际数据。然后，使用所得的光源模型对每个通道进行光强预测，可以根据模型预测在不同波长范围内的光的强度。最后，获取第一光谱图像数据的光强真实数据，并将其与光强预测数据进行光谱比例校正，这有助于将第一光谱图像数据进行校正，以匹配模型预测的光谱特性，从而得到多个第二光谱图像数据。例如，假设内窥镜用于肺部癌症早期诊断。首先，内窥镜被引入患者的气管和支气管中，以检查存在的癌症病变。这时，内窥镜装备了多个通道的图像传感器，每个通道对应不同波长范围的光谱信息。其次，这些传感器采集到的光谱图像数据经过分析，用于获得肺部组织中的光谱分布数据。这包括红外光、近红外光和可见光等通道的数据，每个通道捕捉不同波长范围的光。然后，针对每个通道的光谱分布数据进行分段处理，将其分成多个光谱分段数据，比如氧合血红蛋白和脱氧血红蛋白的分段。接着，使用三次多项式对每个光谱分段数据进行样条拟合，以得到多个样条段，这些样条段可以更好地近似光谱分布的特性。随后，对这些样条段进行平滑处理，以减少数据中的噪音和不规则性，确保光源模型的准确性。最后，利用光源模型进行光强预测，以确定不同波长范围内的光的强度分布。这为早期肺部癌症的检测提供了更准确的信息。同时，将第一光谱图像数据的实际光强数据与光强预测数据进行光谱比例校正，以确保第一光谱图像数据反映了肺部组织的真实光谱特性。
S103、对多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对多维数据立体进行加权处理，得到融合多维像素矩阵；
需要说明的是，首先，对多个第二光谱图像数据进行图像对齐和亮度均衡。这确保了不同通道的图像在空间上对齐，以便后续的数据融合。亮度均衡可确保每个通道的图像具有相似的亮度水平，从而减少了不同通道之间的差异。根据多个通道的通道顺序，将多个标准光谱图像数据堆叠在一起，生成多维数据立体。每个通道的图像将按照它们的顺序叠加，形成一个多维数据立体，其中每个通道的信息在立体中都有所体现。接下来，分别对多个通道进行权重分配，以确定每个通道的第一通道权重。这些权重可以根据应用的需求来确定，通常取决于通道的重要性。例如，对于医学影像，可见光通道和红外光通道具有不同的重要性。然后，根据第一通道权重对多维数据立体进行像素加权融合。每个通道的图像像素将根据其权重进行融合，以生成融合多维像素矩阵。这一步骤考虑了每个通道的贡献，以确保合成图像具有最佳的信息质量。例如，假设服务器正在使用内窥镜进行胃肠道疾病的诊断。内窥镜配备了三个不同波长范围的通道，分别捕捉可见光、红外光和近红外光的图像数据。首先，服务器对这些通道的图像进行图像对齐和亮度均衡。然后，将它们堆叠在一起，形成一个三维数据立体，其中包含了不同波长的信息。接下来，服务器确定通道的重要性。在这种情况下，红外光通道被认为对检测特定疾病具有更高的敏感性，因此在权重分配中给予更高的权重。最后，服务器根据权重对多维数据立体进行像素加权融合。这样，服务器得到了一个融合多维像素矩阵，其中包含了可见光、红外光和近红外光的信息，根据其权重进行了合成。这个合成图像可以提供更全面的信息，有助于医生做出更准确的诊断和治疗决策。
S104、对融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
具体的，首先，对融合多维像素矩阵中每个通道的像素平均值进行计算，这有助于了解每个通道的整体亮度水平。接着，根据这些像素平均值，对融合多维像素矩阵进行中心化处理，以便更好地描述数据的变化。随后，通过计算中心化像素矩阵的协方差矩阵，并进行特征值分解，服务器得到了特征值和对应的特征向量，这些信息反映了数据的主要变化方向和强度。根据特征值的大小，服务器选择主成分特征，通常选择那些特征值较大的特征，因为它们包含了数据中最重要的信息。接下来，使用选定的主成分特征对融合多维像素矩阵进行降维映射，得到目标降维像素数据。这一步骤将高维数据映射到较低维度的空间，同时保留了重要的信息。同时，服务器还需要进行光谱特征和空间分布特征的提取。对于光谱特征，服务器计算每个通道的光谱统计信息，如平均光谱、最大光谱和最小光谱，以捕捉不同通道之间的光谱差异。对于空间分布特征，服务器提取像素之间的关系，如纹理特征和空间频率特征，以捕捉数据的空间分布模式。最后，根据提取的光谱和空间特征，服务器进行数据重构与模型构建。目的是重新组合数据，以获取光谱立体数据模型。光谱立体数据模型包含了多光谱成像的优势，包括光学特性、血液供应情况和组织形态，这个模型可以用于进一步的分析、诊断或其他应用领域。例如，假设服务器在胃镜检查中使用了多光谱成像技术。服务器采集了多通道的图像，包括可见光和红外通道。首先，服务器计算了每个通道的像素平均值，然后对图像进行了中心化处理。接着，通过协方差矩阵的特征值分解，服务器选择了主要的特征，将数据降维映射到更紧凑的空间。同时，服务器提取了光谱特征，如平均光谱和光谱差异，以及空间特征，如纹理特征和空间频率特征。最后，基于这些特征，服务器重构了数据并构建了光谱立体数据模型，这个模型包括了关于胃部组织的光谱信息和空间特性的综合描述，有助于提高胃部疾病的诊断准确性。
首先，针对融合多维像素矩阵中的每个像素点，光谱特征的提取包括计算不同通道的光谱响应，例如不同波长范围内的光强或反射率。这些特征反映了每个像素点的光学特性，如颜色和光谱特征。同时，空间分布特征的提取包括分析像素之间的关系，如纹理、空间频率等，以反映数据的空间分布模式。接下来，使用提取的光谱特征和空间分布特征，对目标降维像素数据进行数据重构。目的是重新组合像素数据，以创建初始的光谱模型。在这个模型中，每个像素点代表了组合了不同通道光谱信息的数据，同时考虑了像素之间的空间分布关系。最后，根据提取的光谱特征和空间分布特征，进行光谱立体数据模型的构建。这个模型将更全面地描述多光谱成像的数据，包括光学特性、血液供应情况和组织形态。模型的构建涉及机器学习方法、统计建模或其他数据建模技术，以将不同特征整合到一个综合模型中。例如，假设服务器使用内窥镜多光谱成像技术来研究肝脏组织。服务器收集了多通道的光谱图像，包括可见光和红外光谱。首先，服务器从每个像素点提取光谱特征，如平均光谱、光谱差异和光谱峰值，同时提取了空间分布特征，如纹理和空间频率。接着，服务器使用这些特征对目标降维像素数据进行了数据重构，创建了初始的光谱模型。最后，利用光谱特征和空间分布特征，服务器构建了光谱立体数据模型，用于更全面地了解肝脏组织的光学特性、血液供应情况和组织形态。
S105、通过预置的图像特征分析模型，对光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
具体的，服务器首先，服务器预先构建一个图像特征分析模型。这个模型通常包括卷积神经网络（CNN）和循环神经网络（RNN）等深度学习组件。CNN用于处理图像的空间特征，而RNN用于捕捉时序关系特征。这个模型将用于分析光谱立体数据模型。将光谱立体数据模型作为输入提供给预置的图像特征分析模型。这个数据模型包含了多光谱成像数据的复杂信息，包括光学特性、血液供应情况和组织形态。通过卷积神经网络，对光谱立体数据模型进行卷积处理，以提取模型的表面特征。卷积操作有助于捕捉图像中的空间特征，识别边缘、纹理和模式等。这些表面特征反映了组织结构的局部性质。通过循环神经网络，对光谱立体数据模型进行时序关系特征提取。这一步骤有助于分析模型中的动态信息，例如血液流动的变化或组织的时序演变。RNN可以捕捉数据中的时间相关性和序列模式。最后，根据卷积神经网络提取的模型表面特征和循环神经网络提取的模型时序特征，生成光谱立体数据模型的图像特征分析结果。这些结果将反映多光谱成像数据的深层信息，包括组织的光学特性和动态变化。例如，假设服务器正在使用内窥镜多光谱成像技术来检查患者的肺部组织。服务器已经采集了多通道的多光谱图像数据，包括可见光和红外光谱。首先，服务器构建了一个预置的图像特征分析模型，该模型包括卷积神经网络和循环神经网络。然后，服务器将光谱立体数据模型输入到这个模型中。卷积神经网络处理阶段会识别肺部组织的空间特征，例如肺泡的结构、血管分布等。这些特征有助于服务器理解组织的形态和光学特性。循环神经网络处理阶段会关注数据中的时序关系，例如肺部组织的呼吸运动或血液供应的动态变化。这方面的信息对于识别异常情况非常关键。最后，根据卷积神经网络和循环神经网络的输出，服务器生成了肺部组织的图像特征分析结果。这些结果可以包括异常区域的标记、血流速度的估计和光学特性的分析，有助于医生更准确地诊断肺部疾病。
S106、对图像特征分析结果和光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
具体的，首先，将已经得到的图像特征分析结果和光谱立体数据模型进行解码。将之前提取的特征和模型信息转化为可用于三维成像的数据形式。图像特征解码数据包含分析的空间特征，而数据模型解码数据包含了多光谱数据的光学特性。接下来，使用解码后的图像特征和数据模型，进行三维映射。将图像特征与光学特性结合，以重建目标物体的三维结构。通过将图像特征映射到光学特性上，可以获得具有空间信息的三维数据。在三维映射的基础上，生成目标的三维模型。这个三维模型代表了内窥镜所观察到的组织或物体的形状和结构。该模型可以用于进一步的分析和可视化。最后，在目标三维模型上进行像素值的插值与增强。这一步骤有助于提高三维成像数据的质量和视觉效果。插值可以填补潜在的数据缺失，并增强图像的清晰度和细节。通过这一步骤，生成的内窥镜三维成像数据变得更加可用于医学诊断和研究。例如，假设服务器正在使用内窥镜多光谱成像技术来研究患者的消化道组织。服务器已经采集了多通道的多光谱图像数据，包括可见光和红外光谱。服务器还使用了深度学习模型对这些图像进行了特征分析，提取了组织的空间特征和光学特性。首先，服务器对图像特征分析结果和光谱立体数据模型进行解码。这一步骤将深度学习模型的输出转化为可用于三维成像的数据格式。图像特征解码数据包含了空间特征的信息，数据模型解码数据包含了光学特性的信息。接下来，服务器进行三维映射，将图像特征和数据模型结合起来，以重建消化道组织的三维结构。这个过程将图像特征映射到光学特性上，生成了具有空间信息的三维数据。然后，服务器生成了消化道组织的目标三维模型，该模型反映了其形状和结构。这个模型可以用于医生的进一步分析，例如诊断肿瘤或其他病变。最后，在三维模型上进行像素值的插值与增强，以提高成像数据的质量。这包括去除噪声、增强对比度以及填补的数据缺失。
本发明实施例中，通过内窥镜中的多个图像传感器采集每个通道的第一光谱图像数据；构建每个通道的光源模型以及进行光谱校正，得到多个第二光谱图像数据；对多个第二光谱图像数据进行多维数据融合，生成多维数据立体并进行加权处理，得到融合多维像素矩阵；进行数据降维和特征提取，得到目标降维像素数据并进行数据重构与模型构建，得到光谱立体数据模型；进行图像特征分析，得到图像特征分析结果；对图像特征分析结果和光谱立体数据模型进行三维成像，得到内窥镜三维成像数据，本发明通过利用多个通道的光谱信息，能够获取组织不同波长下的光谱分布，从而提供更丰富的生物信息。通过光源校正，可以减少光源波动对图像质量的影响。多维数据融合和特征提取使得图像信息更具代表性和可解释性。而应用深度学习技术，卷积神经网络和循环神经网络，可以从光谱立体数据模型中提取更复杂的特征，进而提升内窥镜多光谱的多路成像的质量。
在一具体实施例中，执行步骤S102的过程可以具体包括如下步骤：
（1）获取每个通道的光谱分布数据，并对光谱分布数据进行分段处理，得到每个光谱分布数据对应的多个光谱分段数据；
（2）通过预置的三次多项式，分别对多个光谱分段数据进行样条拟合，得到多个样条段；
（3）对多个样条段进行平滑处理，得到每个通道的光源模型；
（4）根据光源模型对多个通道进行光强预测，得到每个通道的光强预测数据；
（5）获取第一光谱图像数据的光强真实数据，并对光强预测数据和光强真实数据进行光谱比例校正，得到多个第二光谱图像数据。
具体的，服务器首先，使用多光谱成像设备采集内窥镜中的多个通道的光谱图像。每个通道对应一个预设波长范围，因此，每个通道的图像包含了特定波长范围内的光谱信息。这些图像数据可以表示为光谱强度与波长之间的关系。将每个通道的光谱分布数据进行分段处理，将光谱数据分成不同的段或区间，以便更精细地分析光学特性。分段处理可以采用不同的方法，如将数据分为等宽或不等宽的波长段，或者根据特定光学特性的变化进行分段。这一步骤的目的是将光谱数据变得更容易处理和分析。对于每个分段的光谱数据，使用预置的三次多项式或其他拟合方法，将数据拟合成光谱曲线的样条段。样条拟合是一种数学技术，可用于近似和平滑光谱数据，以获得连续的光谱曲线。这些样条段将代表每个分段的光谱特性。对生成的样条段进行平滑处理，以消除存在的噪声或异常值。平滑处理可以使用滤波器或其他信号处理技术来实现，以确保光谱数据的稳定性和准确性。这一步骤有助于获得更可靠的光学特性模型。基于每个通道的样条段和光谱分布信息，构建光源模型。光源模型描述了内窥镜中每个通道中的光源特性，包括光谱分布和强度变化。根据光源模型，可以进行光强预测，得到每个通道的光强预测数据。这些数据反映了内窥镜中光源的光强分布。获取第一光谱图像数据的光强真实数据，这些数据是通过校准或参考标准测量得到的。然后，将光强预测数据与光强真实数据进行比较，以进行光谱比例校正。这一步骤有助于调整光强数据，以使其更准确地反映实际情况。最终，根据校正后的数据，得到多个第二光谱图像数据，这些图像数据更为准确和可靠，可用于进一步的分析和应用。例如，假设服务器正在使用内窥镜多光谱成像技术来研究患者的胃黏膜。服务器使用多个通道采集了多光谱图像数据，覆盖了可见光和红外光谱范围。首先，服务器对每个通道的光谱分布数据进行了分段处理，将光谱数据划分为不同的波长段。然后，对每个波长段的数据进行了三次多项式拟合，生成了样条段。这些样条段代表了每个波长段内的光学特性。接下来，服务器对样条段进行了平滑处理，以去除噪声。随后，根据这些样条段，构建了光源模型，描述了胃黏膜内的光源特性。根据光源模型，服务器预测了每个通道的光强分布。然后，服务器通过参考标准测量获取了第一光谱图像数据的光强真实数据。通过比较光强预测数据和光强真实数据，进行了光谱比例校正，以确保数据的准确性。最终，服务器得到了多个第二光谱图像数据，这些数据已经校正并准备好用于医学诊断和研究，以更全面地了解胃黏膜的光学特性和生物组织信息。
在一具体实施例中，如图2所示，执行步骤S103的过程可以具体包括如下步骤：
S201、对多个第二光谱图像数据进行图像对齐和亮度均衡，得到多个标准光谱图像数据；
S202、根据多个通道的通道顺序，对多个标准光谱图像数据进行堆叠，生成多维数据立体；
S203、分别对多个通道进行权重分配，得到每个通道的第一通道权重，并根据第一通道权重对多维数据立体进行像素加权融合，得到融合多维像素矩阵。
具体的，服务器首先，对多个第二光谱图像数据进行图像对齐，确保它们在空间上对齐，以便后续处理。同时，进行亮度均衡，以确保图像的亮度在不同通道之间一致。这可以通过直方图均衡等图像处理技术来实现。结果是得到多个标准光谱图像数据，这些图像在对齐和亮度上已经被标准化。然后，将多个标准光谱图像数据按照它们代表的通道顺序进行堆叠。这将生成一个多维数据立体，其中每个通道代表一个不同的光学特性或波段。这种立体数据在分析多通道信息时非常有用。接下来，为每个通道分配权重。权重反映了每个通道在整个多维数据中的重要性。这些权重可以基于先验知识、实验数据或自动化算法来确定。权重的分配需要考虑到每个通道在解决特定问题或分析特定信息方面的贡献。根据分配的权重，对多维数据立体进行像素加权融合。这意味着将不同通道的像素值相加，但每个通道的像素值都根据其相应的权重进行加权。这样，融合多维像素矩阵中的每个像素将包含多个通道的信息，且每个通道的贡献会根据其权重进行调整。例如，假设服务器正在研究眼科领域的多光谱成像，以更好地了解患者的视网膜情况。服务器使用多个通道的第二光谱图像数据，每个通道代表不同的波段或光学特性。首先，服务器对这些第二光谱图像进行图像对齐，确保它们在视网膜上的位置一致，并进行亮度均衡，以使它们在亮度上一致。这是因为光谱成像会受到光照条件或仪器差异的影响，因此需要标准化处理。然后，服务器将这些标准光谱图像按照它们代表的通道顺序堆叠在一起，生成了一个多维数据立体，每个通道代表不同的波段，例如红光、绿光和蓝光。接下来，服务器为每个通道分配权重，这些权重基于先前的研究或实验数据。例如，如果服务器知道红光对于检测视网膜血管问题很重要，服务器分配更高的权重给红光通道。最后，服务器根据分配的权重对多维数据立体进行像素加权融合。这一步骤将生成一个融合多维像素矩阵，其中每个像素包含了红光、绿光和蓝光通道的信息，且每个通道的贡献由其相应的权重决定。这个融合后的数据可以用于进一步的视网膜分析，帮助医生更全面地了解患者的视网膜健康状况。
在一具体实施例中，如图3所示，执行步骤S104的过程可以具体包括如下步骤：
S301、分别计算融合多维像素矩阵中每个通道的像素平均值，并根据像素平均值对融合多维像素矩阵进行中心化处理，得到中心化像素矩阵；
S302、计算中心化像素矩阵对应的协方差矩阵，并对协方差矩阵进行特征值分解，得到特征值和对应的特征向量；
S303、根据特征值的大小，选取主成分特征，并根据主成分特征对融合多维像素矩阵进行降维映射，得到目标降维像素数据；
S304、分别对融合多维像素矩阵进行光谱特征和空间分布特征提取，得到光谱特征和空间分布特征，并根据光谱特征和空间分布特征，对目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型。
具体的，服务器首先，分别计算融合多维像素矩阵中每个通道的像素平均值。这将为每个通道提供平均像素值。然后，根据这些平均值对整个融合多维像素矩阵进行中心化处理，即将每个像素值减去相应通道的平均值。这一步骤得到中心化像素矩阵，有助于数据的进一步分析。基于中心化像素矩阵，计算协方差矩阵。协方差矩阵描述了不同通道之间的相关性和变化。然后，对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。特征值反映了每个主成分的重要性，而特征向量表示主成分的方向。根据特征值的大小，选取主成分特征。通常，可以选择具有最大特征值的前几个主成分。这些主成分包含了大部分数据的变化信息。然后，根据选取的主成分特征，对融合多维像素矩阵进行降维映射。降维映射将多维数据映射到低维空间，以减少数据的复杂性。对降维后的目标像素数据进行光谱特征提取和空间分布特征提取。光谱特征提取涉及从每个像素中提取光学特性或波段的信息。空间分布特征提取涉及分析像素之间的空间关系和分布。这些特征提取方法可以根据具体问题和应用选择不同的技术和算法。最后，根据提取的光谱特征和空间分布特征，对目标降维像素数据进行数据重构和模型构建。这可以采用回归、机器学习或深度学习方法，将特征重新组合以重建原始数据或构建模型，用于进一步的分析、可视化或预测。例如，假设服务器正在使用内窥镜多光谱成像技术来研究皮肤病变。服务器采集了多个通道的多维像素矩阵数据，每个通道代表不同的皮肤特性。首先，服务器计算了每个通道的像素平均值，以及对整个矩阵进行了中心化处理，以便更好地处理数据。然后，通过计算协方差矩阵和进行特征值分解，服务器得到了主成分特征和对应的特征向量。接下来，服务器选择了前几个主成分特征，这些特征包含了大部分数据的变化信息。然后，服务器对多维像素矩阵进行降维映射，将数据映射到低维空间，以减少数据的维度。在降维后，服务器进行了光谱特征和空间分布特征提取。光谱特征包括皮肤的色彩信息，而空间分布特征包括皮肤病变的形状和分布。这些特征可以帮助服务器更好地理解皮肤病变的特性。最后，服务器使用提取的特征重构了数据或构建了皮肤病变模型，以帮助医生进行病情分析和诊断。这个模型可以用于预测病变的性质或发展趋势，从而指导治疗决策。这种方法可以提高内窥镜多光谱成像技术在皮肤病变诊断中的应用。
在一具体实施例中，如图4所示，执行步骤S304的过程可以具体包括如下步骤：
S401、对融合多维像素矩阵进行光谱响应特征提取，得到光谱特征，并对融合多维像素矩阵进行像素空间分布特征提取，得到空间分布特征；
S402、对目标降维像素数据进行数据重构，得到初始光谱模型，其中，初始光谱模型中的每个像素点代表组合了不同通道光谱信息的数据；
S403、根据光谱特征和空间分布特征，对初始光谱模型进行模型构建，得到光谱立体数据模型。
具体的，服务器首先，对融合多维像素矩阵进行光谱响应特征提取。目的是从每个像素的多个通道中提取光谱信息，以便更好地了解不同通道之间的关系和光学特性。光谱响应特征可以包括颜色、波段反应等。接下来，对融合多维像素矩阵进行像素空间分布特征提取。这一步骤关注像素之间的空间关系和分布，以便分析物体的形状、结构和排列方式。像素空间分布特征可以包括纹理、形状、边缘等信息。在提取了光谱响应特征和像素空间分布特征之后，对目标降维像素数据进行数据重构。将之前降维的像素数据重新组合，以还原原始的多通道信息。数据重构的目标是尽准确地还原原始数据，以保留有关物体的详细信息。最后，根据光谱响应特征、像素空间分布特征和数据重构后的多通道数据，进行模型构建。模型可以采用各种算法，例如机器学习模型、深度学习模型或统计模型，以便进一步分析和可视化数据。模型的构建过程应考虑如何最好地利用光谱和空间信息来描述物体或场景。例如，假设服务器正在使用内窥镜多光谱成像技术来研究胃肠道病变。服务器采集了多个通道的多维像素矩阵数据，每个通道代表不同的波长范围。首先，服务器从多维像素矩阵中提取光谱响应特征，即分析不同通道的波长范围，以确定哪些通道对特定生物组织或病变有响应。这有助于识别病变的光学特性。接下来，服务器进行像素空间分布特征提取，以分析病变的形状、大小和分布。这包括检测病变的边缘、纹理和密度等信息。然后，服务器将数据重构，将之前降维的像素数据重新组合，以还原原始多通道信息。这有助于保留病变的细节信息。最后，服务器使用光谱响应特征、像素空间分布特征和数据重构后的多通道数据进行模型构建。服务器使用深度学习模型，如卷积神经网络，来构建一个模型，能够自动识别和分类不同类型的胃肠道病变。
在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：
（1）对光谱立体数据模型输入预置的图像特征分析模型，其中，图像特征分析模型包括：卷积神经网络以及循环神经网络；
（2）通过卷积神经网络对光谱立体数据模型进行卷积处理，得到模型表面特征；
（3）通过循环神经网络对光谱立体数据模型进行时序关系特征提取，得到模型时序特征；
（4）根据模型表面特征和模型时序特征，生成光谱立体数据模型的图像特征分析结果。
具体的，首先，将光谱立体数据模型输入预置的图像特征分析模型。这个图像特征分析模型是一个复杂的神经网络结构，通常包括卷积神经网络和循环神经网络，用于提取不同类型的特征。该模型旨在将光谱立体数据模型映射到一个高维特征空间，以便更好地理解图像的内容。通过卷积神经网络对光谱立体数据模型进行卷积处理，以获得模型表面特征。卷积神经网络在图像处理中擅长捕捉图像的局部特征，这对于光谱立体数据模型的表面特征分析非常有用。卷积操作可以识别出图像中的边缘、纹理和形状等信息。通过循环神经网络对光谱立体数据模型进行时序关系特征提取。循环神经网络在处理序列数据和时间序列数据时表现出色。在这里，它可以捕捉到数据模型中的时序关系，例如光谱数据的时间变化或动态特征。这些时序特征可以用于更好地理解光谱立体数据模型中的动态变化。最后，根据模型表面特征和模型时序特征，生成光谱立体数据模型的图像特征分析结果。这个结果可以是一个高维特征向量，其中包含了对数据模型的深层次理解。这些特征可以用于不同的任务，如分类、分割、检测等。例如，假设服务器正在研究内窥镜多光谱成像在肺部疾病诊断中的应用。服务器已经采集了肺部组织的光谱立体数据模型，并希望使用图像特征分析来提取更多信息。首先，将肺部组织的光谱立体数据模型输入到图像特征分析模型中。这个模型包括卷积神经网络和循环神经网络。卷积神经网络负责捕捉肺部组织的表面特征，如肿瘤的大小、形状和分布。通过卷积操作，模型可以识别出肺部组织中的异常区域。循环神经网络用于提取肺部组织的时序关系特征。这对于检测肺部组织中的动态变化非常重要，例如血液供应的变化或病变的演化过程。最后，根据卷积神经网络和循环神经网络的输出，生成肺部组织的图像特征分析结果。这些特征可以用于肺部疾病的分类、病变分割或疾病进展预测等任务。
在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：
（1）对图像特征分析结果和光谱立体数据模型进行解码，得到图像特征解码数据和数据模型解码数据；
（2）对图像特征解码数据和数据模型解码数据进行三维映射，得到目标三维模型；
（3）对目标三维模型进行像素值插值与增强，得到内窥镜三维成像数据。
具体的，首先，将图像特征分析结果和光谱立体数据模型输入到相应的解码器中，以获得图像特征解码数据和数据模型解码数据。目的是还原原始的图像特征和数据模型，以便进一步处理。接下来，对图像特征解码数据和数据模型解码数据进行三维映射。将二维图像数据和数据模型映射到三维空间中。这可以通过使用三维重建算法和几何学原理来完成。在这一步骤中，需要考虑数据模型的空间分布和形状信息，以确保准确的三维映射。生成的三维模型包含不完整或不均匀的像素值数据。因此，需要进行像素值插值与增强，以填充缺失的像素值并增强图像质量。这可以通过各种图像处理技术来实现，例如双三次插值、直方图均衡化和去噪处理等。最后，通过上述步骤生成的三维模型和增强后的像素值数据，可以得到内窥镜三维成像数据。这些数据可以用于内窥镜成像设备的显示和分析，以提供医生更全面、更清晰的内窥镜图像，有助于疾病的诊断和治疗。例如，假设服务器正在使用内窥镜多光谱成像技术来诊断胃部疾病。服务器已经采集了多光谱数据，并通过图像特征分析和数据模型构建得到了复杂的光谱立体数据模型。首先，服务器将图像特征分析结果和数据模型输入到相应的解码器中，以获得图像特征解码数据和数据模型解码数据。解码后，服务器得到了原始的光谱信息和数据模型。然后，服务器进行三维映射，将二维图像数据和数据模型映射到三维空间中，考虑到胃部组织的复杂结构。这确保了服务器得到了一个准确的三维模型。接着，服务器进行像素值插值与增强，以填充存在的像素值缺失，并提高图像的质量。这可以帮助医生更清晰地看到胃部组织的细节。最后，服务器得到了内窥镜三维成像数据，这些数据可以在内窥镜设备上进行显示，医生可以使用这些数据来进行疾病的诊断和治疗决策。这样，内窥镜多光谱成像技术可以为医学诊断提供更多的信息和可视化工具，有助于提高疾病的早期检测和治疗效果。
上面对本发明实施例中内窥镜多光谱的多路成像方法进行了描述，下面对本发明实施例中内窥镜多光谱的多路成像装置进行描述，请参阅图5，本发明实施例中内窥镜多光谱的多路成像装置一个实施例包括：
采集模块501，用于通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
构建模块502，用于获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
融合模块503，用于对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵；
重构模块504，用于对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
分析模块505，用于通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
成像模块506，用于对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
通过上述各个组成部分的协同合作，通过内窥镜中的多个图像传感器采集每个通道的第一光谱图像数据；构建每个通道的光源模型以及进行光谱校正，得到多个第二光谱图像数据；对多个第二光谱图像数据进行多维数据融合，生成多维数据立体并进行加权处理，得到融合多维像素矩阵；进行数据降维和特征提取，得到目标降维像素数据并进行数据重构与模型构建，得到光谱立体数据模型；进行图像特征分析，得到图像特征分析结果；对图像特征分析结果和光谱立体数据模型进行三维成像，得到内窥镜三维成像数据，本发明通过利用多个通道的光谱信息，能够获取组织不同波长下的光谱分布，从而提供更丰富的生物信息。通过光源校正，可以减少光源波动对图像质量的影响。多维数据融合和特征提取使得图像信息更具代表性和可解释性。而应用深度学习技术，卷积神经网络和循环神经网络，可以从光谱立体数据模型中提取更复杂的特征，进而提升内窥镜多光谱的多路成像的质量。
上面图5从模块化功能实体的角度对本发明实施例中的内窥镜多光谱的多路成像装置进行详细描述，下面从硬件处理的角度对本发明实施例中内窥镜多光谱的多路成像设备进行详细描述。
图6是本发明实施例提供的一种内窥镜多光谱的多路成像设备的结构示意图，该内窥镜多光谱的多路成像设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对内窥镜多光谱的多路成像设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在内窥镜多光谱的多路成像设备600上执行存储介质630中的一系列指令操作。
内窥镜多光谱的多路成像设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的内窥镜多光谱的多路成像设备结构并不构成对内窥镜多光谱的多路成像设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种内窥镜多光谱的多路成像设备，所述内窥镜多光谱的多路成像设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述内窥镜多光谱的多路成像方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述内窥镜多光谱的多路成像方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种内窥镜多光谱的多路成像方法，其特征在于，所述内窥镜多光谱的多路成像方法包括：
通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵；
对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
2.根据权利要求1所述的内窥镜多光谱的多路成像方法，其特征在于，所述获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据，包括：
获取每个通道的光谱分布数据，并对所述光谱分布数据进行分段处理，得到每个光谱分布数据对应的多个光谱分段数据；
通过预置的三次多项式，分别对所述多个光谱分段数据进行样条拟合，得到多个样条段；
对所述多个样条段进行平滑处理，得到每个通道的光源模型；
根据所述光源模型对所述多个通道进行光强预测，得到每个通道的光强预测数据；
获取所述第一光谱图像数据的光强真实数据，并对所述光强预测数据和所述光强真实数据进行光谱比例校正，得到多个第二光谱图像数据。
3.根据权利要求1所述的内窥镜多光谱的多路成像方法，其特征在于，所述对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵，包括：
对所述多个第二光谱图像数据进行图像对齐和亮度均衡，得到多个标准光谱图像数据；
根据所述多个通道的通道顺序，对所述多个标准光谱图像数据进行堆叠，生成多维数据立体；
分别对所述多个通道进行权重分配，得到每个通道的第一通道权重，并根据所述第一通道权重对所述多维数据立体进行像素加权融合，得到融合多维像素矩阵。
4.根据权利要求1所述的内窥镜多光谱的多路成像方法，其特征在于，所述对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型，包括：
分别计算所述融合多维像素矩阵中每个通道的像素平均值，并根据所述像素平均值对所述融合多维像素矩阵进行中心化处理，得到中心化像素矩阵；
计算所述中心化像素矩阵对应的协方差矩阵，并对所述协方差矩阵进行特征值分解，得到特征值和对应的特征向量；
根据所述特征值的大小，选取主成分特征，并根据所述主成分特征对所述融合多维像素矩阵进行降维映射，得到目标降维像素数据；
分别对所述融合多维像素矩阵进行光谱特征和空间分布特征提取，得到光谱特征和空间分布特征，并根据所述光谱特征和所述空间分布特征，对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型。
5.根据权利要求4所述的内窥镜多光谱的多路成像方法，其特征在于，所述分别对所述融合多维像素矩阵进行光谱特征和空间分布特征提取，得到光谱特征和空间分布特征，并根据所述光谱特征和所述空间分布特征，对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型，包括：
对所述融合多维像素矩阵进行光谱响应特征提取，得到光谱特征，并对所述融合多维像素矩阵进行像素空间分布特征提取，得到空间分布特征；
对所述目标降维像素数据进行数据重构，得到初始光谱模型，其中，所述初始光谱模型中的每个像素点代表组合了不同通道光谱信息的数据；
根据所述光谱特征和所述空间分布特征，对所述初始光谱模型进行模型构建，得到光谱立体数据模型。
6.根据权利要求1所述的内窥镜多光谱的多路成像方法，其特征在于，所述通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果，包括：
对所述光谱立体数据模型输入预置的图像特征分析模型，其中，所述图像特征分析模型包括：卷积神经网络以及循环神经网络；
通过所述卷积神经网络对所述光谱立体数据模型进行卷积处理，得到模型表面特征；
通过所述循环神经网络对所述光谱立体数据模型进行时序关系特征提取，得到模型时序特征；
根据所述模型表面特征和所述模型时序特征，生成所述光谱立体数据模型的图像特征分析结果。
7.根据权利要求1所述的内窥镜多光谱的多路成像方法，其特征在于，所述对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据，包括：
对所述图像特征分析结果和所述光谱立体数据模型进行解码，得到图像特征解码数据和数据模型解码数据；
对所述图像特征解码数据和所述数据模型解码数据进行三维映射，得到目标三维模型；
对所述目标三维模型进行像素值插值与增强，得到内窥镜三维成像数据。
8.一种内窥镜多光谱的多路成像装置，其特征在于，所述内窥镜多光谱的多路成像装置包括：
采集模块，用于通过内窥镜中的多个图像传感器，分别采集多个通道的光谱图像，得到每个通道的第一光谱图像数据，其中，每个图像传感器对应一个通道，每个通道对应一个预设波长范围；
构建模块，用于获取每个通道的光谱分布数据，并根据所述光谱分布数据构建每个通道的光源模型，以及根据所述光源模型分别对所述第一光谱图像数据进行光谱校正，得到多个第二光谱图像数据；
融合模块，用于对所述多个第二光谱图像数据进行多维数据融合，生成多维数据立体，并对所述多维数据立体进行加权处理，得到融合多维像素矩阵；
重构模块，用于对所述融合多维像素矩阵进行数据降维和特征提取，得到目标降维像素数据，并对所述目标降维像素数据进行数据重构与模型构建，得到光谱立体数据模型；
分析模块，用于通过预置的图像特征分析模型，对所述光谱立体数据模型进行图像特征分析，得到图像特征分析结果；
成像模块，用于对所述图像特征分析结果和所述光谱立体数据模型进行三维成像，得到内窥镜三维成像数据。
9.一种内窥镜多光谱的多路成像设备，其特征在于，所述内窥镜多光谱的多路成像设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述内窥镜多光谱的多路成像设备执行如权利要求1-7中任一项所述的内窥镜多光谱的多路成像方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的内窥镜多光谱的多路成像方法。
CN202311407775.6A 2023-10-27 内窥镜多光谱的多路成像方法、装置、设备及存储介质 Active CN117152362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311407775.6A CN117152362B (zh) 2023-10-27 内窥镜多光谱的多路成像方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311407775.6A CN117152362B (zh) 2023-10-27 内窥镜多光谱的多路成像方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117152362A true CN117152362A (zh) 2023-12-01
CN117152362B CN117152362B (zh) 2024-05-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893871A (zh) * 2024-03-14 2024-04-16 深圳市日多实业发展有限公司 频谱段融合方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092032A1 (en) * 2013-09-27 2015-04-02 Fujifilm Corporation Endoscope system and light source device
CN104541153A (zh) * 2012-07-02 2015-04-22 新加坡国立大学 涉及利用光纤拉曼光谱的内窥镜进行实时癌症诊断的方法
US20170042414A1 (en) * 2014-05-01 2017-02-16 Olympus Corporation Endoscope apparatus
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN115202030A (zh) * 2022-07-29 2022-10-18 深圳英美达医疗技术有限公司 内窥镜光源的校准方法以及装置
WO2022257946A1 (zh) * 2021-06-07 2022-12-15 上海微觅医疗器械有限公司 多光谱成像系统、成像方法和存储介质
US20230125377A1 (en) * 2020-05-08 2023-04-27 The Regents Of The University Of California Label-free real-time hyperspectral endoscopy for molecular-guided cancer surgery
CN116229189A (zh) * 2023-05-10 2023-06-06 深圳市博盛医疗科技有限公司 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN117204796A (zh) * 2023-11-09 2023-12-12 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541153A (zh) * 2012-07-02 2015-04-22 新加坡国立大学 涉及利用光纤拉曼光谱的内窥镜进行实时癌症诊断的方法
US20150092032A1 (en) * 2013-09-27 2015-04-02 Fujifilm Corporation Endoscope system and light source device
US20170042414A1 (en) * 2014-05-01 2017-02-16 Olympus Corporation Endoscope apparatus
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
US20230125377A1 (en) * 2020-05-08 2023-04-27 The Regents Of The University Of California Label-free real-time hyperspectral endoscopy for molecular-guided cancer surgery
WO2022257946A1 (zh) * 2021-06-07 2022-12-15 上海微觅医疗器械有限公司 多光谱成像系统、成像方法和存储介质
CN115202030A (zh) * 2022-07-29 2022-10-18 深圳英美达医疗技术有限公司 内窥镜光源的校准方法以及装置
CN116229189A (zh) * 2023-05-10 2023-06-06 深圳市博盛医疗科技有限公司 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN117204796A (zh) * 2023-11-09 2023-12-12 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙宏伟;周振环;: "基于多小波变换的医学图像融合方法研究", 计算机工程与应用, no. 23, 11 August 2006 (2006-08-11), pages 215 - 219 *
董琰彪: "多光谱融合手术引导系统关键技术研究", 《硕士学位论文全文数据库 医药卫生科技》, no. 2, 15 February 2019 (2019-02-15), pages 1 - 67 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893871A (zh) * 2024-03-14 2024-04-16 深圳市日多实业发展有限公司 频谱段融合方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Clancy et al. Surgical spectral imaging
US11257213B2 (en) Tumor boundary reconstruction using hyperspectral imaging
JP4354484B2 (ja) 内部構造の撮像
JP4599520B2 (ja) マルチスペクトル画像処理方法
Fabelo et al. A novel use of hyperspectral images for human brain cancer detection using in-vivo samples
CA3087702A1 (en) Computer diagnosis support program product and diagnosis support method
Haddad et al. Image analysis model for skin disease detection: framework
JP4649965B2 (ja) 健康度判定装置、及びプログラム
US11701015B2 (en) Computer-implemented method and system for direct photoplethysmography (PPG) with multiple sensors
US11583198B2 (en) Computer-implemented method and system for contact photoplethysmography (PPG)
EP3716136A1 (en) Tumor boundary reconstruction using hyperspectral imaging
EP4216808A1 (en) Acne severity grading methods and apparatuses
CN117152362B (zh) 内窥镜多光谱的多路成像方法、装置、设备及存储介质
Zhang et al. Medical biometrics: computerized TCM data analysis
CN117152362A (zh) 内窥镜多光谱的多路成像方法、装置、设备及存储介质
JP7087390B2 (ja) 診断支援装置、画像処理方法及びプログラム
Akbari et al. Hyperspectral imaging and diagnosis of intestinal ischemia
WO2015111308A1 (ja) ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム
de Moura et al. Skin lesions classification using multichannel dermoscopic Images
JP6585623B2 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
TWI803223B (zh) 於超頻譜影像之物件偵測方法
Akbari et al. Hyperspectral image segmentation and its application in abdominal surgery
Finkšt et al. Autofluorescence bronchoscopy image processing in the selected colour spaces
TWI796156B (zh) 以波段用於超頻譜檢測物件影像之方法
EP3995081A1 (en) Diagnosis assisting program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant