CN115728236A - 一种高光谱图像采集与处理系统及其工作方法 - Google Patents
一种高光谱图像采集与处理系统及其工作方法 Download PDFInfo
- Publication number
- CN115728236A CN115728236A CN202211455793.7A CN202211455793A CN115728236A CN 115728236 A CN115728236 A CN 115728236A CN 202211455793 A CN202211455793 A CN 202211455793A CN 115728236 A CN115728236 A CN 115728236A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral image
- processing
- image
- light
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 29
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract 2
- 230000003595 spectral effect Effects 0.000 claims description 33
- 239000004973 liquid crystal related substance Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000010287 polarization Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000701 chemical imaging Methods 0.000 abstract description 5
- 238000001356 surgical procedure Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 42
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 238000001919 Rayleigh scattering spectroscopy Methods 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种高光谱图像采集与处理系统及其工作方法，涉及高光谱成像设备技术领域，该系统包括：相互通信连接的图像采集装置和图像处理器，图像采集装置用于采集高光谱图像，图像处理器用于识别高光谱图像中的肿瘤组织区域，其中，图像采集装置包括：多光谱光源，用于为生物组织提供多种频段的光，处理部件，设置于反射光的光路通道中，用于对生物组织的反射光进行分光和变向处理，采集部件，用于采集经分光和变向处理之后的反射光，将光信号转化成电信号，以及调节部件，用于对电信号进行处理，将其转换成图像信号，并根据处理结果对多光谱光源、处理部件和采集部件进行调节。该系统可以用于手术过程中肿瘤组织的快速识别。
Description
技术领域
本发明属于高光谱成像设备技术领域，尤其涉及一种便携式高光谱图像采集系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
现有的医学影像学检测方式包括计算机断层扫描成像(computed tomography,CT)、磁共振成像(magnetic resonance imaging,MRI)、X射线成像、超声成像等。CT具有辐射量大的缺点；MRI的等待时间过长，花费过高；X射线成像对于肿瘤等软组织的检查存在天然的局限性；超声成像只适用于个别领域，因此现有的医学影像学检测很难在肿瘤切除过程中对肿瘤组织进行迅速识别，从而无法确定肿瘤是否切除干净。
近年来光学成像方法的发展提高了临床条件下疾病诊断和手术操作的准确性。与磁共振成像、计算机断层扫描和其他医学成像技术相比，光学成像方法具有成本效益高、安全、易于在临床中使用的特点，但是，目前的光学成像的仪器过于笨重，并且只能对于病理切片进行观察，但制片过程与染色过程时间过长，不利于手术过程中肿瘤组织的识别。
发明内容
为了解决上述问题，本发明的第一方面提供一种便携式高光谱图像采集系统，以适用于手术中对肿瘤组织的快速识别。
为了实现上述目的，本发明主要包括以下几个方面：
第一方面，本发明实施例提供一种高光谱图像采集与处理系统，包括相互通信连接的图像采集装置和图像处理器，所述图像采集装置用于采集高光谱图像，所述图像处理器用于识别出所述高光谱图像中的肿瘤组织区域，所述图像采集装置包括：
多光谱光源，用于为生物组织提供多种频段的光，
处理部件，设置于反射光的光路通道中，用于对所述生物组织的反射光进行分光和变向处理，
采集部件，用于采集经分光和变向处理之后的反射光，将光信号转化成电信号，以及
调节部件，用于对所述电信号进行处理，将其转换成图像信号，并根据处理结果对所述多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
在一种可能的实施方式中，所述多光谱光源呈伞状结构，罩在光路通道的入口处，其光线呈锥状汇集照射在生物组织的表面。
在一种可能的实施方式中，所述处理部件包括滤波频率可调的滤波器和液晶偏振光栅；所述滤波器位于光路通道的末端，用于对反射光进行滤波处理，使预设波长的反射光进行传输；所述液晶偏振光栅用于改变预设波长的反射光的传播路径，使其能够被采集部件采集。
在一种可能的实施方式中，所述采集部件集成有多个单色相机，反射光经处理装置分光合变向处理后，所分出的每一预设波段的光都有特定波段的单色相机与之对应。
在一种可能的实施方式中，所述调节部件包括信号预处理器和调节单元；所述信号预处理器用于对采集的电信号进行放大、修正处理，转换成图像信号；所述调节单元用于根据修正结果调节多光谱光源、处理部件和采集部件，使处理结果更加精确。
在一种可能的实施方式中，所述光路通道的入口处还设置有凸透镜。
在一种可能的实施方式中，所述图像采集装置还包括信息处理与传输单元，所述信息处理与传输单元用于判断高光谱图像是否完整，并在所述高光谱图像完整的情况下，将高光谱图像传输至图像处理器。
在一种可能的实施方式中，所述图像处理器具体用于获取所述图像采集装置采集的高光谱图像；对所述高光谱图像进行谱相量分析和数据过采样，得到样本特征；根据所述样本特征，利用预设的一维深度神经网络提取所述高光谱图像的空间特征，以及利用光谱空间响应算法提取所述高光谱图像的光谱特征；根据所述空间特征和光谱特征确定所述高光谱图像中的肿瘤组织区域。
在一种可能的实施方式中，所述图像处理器在用于对高光谱图像进行谱相量分析和数据过采样之前，还用于对高光谱图像进行预处理，所述预处理包括反射率校准、光谱导数调节、数据归一化和光谱波段选择。
第二方面，本发明实施例还提供了上述的高光谱图像采集与处理系统的工作方法，包括：
开启多光谱光源；
判断高光谱图像是否完整，若高光谱图像采集完整，则将高光谱图像传输至图像处理器，若采集不完整则进行高光谱图像的采集；
输入频率参数，利用处理部件对输入频率的反射光进行分光与变向处理，并通过采集部件进行采集，将经分光和变向处理之后的反射光的光信号转化成电信号；
对所述电信号进行处理，将其转换成图像信号，并根据处理结果对多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
以上一个或多个技术方案存在以下有益效果：
(1)与用于活检的高光谱显微镜相比，本发明所提供的高光谱图像采集与处理系统，不需要进行组织切片与HE染色便可提供肿瘤组织的高光谱图像，大大减少了肿瘤组织的识别时间，适用于手术中对肿瘤组织的快速识别。
(2)通过采集高光谱图像以捕捉肿瘤组织的形态学与生化的特征，以及采用一维深度神经网络(1D-DNN)和光谱空间响应(SSR)算法，分别提取高光谱图像的空间特征和光谱特征，其运算速度快，在临床条件下的肿瘤识别中更有意义，并且，与普通光谱分析方法相比，该高光谱成像分析法将光谱信息与空间信息相结合，可以获取肿瘤组织形态的特征，提高肿瘤组织的识别精度。
(3)该系统在使用过程中不会产生电离辐射或创伤，对检测人员以及受试者均安全无害，避免了有创检查容易造成感染的风险，更易于在临床中使用。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一所提供的高光谱图像采集与处理系统的结构示意图；
图2是图1中多光谱光源的细节展示图；
图3是本发明实施例一所提供的单色相机的工作原理图；
图4是本发明实施例二所提供的高光谱图像采集与处理系统的工作方法的流程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
目前用于活检的高光谱显微镜通常只能对于病理切片进行观察，而制片过程与染色过程时间过长，不利于临床手术中肿瘤组织的检测，本实施例提供一种高光谱图像采集与处理系统，该系统的原理如下：
高光谱成像(HIS)测量与生物组织相互作用的反射光，包含结构和光谱特征的信息。当光遇到生物组织时，会有复杂的光组织相互作用，如吸收、散射或透射。生物分子具有明显的吸收特性，这意味着光谱分辨成像方法可以通过测量衰减光信号的数量作为波长的函数来预测生物特征。由于组织的折射率分布不均匀，因而产生弹性光散射。组织是由从纳米到数百微米的各种物质组成的。然而，组织在疾病进展期间发生了形态的改变，导致不同的整体散射特性；散射特征可以成为疾病诊断标志物的潜在目标。因此，反射光的HSI包含了丰富的关于组织结构和生化特征的信息，可以用于手术中肿瘤组织的识别，从而辅助医生诊断疾病和功能分析。
基于上述原理，本实施例提供了一种高光谱图像采集与处理系统，包括相互通信连接的图像采集装置和图像处理器，所述图像采集装置用于采集高光谱图像，所述图像处理器用于识别出所述高光谱图像中的肿瘤组织区域，如图1所示，图像采集装置包括：
多光谱光源1，用于为生物组织提供多种频段的光，
处理部件，设置于反射光的光路通道3中，用于对所述生物组织的反射光进行分光和变向处理，
采集部件4，用于采集经分光和变向处理之后的反射光，将光信号转化成电信号，以及
调节部件，用于对所述电信号进行处理，将其转换成图像信号，并根据处理结果对所述多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
在具体实施中，获取肿瘤细胞切片，具体地，将生理组织明显病变处作最大书页状切开，用载玻片固定，后经95％乙醇固定3min进行脱水，做HE染色，完成印片细胞法制备肿瘤细胞切片。然后通过本实施例所提供的图像采集装置采集高光谱图像，该系统在一次测量中测量特定波长范围的二维结构图像，然后改变波长范围，连续获取不同波长的图像得到整个高光谱图像。多光谱光源1的色温可调，用于为生物组织的反射提供了各频段的光源，该多光谱光源1不仅可以产生各频段的有色光，还可产生红外线与紫外线，便于生物组织的分辨。
其中，多光谱光源1的色温可调方案包括：采用多芯片LED，单颗LED集成封装了多种颜色的芯片，通过输入电流的方式调节控制LED发出白光的色温。在实际应用中，可以根据不同组织的肿瘤细胞对不同波段光线敏感性的不同，选择适合的光源；
作为一可选实施方式，如图2所示，所述多光谱光源呈伞状结构，罩在光路通道的入口2处，其光线呈锥状汇集照射在生物组织的表面，以使光源更加集中。对于多光谱光源设置可调节旋钮：色温调节旋钮6和强度调节旋钮7，通过对这两旋钮的调节可以实现对光源强度及各光源波段所占光源比例的调节。便于根据肿瘤组织的具体特性，选择该肿瘤组织最敏感的光线频率与光线强度。所述光路通道的入口2处还设置有凸透镜，使反射光线尽可能多的进入到光路通道中，有利于提高后续的肿瘤组织的识别精度。
作为一可选实施方式，所述处理部件包括滤波频率可调的滤波器9和液晶偏振光栅；所述滤波器位于光路通道的末端，用于对反射光进行滤波处理，使预设波长的反射光进行传输；所述液晶偏振光栅用于改变预设波长的反射光的传播路径，使其能够被采集部件4采集。
在具体实施中，滤波频率可调的滤波器9包括液晶可调滤波器，采用多光谱光源作为光源，通过调节滤光片的波长范围获得整个高光谱图像。通过液晶可调滤波器可以实现对反射光的分光，通过液晶偏振光栅从空间上调制光传播方向及偏振态，改变预设波长反射光的传播路径，实现相应频率的单色相机对该光的采集。
作为一可选实施方式，所述采集部件4集成有多个单色相机11，反射光经处理装置分光合变向处理后，所分出的每一预设波段的光都有特定波段的单色相机11与之对应。
在具体实施中，如图3所示，所有单色相机11组合后构成集成单色相机，即采集部件4。通过采集部件可以实现光电转换，由敏感元分别将分光后聚焦的场景各点相应波段的电磁波强弱转换为对应大小的电信号。
作为一可选实施方式，所述调节部件包括信号预处理器和调节单元；所述信号预处理器用于对采集的电信号进行放大、修正处理，转换成图像信号；所述调节单元用于根据修正结果调节多光谱光源、处理部件和采集部件，使处理结果更加精确。这样，通过整体化的调节，将不同频率的光进行处理，以获得高光谱图像。
作为一可选实施方式，所述图像采集装置还包括信息处理与传输单元8，所述信息处理与传输单元8用于判断高光谱图像是否完整，并在所述高光谱图像完整的情况下，将高光谱图像传输至图像处理器。
可选的，信息处理与传输单元8还用于对高光谱图像进行记录、显示与结果分析等。在本实例中选择HHD——混合硬盘作为信息记录单元，便于存储大容量的数据，存储速度快，且功耗低。
此外，考虑到术中信息的迅速处理，数据传输选择5G技术进行传输。考虑到该装置使用的便捷性与续航能力，该系统可选用可充电的锂电池作为电源，锂电池体积小容量大，有利于该系统在手术中的使用。
作为一可选实施方式，所述图像处理器具体用于获取所述图像采集装置采集的高光谱图像；对所述高光谱图像进行谱相量分析和数据过采样，得到样本特征；根据所述样本特征，利用预设的一维深度神经网络提取所述高光谱图像的空间特征，以及利用光谱空间响应算法提取所述高光谱图像的光谱特征；根据所述空间特征和光谱特征确定所述高光谱图像中的肿瘤组织区域。
在具体实施中，可以采用高斯RBF核的支持向量机进行图像分类，为了提高分类的准确性，本实施例利用谱相量分析提高像素的可分性，并采用合成少数过采样技术(SMOTE)合成新的GBM肿瘤样本进行数据增强处理，以解决不平衡数据问题。
对图像中每个像素的光谱进行傅里叶变换。然后，生成两个相量表示G和S，分别表示变换的实部和虚部。相量G和S的计算公式如下：
其中，L表示函数的周期，al表示振幅。
采用合成少数过采样技术(SMOTE)合成新的GBM肿瘤样本进行数据增强，公式如下：
xnew＝xi+λ×(xzi-xi),λ∈[0.1]
其中，xnew表示新的GBM肿瘤样本，xi表示少数类中的样本，λ表示0-1之间的随机数。
基于一维深度神经网络(1D-DNN)的光谱HSI特征提取与分类。
1D-DNN的输入是像素向量，HSI中每个像素的叠加相量表示和光谱特征。采用的1D-DNN由两个隐藏层组成，分别有25个和50个节点，并使用ReLU(校正线性单元)函数作为一种非线性激活函数，使数据稀疏。使用全连接层将前一层的所有特征重塑为特征向量，使用softmax回归分类器获得输出的概率分布。
在上述模型的训练阶段，构建高光谱数据库，选取适量临床印片细胞病理切片，随机分为10份，其中7份作为训练集，3份交由专业医师判断是否为肿瘤细胞，做好标记作为测试集。训练集的7份切片样本通过上述的图像采集装置后将光谱信息进行归一化处理，再经过数据增强处理，基于一维深度神经网络(1D-DNN)的光谱HSI特征提取与分类，以完成数据库构建。
高光谱数据库中的训练集用于对一维深度神经网络进行训练，通过测试集进行验证，损失函数采用交叉熵损失函数。Adam优化器用于解决遇到鞍点时网络更新困难和无法自适应调整学习速率的问题，学习速率设置为0.01，在整个过程中保持不变。训练网络时，批大小设置为40，训练次数设置为20，权重衰减设置为0.0005。1D-DNN只考虑光谱信息，因此分类结果受空间结构信息的影响较小。
基于光谱空间响应(SSR)算法的光谱空间特征提取。
光谱空间响应(SSR)的分层深层框架，通过迭代提取相邻区域来联合学习高光谱图像(HSI)的光谱和空间特征。SSR形成了一个深层结构，能够在不同尺度上学习输入HSI的有区别的光谱空间特征。基于SSR深层结构建立SLN模型，使用边缘Fisher分析(MFA)和主成分分析(PCA)联合学习光谱空间特征。
作为一可选实施方式，所述图像处理器在用于对高光谱图像进行谱相量分析和数据过采样之前，还用于对高光谱图像进行预处理；所述预处理包括反射率校准、光谱导数调节、数据归一化和光谱波段选择，用以排除除放射光之外其他光线对识别结果的影响。
实施例二
基于上述实施例一所提供的高光谱图像采集与处理系统，本发明实施例还提供了该高光谱图像采集与处理系统的工作方法，包括：
开启多光谱光源；
判断高光谱图像是否完整，若高光谱图像采集完整，则将高光谱图像传输至图像处理器，若采集不完整则进行高光谱图像的采集；
输入频率参数，利用处理部件对输入频率的反射光进行分光与变向处理，并通过采集部件进行采集，将经分光和变向处理之后的反射光的光信号转化成电信号；
对所述电信号进行处理，将其转换成图像信号，并根据处理结果对多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
在具体实施中，如图4所示，医生将高光谱图像采集与处理系统的多光谱光源对准需要识别的生物组织，多光谱光源开启，通过信息处理与传输单元判断高光谱图像是否完整，若高光谱图像采集完全，则将高光谱图像传输至图像处理器，若采集不完全就进行高光谱图像的采集。
本实例采用光谱扫描的HIS方法形成高光谱图像，需对不同频率的反射光进行扫描，输入频率参数，利用电信号调节液晶可调滤波器与液晶偏振光栅，对输入频率的反射光进行滤波与变向，液晶可调滤波器使该频率的反射光分离出来，液晶偏振光栅则改变该频率反射光的传播方向，使其进入专门用于处理该频率反射光的单色相机中，采集到的光谱信号进入调节装置进行调节，若光谱不准确则调节光源装置、液晶可调滤波器与液晶偏振光栅，若光谱准确，则将该光谱图像传入传输装置进行储存。
通过输入不同频率的参数，使该图像采集装置获取到完整的高光谱图像，并进行存储和传输。
医生通过获取的高光谱图像进行自我判断与自动化诊断相结合，对于术中的肿瘤组织进行迅速诊断，得出相应结论。本实施例可以实现基于高光谱图像的术中肿瘤组织迅速识别，辅助医生进行肿瘤诊断的功能。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种高光谱图像采集与处理系统，包括相互通信连接的图像采集装置和图像处理器，所述图像采集装置用于采集高光谱图像，所述图像处理器用于识别出所述高光谱图像中的肿瘤组织区域，其特征在于，所述图像采集装置包括：
多光谱光源，用于为生物组织提供多种频段的光，
处理部件，设置于反射光的光路通道中，用于对所述生物组织的反射光进行分光和变向处理，
采集部件，用于采集经分光和变向处理之后的反射光，将光信号转化成电信号，以及
调节部件，用于对所述电信号进行处理，将其转换成图像信号，并根据处理结果对所述多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
2.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述多光谱光源呈伞状结构，罩在光路通道的入口处，其光线呈锥状汇集照射在生物组织的表面。
3.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述处理部件包括滤波频率可调的滤波器和液晶偏振光栅；所述滤波器位于光路通道的末端，用于对反射光进行滤波处理，使预设波长的反射光进行传输；所述液晶偏振光栅用于改变预设波长的反射光的传播路径，使其能够被采集部件采集。
4.如权利要求3所述的便携式高光谱图像采集系统，其特征在于，所述采集部件集成有多个单色相机，反射光经处理装置分光合变向处理后，所分出的每一预设波段的光都有特定波段的单色相机与之对应。
5.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述调节部件包括信号预处理器和调节单元；所述信号预处理器用于对采集的电信号进行放大、修正处理，转换成图像信号；所述调节单元用于根据修正结果调节多光谱光源、处理部件和采集部件，使处理结果更加精确。
6.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述光路通道的入口处还设置有凸透镜。
7.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述图像采集装置还包括信息处理与传输单元，所述信息处理与传输单元用于判断高光谱图像是否完整，并在所述高光谱图像完整的情况下，将高光谱图像传输至图像处理器。
8.如权利要求1所述的便携式高光谱图像采集系统，其特征在于，所述图像处理器具体用于获取所述图像采集装置采集的高光谱图像；对所述高光谱图像进行谱相量分析和数据过采样，得到样本特征；根据所述样本特征，利用预设的一维深度神经网络提取所述高光谱图像的空间特征，以及利用光谱空间响应算法提取所述高光谱图像的光谱特征；根据所述空间特征和光谱特征确定所述高光谱图像中的肿瘤组织区域。
9.如权利要求8所述的便携式高光谱图像采集系统，其特征在于，所述图像处理器在用于对高光谱图像进行谱相量分析和数据过采样之前，还用于对高光谱图像进行预处理，所述预处理包括反射率校准、光谱导数调节、数据归一化和光谱波段选择。
10.一种如权利要求1-9任一项所述的高光谱图像采集与处理系统的工作方法，其特征在于，包括：
开启多光谱光源；
判断高光谱图像是否完整，若高光谱图像采集完整，则将高光谱图像传输至图像处理器，若采集不完整则进行高光谱图像的采集；
输入频率参数，利用处理部件对输入频率的反射光进行分光与变向处理，并通过采集部件进行采集，将经分光和变向处理之后的反射光的光信号转化成电信号；
对所述电信号进行处理，将其转换成图像信号，并根据处理结果对多光谱光源、处理部件和采集部件进行调节，以采集完整的高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211455793.7A CN115728236A (zh) | 2022-11-21 | 2022-11-21 | 一种高光谱图像采集与处理系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211455793.7A CN115728236A (zh) | 2022-11-21 | 2022-11-21 | 一种高光谱图像采集与处理系统及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115728236A true CN115728236A (zh) | 2023-03-03 |
Family
ID=85297433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211455793.7A Pending CN115728236A (zh) | 2022-11-21 | 2022-11-21 | 一种高光谱图像采集与处理系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115728236A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252875A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 基于高光谱图像的医疗图像处理方法、系统、介质及设备 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102788756A (zh) * | 2012-07-13 | 2012-11-21 | 上海凯度机电科技有限公司 | 多模态生物显微分析仪 |
| CN102866117A (zh) * | 2012-09-10 | 2013-01-09 | 江苏大学 | 一种便携式水果内部质量无损检测装置及方法 |
| CN104797911A (zh) * | 2012-11-13 | 2015-07-22 | Jds尤尼弗思公司 | 便携式分光计 |
| CN105181135A (zh) * | 2015-09-28 | 2015-12-23 | 浙江理工大学 | 一种适用于纺织品高光谱图像采集及数码测色的光照系统和使用方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN207051190U (zh) * | 2017-06-02 | 2018-02-27 | 广州讯动网络科技有限公司 | 一种内置于手机的近红外光谱分析仪 |
| CN107957401A (zh) * | 2017-12-18 | 2018-04-24 | 中国科学院西安光学精密机械研究所 | 一种可用于介入式肿瘤诊断的高光谱显微成像仪 |
| CN110478625A (zh) * | 2019-08-21 | 2019-11-22 | 中国科学院苏州生物医学工程技术研究所 | 基于高光谱和荧光成像引导的光动力精准治疗系统 |
| CN110520768A (zh) * | 2017-06-05 | 2019-11-29 | 上海科技大学 | 高光谱光场成像方法和系统 |
| CN110946553A (zh) * | 2019-11-18 | 2020-04-03 | 天津大学 | 一种基于高光谱图像的在体组织光学参数测量装置及方法 |
| CN111192196A (zh) * | 2019-12-23 | 2020-05-22 | 中电健康云科技有限公司 | 一种提高推扫式光谱仪高光谱图像的实时分辨率的方法 |
| US20200237229A1 (en) * | 2019-01-29 | 2020-07-30 | Board Of Regents, The University Of Texas System | Apparatus and method for image-guided interventions with hyperspectral imaging |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
| CN114136920A (zh) * | 2021-12-02 | 2022-03-04 | 华南农业大学 | 一种基于高光谱的单粒杂交水稻种子种类鉴定方法 |
| CN114216867A (zh) * | 2021-12-15 | 2022-03-22 | 潍坊医学院 | 高光谱图像采集识别装置及方法 |
| CN216636668U (zh) * | 2021-12-27 | 2022-05-31 | 南京信息工程大学 | 一种用于大型壁画复原的高光谱图像采集小车 |
| CN114652269A (zh) * | 2022-03-16 | 2022-06-24 | 桂林电子科技大学 | 基于混合光纤束的多光谱皮肤癌成像系统 |
| CN114965486A (zh) * | 2022-06-10 | 2022-08-30 | 南宁师范大学 | 基于高光谱成像对柿子的轻微瘀伤检测方法与装置 |
| CN115100082A (zh) * | 2022-08-24 | 2022-09-23 | 浙江大学 | 一种基于高光谱相机的高精度颜色显示系统 |
-
2022
- 2022-11-21 CN CN202211455793.7A patent/CN115728236A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102788756A (zh) * | 2012-07-13 | 2012-11-21 | 上海凯度机电科技有限公司 | 多模态生物显微分析仪 |
| CN102866117A (zh) * | 2012-09-10 | 2013-01-09 | 江苏大学 | 一种便携式水果内部质量无损检测装置及方法 |
| CN104797911A (zh) * | 2012-11-13 | 2015-07-22 | Jds尤尼弗思公司 | 便携式分光计 |
| CN105181135A (zh) * | 2015-09-28 | 2015-12-23 | 浙江理工大学 | 一种适用于纺织品高光谱图像采集及数码测色的光照系统和使用方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN207051190U (zh) * | 2017-06-02 | 2018-02-27 | 广州讯动网络科技有限公司 | 一种内置于手机的近红外光谱分析仪 |
| CN110520768A (zh) * | 2017-06-05 | 2019-11-29 | 上海科技大学 | 高光谱光场成像方法和系统 |
| CN107957401A (zh) * | 2017-12-18 | 2018-04-24 | 中国科学院西安光学精密机械研究所 | 一种可用于介入式肿瘤诊断的高光谱显微成像仪 |
| US20200237229A1 (en) * | 2019-01-29 | 2020-07-30 | Board Of Regents, The University Of Texas System | Apparatus and method for image-guided interventions with hyperspectral imaging |
| CN110478625A (zh) * | 2019-08-21 | 2019-11-22 | 中国科学院苏州生物医学工程技术研究所 | 基于高光谱和荧光成像引导的光动力精准治疗系统 |
| CN110946553A (zh) * | 2019-11-18 | 2020-04-03 | 天津大学 | 一种基于高光谱图像的在体组织光学参数测量装置及方法 |
| CN111192196A (zh) * | 2019-12-23 | 2020-05-22 | 中电健康云科技有限公司 | 一种提高推扫式光谱仪高光谱图像的实时分辨率的方法 |
| CN113239755A (zh) * | 2021-04-28 | 2021-08-10 | 湖南大学 | 一种基于空谱融合深度学习的医学高光谱图像分类方法 |
| CN114136920A (zh) * | 2021-12-02 | 2022-03-04 | 华南农业大学 | 一种基于高光谱的单粒杂交水稻种子种类鉴定方法 |
| CN114216867A (zh) * | 2021-12-15 | 2022-03-22 | 潍坊医学院 | 高光谱图像采集识别装置及方法 |
| CN216636668U (zh) * | 2021-12-27 | 2022-05-31 | 南京信息工程大学 | 一种用于大型壁画复原的高光谱图像采集小车 |
| CN114652269A (zh) * | 2022-03-16 | 2022-06-24 | 桂林电子科技大学 | 基于混合光纤束的多光谱皮肤癌成像系统 |
| CN114965486A (zh) * | 2022-06-10 | 2022-08-30 | 南宁师范大学 | 基于高光谱成像对柿子的轻微瘀伤检测方法与装置 |
| CN115100082A (zh) * | 2022-08-24 | 2022-09-23 | 浙江大学 | 一种基于高光谱相机的高精度颜色显示系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252875A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 基于高光谱图像的医疗图像处理方法、系统、介质及设备 |
| CN117252875B (zh) * | 2023-11-17 | 2024-02-09 | 山东大学 | 基于高光谱图像的医疗图像处理方法、系统、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rehbinder et al. | Ex vivo Mueller polarimetric imaging of the uterine cervix: a first statistical evaluation | |
| US11419499B2 (en) | Optical coherence tomography for cancer screening and triage | |
| CN101623191B (zh) | 一种胃部组织性质无创检测装置 | |
| US8483454B2 (en) | Methods for tissue classification in cervical imagery | |
| US20150150460A1 (en) | Methods And Systems For Intraoperative Tumor Margin Assessment In Surgical Cavities And Resected Tissue Specimens | |
| US11257213B2 (en) | Tumor boundary reconstruction using hyperspectral imaging | |
| US20030026762A1 (en) | Bio-spectral imaging system and methods for diagnosing cell disease state | |
| US11826124B2 (en) | Apparatus and method for image-guided interventions with hyperspectral imaging | |
| JP3923080B2 (ja) | 光学的微細プローベ及び材料のスペクトル分析方法 | |
| KR101548032B1 (ko) | 세포의 질병 검출에 유용한 세포 스펙트럼의 재구성 방법 | |
| JP2001505113A (ja) | 動径基底関数ネットワークを用いた子宮前癌の分光検出 | |
| KR20130056886A (ko) | 스펙트럼 이미징에 의해 생물 표본을 분석하는 방법 | |
| JP2003527916A (ja) | 診断用マルチスペクトルデジタル画像化のための方法および装置 | |
| KR20130095636A (ko) | 튜너블 레이저-기반 적외선 이미징 시스템 및 그것의 이용 방법 | |
| CN105534606B (zh) | 用于外科手术的智能成像系统 | |
| Fabelo et al. | Surgical aid visualization system for glioblastoma tumor identification based on deep learning and in-vivo hyperspectral images of human patients | |
| WO2021256514A1 (ja) | 生体細胞解析装置、生体細胞解析システム、生体細胞解析プログラムおよび生体細胞解析方法 | |
| CN115728236A (zh) | 一种高光谱图像采集与处理系统及其工作方法 | |
| Ortega et al. | Hyperspectral database of pathological in-vitro human brain samples to detect carcinogenic tissues | |
| EP3716136A1 (en) | Tumor boundary reconstruction using hyperspectral imaging | |
| Wang et al. | Automated ovarian cancer identification using end-to-end deep learning and second harmonic generation imaging | |
| Wang et al. | Deep learning in ex-vivo lung cancer discrimination using fluorescence lifetime endomicroscopic images | |
| Li | Hyperspectral imaging technology used in tongue diagnosis | |
| Canabal-Carbia et al. | Enhancing biological tissue structures visualization through polarimetric parameters | |
| CN105877692A (zh) | 一种激光诱导荧光光谱阴道镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |