CN117746068A - 基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 - Google Patents
基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 Download PDFInfo
- Publication number
- CN117746068A CN117746068A CN202311804520.3A CN202311804520A CN117746068A CN 117746068 A CN117746068 A CN 117746068A CN 202311804520 A CN202311804520 A CN 202311804520A CN 117746068 A CN117746068 A CN 117746068A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- images
- wavelength
- frame accumulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000009825 accumulation Methods 0.000 claims abstract description 58
- 238000003702 image correction Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 244000000626 Daucus carota Species 0.000 description 6
- 235000002767 Daucus carota Nutrition 0.000 description 6
- 244000061456 Solanum tuberosum Species 0.000 description 6
- 235000002595 Solanum tuberosum Nutrition 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 239000002960 lipid emulsion Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，包括图像预处理模块、图像修正模块、异质体识别模型获取模块、检测模块。通过调制解调‑帧累加技术和空间金字塔匹配模型来提高图像的质量和清晰度；将高质量融合的多光谱图输入Faster‑RCNN和SSD网络模型中，实现异质体的检测。本发明通过调制解调‑帧累加技术和空间金字塔匹配模型提高图像清晰度的基础上，验证了深度学习网络模型在多光谱图像中检测异质体的可行性，进一步促进了多光谱透射成像技术在医学领域基于图像早期筛查中的临床应用。
Description
技术领域
本发明属于多光谱透射图像散射性校正领域，具体涉及基于空间金字塔匹配模型修正多波长透射图像散射系数的系统。
背景技术
视觉感知是最容易获取信息的方式，故对生物组织信息可视化就显得尤为重要。通过生物组织成像手段可以将肉眼不可见的信息变为可视化的信息，从而为临床诊断提供可靠的参考标准。生物组织光学成像技术具有实时、无创且安全的优点，并且还具备特异性和灵敏性等方面的综合优势，因此其成为生物组织成像的研究热点。光学透射照明是利用位于被测组织下方的光源来识别组织内的异常结构。光源通过组织后，由于吸收和散射造成的衰减会在透射图像上形成阴影，这在医学上称为异质体。但由于组织的吸收和散射，光源的透射深度受到严格限制。如果光被吸收而不重新发射，光子就会丢失，并产生一幅黑暗的图像。其中，生物组织对光源的辐射吸收主要是由大量的水、大分子(如蛋白质)和色素(如黑色素、血红蛋白)的存在引起的。因此，与传统的电离辐射技术相比，由于其在组织中的吸收特性和散射特性，在传输过程中不能产生高信息度的图像。
发明内容
本发明所要解决的技术问题在于：针对现有透射技术中存在的散射性问题，本发明提供基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，利用空间金字塔匹配模型实现透射图像与真知图之间的信息匹配，修正图像透射过程中的散射系数来提高图像的质量，从而提高多光谱透射图像中异质体的检测精度。此外，随着机器学习的不断发展和硬件水平的不断提高，基于深度学习的图像中目标检测方法被广泛的研究和应用。深度学习通过逐层卷积的方式提取图像深层且抽象的语义特征信息和挖掘隐藏在目标内部的特性，使具有更好的目标表征能力，这将利于多光谱成像在医学检测中的发展。
为解决以上技术问题，本发明提供如下技术方案：基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，包括：
图像预处理模块，用于对采集的多波长透射图像进行图像解调和帧累加处理，得到原始帧累加图像；
图像修正模块，基于空间金字塔模型统计图像不同空间特征点来计算不同波长中每组帧累加图像与对应波长真知图的匹配度，根据获得的匹配系数依次修正原始帧累加图像的灰度值，获得帧累加修正后的图像，然后按照彩色图中RGB三原色比例关系分别重新组合原始帧累加图和帧累加修正后的图像，得到原始帧累加结合帧累加修正后的多光谱融合真彩图；
异质体识别模型获取模块，构建基于Faster-RCNN和SSD神经网络模型，同时构建包括多光谱融合真彩图以及对应标签的数据集，利用数据集对Faster-RCNN和SSD神经网络进行训练获得异质体识别模型；其中Faster-RCNN以区域候选网络RPN代替Fast-RCNN中的选择搜索网络来进行候选框的选择和修正，区域候选网络RPN判断和调整目标候选框的依据函数是分类损失和回归损失的和。
检测模块，利用异质体识别模型对采集的多波长透射图像进行检测，获得识别结果。
进一步地，前述的图像预处理模块包括图像解调单元、以及帧累加处理单元；其中图像解调单元，被配置执行如下动作：对所有波长的图像进行快速傅里叶变换，得到图像加载正弦信号的频域坐标，根据频域坐标解调出所有波长的多光谱图像，同时，将每个图像的灰度值依次叠加得到灰度值周期曲线，获得图像单周期正弦信号的频域周期；帧累加处理单元，被配置执行如下动作：将单周期内的图像依次进行累加平均，获得所有波长的帧累加图像。
进一步地，前述的的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，在获得图像单周期正弦信号的频域周期时，截取周期曲线第一个峰值点和最后一个峰值点作为完整的频域周期。
进一步地，前述的的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，帧累加公式如下所示：
式中，m代表波长数；n代表实验次数；l代表图像帧数；f代表正弦信号单周期图像帧数。
进一步地，前述的，图像修正模块中，匹配度计算公式如下：
式中：KL(X,Y)代表匹配度；X和Y代表两帧不同图像；M代表特征点种类的数量；L代表金字塔的层数。
进一步地，前述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，按照彩色图中RGB三原色比例关系分别重新组合原始帧累加图和帧累加修正后的图像时，按照蓝光、绿光、红光和近红外光的顺序每3个波长依次组合。
进一步地，前述的异质体识别模型获取模块中，Faster-RCNN分类损失函数采用交叉熵，回归修正函数采用SmoothL1，如公式(3)，(4)所示：
式中：L代表图像的总损失值；Ncls,Nreg代表标准化参数；Lcls代表图像的分类损失；Lreg代表图像的回归损失；pi代表目标在预测区域内的概率；代表pi的量化值，若预测区域内存在目标则取值为1，否者取值为0；ti代表预测区域位置的四个参数化坐标值；/>代表待测目标的真实参数化坐标值；x代表待测对象预测值；λ代表平衡因子。
进一步地，前述的异质体识别模型获取模块，SSD网络包括特征提取网络和检测网络；检测网络在检测样本目标区域的过程中，通过ImageNet数据集获取初始的检测模型，然后根据分类的准确率对SSD模型中参数进行微调，获得最佳的检测模型，实现样本图像中目标的有效识别。
进一步地，前述的SSD网络的损失函数包含用于分类的loss和用于回归的SmoothL2，分别如公式(5)，(6)所示：
L(x,c,l,g)＝1/N(Lconf(x,c)+αLloc(x,l,g)) (5)
式中：L代表图像的总损失值；N为匹配到default box个数；Lconf代表图像的置信损失；Lloc代表图像的定位损失；c代表置信度向量；α代表权值系数，默认值为1；l代表预测框向量；g代表原始框向量；x代表待测对象预测值。
相较于现有技术，本发明采用以上技术方案的有益技术效果如下：针对多波长透射图像中信息度不足的问题，提出了一种基于空间金字塔匹配模型修正多波长透射图像散射系数的方法实现图像中信息度的丰富。其中，设计了仿体多光谱透射图像的采集实验。然后，通过调制解调-帧累加技术和空间金字塔匹配模型提高图像的质量和清晰度。最后，将得到的多光谱融合真彩图在Faster-RCNN和SSD模型中实现了异质体的检测。其中，调制解调-帧累加技术显著提高了图像的灰阶等级和信噪比，这将促进多光谱图像中异质体特征信息的提取。空间金字塔匹配模型通过修正多光谱透射图像的散射系数，提高了图像的清晰度。且多光谱图像中异质体在Faster-RCNN和SSD模型中均实现了高精度地有效检测。在利用调制解调-帧累加技术和空间金字塔匹配模型提高图像清晰度的基础上，进一步拓展了深度学习网络模型在多光谱图像上进行异质体检测的可行性，促进了多光谱透射成像在医学检测中的临床应用。
附图说明
图1为本发明实施例中实验设备示意图。
图2为本发明系统模块功能示意图。
图3为本发明实施例中LED阵列排布示意图。
图4为本发明实施例中原始多波长透射图像示意图。图中，(a)为蓝光波长图像，(b)为绿光波长图像，(c)为红光波长图像，(d)为近红外光波长图像。
图5为本发明实施例中正弦信号频域坐标示意图。图中，(a)频域图，(b)频域坐标图。
图6为本发明实施例中正弦信号的单周期示意图。
图7为本发明实施例中图像帧累加前后的灰阶对比图示意图；图中，(a1)为蓝光波长原始图像，(b1)为绿光波长原始图像，(c1)为红光波长原始图像，(d1)为近红外光波长原始图像，(a2)为蓝光波长原始图像的灰阶直方图，(b2)为绿光波长原始图像的灰阶直方图，(c2)为红光波长原始图像的灰阶直方图，(d2)为近红外光波长原始图像的灰阶直方图，(a3)为蓝光波长帧累加图像的灰阶直方图，(b3)为绿光波长帧累加图像的灰阶直方图，(c3)为红光波长帧累加图像的灰阶直方图，(d3)为近红外光波长帧累加图像的灰阶直方图，(a4)为蓝光波长帧累加后的图像，(b4)为绿光波长帧累加后的图像，(c4)为红光波长帧累加后的图像，(d4)为近红外光波长帧累加后的图像。
图8为本发明实施例中帧累加多波长融合彩色图示意图。图中，(a)为BGR三波长融合彩色图，(b)为BGI三波长融合彩色图，(c)为BRI三波长融合彩色图，(d)为GRI三波长融合彩色图；B代表蓝光波长，G代表绿光波长，R代表红光波长，I代表近红外光波长。
图9为本发明实施例中仿体多波长对照图像示意图；图中，(a)为蓝光对照图像，(b)为绿光对照图像，(c)为红光对照图像，(d)为近红外光对照图像。
图10为本发明实施例中散射修正前后的多波长融合彩色图示意图；图中，(a)为原始帧累加多波长融合彩色图，(b)为散射修正帧累加多波长融合彩色图。
图11为本发明实施例中深度学习网络模型示意图。
图12为本发明实施例中Faster-RCNN和SSD模型异质体检测结果示意图；图中，(a1)为数据集a1异质体Faster-RCNN检测结果，(a2)为数据集b1异质体Faster-RCNN检测结果，(a3)为数据集c1异质体Faster-RCNN检测结果，(b1)为数据集a2异质体Faster-RCNN检测结果，(b2)为数据集b2异质体Faster-RCNN检测结果，(b3)为数据集c2异质体Faster-RCNN检测结果，(c1)为数据集a1异质体SSD检测结果，(c2)为数据集b1异质体SSD检测结果，(c3)为数据集c1异质体SSD检测结果，(d1)为数据集a2异质体SSD检测结果，(d2)为数据集b2异质体SSD检测结果，(d3)为数据集c2异质体SSD检测结果。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
参考图1，本发明包括一个现有的多波长透射图像采集装置，主要包括电源、调制器、不同波长的阵列LED、工业相机、电脑、黑布和仿体。其中，电源为可编程直流稳压电源，型号为：hspy-600。调制器采用降压型恒流源驱动板，型号为：PT4115。根据生命窗口光谱范围(650nm～950nm)和不同波长组合可提高异质体检测精度的特点，LED阵列分别选取了435nm蓝光、546nm绿光、700nm红光和860nm近红外光。而在设计LED阵列时，必须保证LED阵列的照射角度能够覆盖整个仿体区域和LED光强范围呈线性变化。LED阵列结构为4×4型阵列，与仿体一样大。工业相机型号：JHSM120Bf，传感器尺寸：1/3’CMOS，传感器型号：MT9Mo21，有效像素120万，像元尺寸3.75μm，帧率/分辨率29.4fps@1280x960，滤波片：全透，曝光时间：34.375μs-2252.765ms，灵敏度：6.1V/lux-s，光谱响应：390-1030nm。电脑的型号为：HuiPu和使用usbVide的采集软件进行多光谱图像的采集。仿体是由高透光度的聚甲基丙烯酸甲酯(PMMA)材料构成的长方体容器，相对其它组织，乳腺组织的透光度较高。其中，该仿体的整体散射系数约为0.8mm-1，它的吸收系数约为0.0044mm-1。容器用来盛装不同浓度的脂肪乳溶液(2％,3％,5％)和异质块(土豆块和胡萝卜块)来模拟乳房组织中的肿块。通过多波长透射图像采集装置采集原始多光谱透射图像，具体操作步骤如下：
(1)设定电源、信号发生器和工业相机的参数。根据不同波长LED额定电压与电流值加载不同的电源负载。考虑到调制过程中多次偶次谐波对主频信道的影响，采用非整数载波频率可以有效降低偶次谐波频率对主频的影响。因此，使用信号发生器生成3.5HZ的正弦信号，并调节其偏置使电压维持在0V以上，防止负压周期的产生。根据脂肪乳溶液的浓度，分别设定相机的增益(3,7和10)、曝光时间(5ms,8ms和10ms)和采样速率(45帧/秒左右)，从而获取多光谱透射仿体图像。
(2)调节与固定光源与仿体、仿体与相机的距离。调节光源与仿体距离的过程中，要保证LED阵列光源照射角度能够覆盖仿体的全部面积，光源分布如图3所示。同时，LED光强变化范围呈线性变化。仿体与相机的距离要保证成像区间无黑影噪声的产生。
(3)采集多光谱图像序列。利用4种加载正弦信号波长的LED阵列分别照射仿体，从而获得原始的多光谱图像。实验整个过程用黑布遮盖。其中，仿体中包括4种大小、厚薄不一的异质体(2个土豆块和2个胡萝卜块)，异质体尺寸均在0.8cm×0.8cm×1cm范围内。所有的异质体都放置在仿体宽度的2/3处，光源放置在仿体的前面，相机放置在仿体的后面。每种波长阵列LED分别照射6组不同浓度(2组2％浓度的脂肪乳溶液，2组3％浓度的脂肪乳溶液和2组5％浓度的脂肪乳溶液)的仿体，所有波长共获得k＝24组数据，剔除每组中带有误差的图像，总共获得t＝26880帧多光谱透射图像。图4为4种波长中某一帧图像(l＝1,2,3,...,1120；m＝1,2,3,4；n＝1,2,...,6)，图4中，(a)为蓝光波长图像，(b)为绿光波长图像，(c)为红光波长图像，(d)为近红外光波长图像。
如图2所示，本发明基于空间金字塔匹配模型修正多波长透射图像散射系数的系统包括：图像预处理模块、图像修正模块、异质体识别模型获取模块、检测模块。
图像预处理模块包括图像解调单元、以及帧累加处理单元；用于对多波长透射图像采集装置采集的图像进行图像解调和帧累加处理。
(1)图像解调单元将获得的所有图像进行快速傅里叶变换(FFT)，得到图像加载正弦信号的频率坐标，如图5所示，图5中，(a)为频域图，(b)为频域坐标图。根据频域坐标解调出所有波长的多光谱图像。同时，将每组中每幅图像的灰度值依次叠加得到灰度值周期曲线，如图6所示，从而获得图像单周期正弦信号的频域周期。为保证所有波长图像对应周期的一致性，截取周期曲线第一个峰值点和最后一个峰值点作为完整的频域周期，具体统计结果如表1所有波长中每组图像频域周期的帧数表所示。
表1
表格中B11代表蓝光波长第一组浓度为2％的图像周期值；B22代表蓝光波长第二组浓度为2％的图像周期值；B33代表蓝光波长第三组浓度为3％的图像周期值；B44代表蓝光波长第四组浓度为3％的图像周期值；B55代表蓝光波长第五组浓度为5％的图像周期值；B66代表蓝光波长第六组浓度为5％的图像周期值，其他以此类推；G代表绿光波长；R代表红光波长；I代表近红外光波长。
(2)帧累加处理单元，用于获得所有波长的原始帧累加图像。从图6中可以看出正弦信号的单周期包括12帧图像，将完整周期内的图像(l＝1,2,3,...,1120；m＝1,2,3,4；n＝1,2,...,6)每12帧图像依次进行帧累加，从而获得所有波长的帧累加图像，总共获得2292帧图像，每波长包括558帧。其中，帧累加公式如下所示：
令f＝12，有
式中，m代表波长数；n代表实验次数；l代表图像帧数；f代表正弦信号单周期图像帧数。调制解调-帧累加技术显著提高了图像的质量。如表2所有波长图像帧累加处理后评价指标的结果表所示，图像的PSNR均为正值，这表明图像的灰阶等级得到显著拉伸，如图7所示，图7中，(a1)为蓝光波长原始图像，(b1)为绿光波长原始图像，(c1)为红光波长原始图像，(d1)为近红外光波长原始图像，(a2)为蓝光波长原始图像的灰阶直方图，(b2)为绿光波长原始图像的灰阶直方图，(c2)为红光波长原始图像的灰阶直方图，(d2)为近红外光波长原始图像的灰阶直方图，(a3)为蓝光波长帧累加图像的灰阶直方图，(b3)为绿光波长帧累加图像的灰阶直方图，(c3)为红光波长帧累加图像的灰阶直方图，(d3)为近红外光波长帧累加图像的灰阶直方图，(a4)为蓝光波长帧累加后的图像，(b4)为绿光波长帧累加后的图像，(c4)为红光波长帧累加后的图像，(d4)为近红外光波长帧累加后的图像。从图像中可以看出，所有波长图像经过帧累加处理后，灰阶等级分布明显增多，图像的空间分辨率也得到了提升，图像更加清晰。帧累加后所有波长图像的信噪比都有了一定的提高，近红光波长图像的信噪比相对增幅最多，提高了20％，这将有利于在深度学习网络中提取多波长图像中异质体的特征信息。其中，帧累加后不同波长图像组合的真彩图，如图8所示，图8中，(a)为BGR三波长融合彩色图，(b)为BGI三波长融合彩色图，(c)为BRI三波长融合彩色图，(d)为GRI三波长融合彩色图；B代表蓝光波长，G代表绿光波长，R代表红光波长，I代表近红外光波长。
表2
图像修正模块，基于空间金字塔模型统计图像不同空间特征点来计算不同波长中每组帧累加图像与对应波长真知图的匹配度，根据获得的匹配系数依次修正原始帧累加图像的灰度值，获得帧累加修正后的图像，然后按照彩色图中RGB三原色比例关系分别重新组合原始帧累加图和帧累加修正后的图像，得到原始帧累加结合帧累加修正后的多光谱融合真彩图。
空间金字塔匹配模型(SPM)是一种对图像划分不同空间分辨率的方式实现图像特征的提取，分块空间结构形状类型于金字塔，将提取的特征直方图组合起来完成图像间的匹配问题。SPM是在Bag Of Features(BOF)算法基础上改进过来的。BOF算法利用SIFT变换提取整幅图像的特征和利用K-Means算法进行聚类，容易造成图像中细节信息的丢失，无法提供更加完整的信息实现不同图像间精确的匹配。为了解决上述BOF算法存在局部信息丢失的问题，SPM引入了空间金字塔分别计算其在不同空间分辨率下其特征点的特征分布直方图，将不同空间中的灰度直方图分布相连接组合成全局直方图，可以更加准确地提取图像局部细节信息。本专利中SPM根据采集的仿体多波长透射图像纹理和结构方面的特点，逐次统计每帧图像中不同尺度下不同子块的特征分布，将所有块的特征分布直方图组合起来，形成图像完整的特征分布直方图。其中，SPM结构金字塔就是将图像划分不同等级的块，逐级提取区域块的灰度值，分块的密度越大细节信息越丰富。
最终，完成不同图像间信息匹配度的计算，如公式(2)所示。
式中：KL(X,Y)代表匹配度；X和Y代表两帧不同图像；M代表特征点种类的数量；L代表金字塔的层数。本专利具体多光谱透射图像进行散射系数矫正处理过程如下：采集图像前获取所有波长的真知图，如图9所示，图9中，(a)为蓝光对照图像，(b)为绿光对照图像，(c)为红光对照图像，(d)为近红外光对照图像。通过空间金字塔匹配模型统计图像不同空间特征点来计算不同波长中每组帧累加图像与对应波长真知图的匹配度，根据获得的匹配系数依次修正帧累加图像的灰度值。SPM通过修正多波长透射图像的散射系数，提高了图像的清晰度。为了量化图像处理前后质量的变化，选用了信息熵、均值、方差及平均梯度对融合彩色图的质量进行评价。其中，信息熵表示图像中所蕴含的信息程度，其信息越丰富则图像空间分辨率越高。均值表示图像亮度大小的平均值，其一般代表图像的亮度变化，其值越大代表图像整体显示效果越好。方差表示图像数据矩阵中数据的离散程度，图像数据越离散表明图像的灰阶分布越丰富。平均梯度表示图像的灰阶等级分布，图像的平均梯度越大，则表明图像的层次越多。图像评价结果如表3图像散射修正评价指标对比结果表所示，从表3中可以看出经过修正后图像的评价指标都有一定的提高，信息熵的增幅最广，提高了41％，其次是平均梯度、方差和均值，这表明图像更具有层次性，清晰度显著提升，如图10所示，图10中，(a)为原始帧累加多波长融合彩色图，(b)为散射修正帧累加多波长融合彩色图。
表3
(2)真彩图的获取。根据彩色图中RGB三原色比例关系分别得到原始帧累加真彩图和帧累加修正后的真彩图。其中，4波长图像分别按照蓝光、绿光、红光和近红外光的顺序每3个波长依次组合，最终获得18×2组数据，1674×2幅多光谱融合真彩图。
异质体识别模型获取模块，构建基于Faster-RCNN和SSD神经网络模型，同时构建包括多光谱融合真彩图以及对应标签的数据集，利用数据集对Faster-RCNN和SSD神经网络进行训练获得异质体识别模型。构建数据集具体过程是：将多光谱图像融合后的真彩图分别制成数据集a(a1和a2)、b(b1和b2)和c(c1和c2)。数据集a中的图像分为2类：背景和异质体(土豆块和胡萝卜块均被视为异质体)。数据集b中的图像分为3类：背景、土豆块和胡萝卜块。数据集c中的图像内容分为5类：背景、土豆块1、土豆块2、胡萝卜块1和胡萝卜块2。其中，数据集a、b和c利用随机函数随机分为训练集、校正集和测试集，由于数据集较小，根据机器学习领域的传统划分比例，将比例设为6:1:3。
在模型训练时，选用了Faster-RCNN与SSD作为多波长图像中目标异质体检测的模型，深度学习网络模型流程图如图11所示。Faster-RCNN网络模型作为Two-stage检测算法典型代表，首次将候选区域的选取、通过卷积网络获取样本的特征表示以及对图像样本中的目标分类和候选框的位置调整统一到一个网络框架内，框架内的参数可以实现共享，实现了检测速率的提升。Faster-RCNN检测模型主要由三个部分组成：1)基础特征提取网络；2)RPN(Region Proposal Network，区域候选网络)；3)Fast-RCNN检测网络。Faster-RCNN提出的RPN代替Fast-RCNN中的选择搜索网络来进行候选框的选择和修正，加速了候选区域的生成。其中，RPN判断和调整目标候选框的依据函数是分类损失和回归损失的和。分类损失函数采用交叉熵，回归修正函数采用SmoothL1，如公式(3)，(4)所示。
式中：L代表图像的总损失值；Ncls,Nreg代表标准化参数；Lcls代表图像的分类损失；Lreg代表图像的回归损失；pi代表目标在预测区域内的概率；代表pi的量化值，若预测区域内存在目标则取值为1，否者取值为0；ti代表预测区域位置的四个参数化坐标值；/>代表待测目标的真实参数化坐标值；x代表待测对象预测值；λ代表平衡因子。SSD网络模型作为One-stage检测算法的典型代表，其主要是由特征提取网络和检测网络组成。在检测样本目标区域的过程中，通过ImageNet数据集获取初始的检测模型，然后根据分类的准确率对SSD模型中参数进行多次的微调，获得最佳的检测模型，实现样本图像中目标的有效识别。相较于两阶段检测模型而言，SSD模型增加了对不同尺度和长宽比的样本图像特征的提取，利用大尺度的特征图像检测小目标物体，小尺度的特征图像检测大目标物体，进一步提高模型的检测率。其中，SSD模型的损失函数包含用于分类的loss和用于回归的SmoothL2，如公式(5)，(6)所示。同时，该模型通过设置不同的尺寸和长宽比对正负样本比例进行了调整，提高了模型运行结果的稳定性。
L(x,c,l,g)＝1/N(Lconf(x,c)+αLloc(x,l,g)) (5)
式中：L代表图像的总损失值；N为匹配到default box个数；Lconf代表图像的置信损失；Lloc代表图像的定位损失；c代表置信度向量；α代表权值系数，默认值为1；l代表预测框向量；g代表原始框向量；x代表待测对象预测值。
将数据集a、b和c分别输入Faster-RCNN和SSD网络进行训练，通过对比模型的运行时间、均方根误差(RMSE)和平均准确率确立不同数据集的最佳模型。其中，根据传统深度学习中参数的设定范围，迭代次数设定为33480次，训练步长设为100，学习速率为10-4。将多波长融合彩色图在Faster-RCNN和SSD网络模型中分别进行训练，实现多波长图像中异质体的检测，结果如表4Faster-RCNN与SSD网络模型的运行结果表和图12所示，图12中，(a1)为数据集a1异质体Faster-RCNN检测结果，(a2)为数据集b1异质体Faster-RCNN检测结果，(a3)为数据集c1异质体Faster-RCNN检测结果，(b1)为数据集a2异质体Faster-RCNN检测结果，(b2)为数据集b2异质体Faster-RCNN检测结果，(b3)为数据集c2异质体Faster-RCNN检测结果，(c1)为数据集a1异质体SSD检测结果，(c2)为数据集b1异质体SSD检测结果，(c3)为数据集c1异质体SSD检测结果，(d1)为数据集a2异质体SSD检测结果，(d2)为数据集b2异质体SSD检测结果，(d3)为数据集c2异质体SSD检测结果。从表4可以看出，Faster-RCNN和SSD网络模型的整体异质体识别检测效果都比较理想。基于Faster-RCNN和SSD模型的异质体检测平均准确率分别达到87.76％和88.63％。同时，与原始多波长融合彩色图的异质体检测结果相比，散射校正后的多波长融合彩色图的异质体识别检测精度明显提高。其中，Faster-RCNN中散射修正后3类异质体的检测效果最优、增幅最大，提高了14.37％。在SSD网络模型中散射修正后5类异质体的识别检测效果最佳、增幅最广，提高了16.15％。同时，2类异质体在SSD网络模型中检测效果最好，mAP达到94.16％。Faster-RCNN网络模型对3类异质体的检测效果最优，mAP达到了93.91％。SSD网络模型对5类异质体的检测效果最佳，mAP达到了94.78％。最后，通过RMSE、mAP和运行时间对比Faster-RCNN和SSD网络模型在不同异质体类别的检测结果表明：SSD的整体平均检测准确率略高于Faster-RCNN，运行时间也明显缩短。因此，本发明提出的一种基于空间金字塔匹配模型修正多波长透射图像散射系数的方法不仅显著地提高了多光谱透射图像的清晰度，而且大幅度提高了异质体的检测精度，从而进一步促进了多波长透射图像在早期乳腺癌检测中的临床应用。
表4
表中，a1代表2类异质体帧累加多波长融合彩色图；a2代表2类异质体帧累加修正多波长融合彩色图；b1代表3类异质体帧累加多波长融合彩色图；b2代表3类异质体帧累加修正多波长融合彩色图；c1代表5类异质体帧累加多波长融合彩色图；c2代表5类异质体帧累加修正多波长融合彩色图
检测模块，利用异质体识别模型对多波长透射图像采集装置采集的图像进行检测，获得识别结果。
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (9)
1.基于空间金字塔匹配模型修正多波长透射图像散射系数的系统,其特征在于，包括：
图像预处理模块，用于对采集的多波长透射图像进行图像解调和帧累加处理，得到原始帧累加图像；
图像修正模块，基于空间金字塔模型统计图像不同空间特征点来计算不同波长中每组帧累加图像与对应波长真知图的匹配度，根据获得的匹配系数依次修正原始帧累加图像的灰度值，获得帧累加修正后的图像，然后按照彩色图中RGB三原色比例关系分别重新组合原始帧累加图和帧累加修正后的图像，得到原始帧累加结合帧累加修正后的多光谱融合真彩图；
异质体识别模型获取模块，构建基于Faster-RCNN和SSD神经网络模型，同时构建包括多光谱融合真彩图以及对应标签的数据集，利用数据集对Faster-RCNN和SSD神经网络进行训练获得异质体识别模型；其中Faster-RCNN以区域候选网络RPN代替Fast-RCNN中的选择搜索网络来进行候选框的选择和修正，区域候选网络RPN判断和调整目标候选框的依据函数是分类损失和回归损失的和；
检测模块，利用异质体识别模型对采集的多波长透射图像进行检测，获得识别结果。
2.根据权利要求1所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，图像预处理模块包括图像解调单元、以及帧累加处理单元；其中，
图像解调单元，被配置执行如下动作：对所有波长的图像进行快速傅里叶变换，得到图像加载正弦信号的频域坐标，根据频域坐标解调出所有波长的多光谱图像，同时，将每个图像的灰度值依次叠加得到灰度值周期曲线，获得图像单周期正弦信号的频域周期；
帧累加处理单元，被配置执行如下动作：将单周期内的图像依次进行累加平均，获得所有波长的帧累加图像，。
3.根据权利要求2所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，在获得图像单周期正弦信号的频域周期时，截取周期曲线第一个峰值点和最后一个峰值点作为完整的频域周期。
4.根据权利要求2所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，帧累加公式如下所示：
式中，m代表波长数；n代表实验次数；l代表图像帧数；f代表正弦信号单周期图像帧数。
5.根据权利要求1所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，图像修正模块中，匹配度计算公式如下：
式中：KL(X,Y)代表匹配度；X和Y代表两帧不同图像；M代表特征点种类的数量；L代表金字塔的层数。
6.根据权利要求1所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，按照彩色图中RGB三原色比例关系分别重新组合原始帧累加图和帧累加修正后的图像时，按照蓝光、绿光、红光和近红外光的顺序每3个波长依次组合。
7.根据权利要求1所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，异质体识别模型获取模块中，Faster-RCNN分类损失函数采用交叉熵，回归修正函数采用SmoothL1，如公式(3)，(4)所示：
式中：L代表图像的总损失值；Ncls,Nreg代表标准化参数；Lcls代表图像的分类损失；Lreg代表图像的回归损失；pi代表目标在预测区域内的概率；代表pi的量化值，若预测区域内存在目标则取值为1，否者取值为0；ti代表预测区域位置的四个参数化坐标值；/>代表待测目标的真实参数化坐标值；x代表待测对象预测值；λ代表平衡因子。
8.根据权利要求1所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，异质体识别模型获取模块中，SSD网络包括特征提取网络和检测网络；检测网络在检测样本目标区域的过程中，通过ImageNet数据集获取初始的检测模型，然后根据分类的准确率对SSD模型中参数进行微调，获得最佳的检测模型，实现样本图像中目标的有效识别。
9.根据权利要求8所述的基于空间金字塔匹配模型修正多波长透射图像散射系数的系统，其特征在于，SSD网络的损失函数包含用于分类的loss和用于回归的SmoothL2，分别如公式(5)，(6)所示：
L(x,c,l,g)＝1/N(Lconf(x,c)+αLloc(x,l,g)) (5)
式中：L代表图像的总损失值；N为匹配到default box个数；Lconf代表图像的置信损失；Lloc代表图像的定位损失；c代表置信度向量；α代表权值系数，默认值为1；l代表预测框向量；g代表原始框向量；x代表待测对象预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311804520.3A CN117746068A (zh) | 2023-12-26 | 2023-12-26 | 基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311804520.3A CN117746068A (zh) | 2023-12-26 | 2023-12-26 | 基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117746068A true CN117746068A (zh) | 2024-03-22 |
Family
ID=90259068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311804520.3A Pending CN117746068A (zh) | 2023-12-26 | 2023-12-26 | 基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746068A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385695A (zh) * | 2023-03-29 | 2023-07-04 | 天津工业大学 | 一种基于多波长光学图像特征融合的头部异质体成像方法及系统 |
-
2023
- 2023-12-26 CN CN202311804520.3A patent/CN117746068A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385695A (zh) * | 2023-03-29 | 2023-07-04 | 天津工业大学 | 一种基于多波长光学图像特征融合的头部异质体成像方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘付龙: "基于多波长透射图像信息生物组织中异质体检测的研究", 万方, 12 May 2023 (2023-05-12), pages 63 - 80 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| Kang et al. | Stainnet: a fast and robust stain normalization network | |
| JP6999812B2 (ja) | 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 | |
| TWI684997B (zh) | 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法 | |
| Al Sobbahi et al. | Low-light homomorphic filtering network for integrating image enhancement and classification | |
| CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN109934154A (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN113298780B (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
| CN109191424A (zh) | 一种乳腺肿块检测与分类系统、计算机可读存储介质 | |
| CN116849612B (zh) | 一种多光谱舌象图像采集分析系统 | |
| Jenifa et al. | Classification of cotton leaf disease using multi-support vector machine | |
| CN115841594B (zh) | 基于注意力机制的煤矸高光谱变图像域数据识别方法 | |
| CN111079807A (zh) | 一种地物分类方法及装置 | |
| Du et al. | Color image enhancement: a metaheuristic chimp optimization algorithm | |
| Zhang et al. | Multispectral heterogeneity detection based on frame accumulation and deep learning | |
| El-Tokhy et al. | Classification of welding flaws in gamma radiography images based on multi-scale wavelet packet feature extraction using support vector machine | |
| Liu et al. | Detection of heterogeneity in multi-spectral transmission image based on spatial pyramid matching model and deep learning | |
| Zhang et al. | Color perception and recognition method for Guangdong embroidery image based on discrete mathematical model | |
| Quan | Quality evaluation method of agricultural product packaging image based on structural similarity and MTF | |
| CN116664587A (zh) | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 | |
| CN117746068A (zh) | 基于空间金字塔匹配模型修正多波长透射图像散射系数的系统 | |
| CN110197178A (zh) | 一种图谱特征融合深度网络的大米种类快速鉴别检测装置及其检测方法 | |
| Li et al. | Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement | |
| CN113506266B (zh) | 舌头腻苔的检测方法、装置、设备及存储介质 | |
| Ma et al. | Deep attention network for melanoma detection improved by color constancy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |