CN118172266A - 一种基于自适应光场重建和低秩分解的去高光内窥镜 - Google Patents
一种基于自适应光场重建和低秩分解的去高光内窥镜 Download PDFInfo
- Publication number
- CN118172266A CN118172266A CN202410593065.5A CN202410593065A CN118172266A CN 118172266 A CN118172266 A CN 118172266A CN 202410593065 A CN202410593065 A CN 202410593065A CN 118172266 A CN118172266 A CN 118172266A
- Authority
- CN
- China
- Prior art keywords
- light field
- image
- images
- endoscope
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000001228 spectrum Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 18
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 239000013307 optical fiber Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011282 treatment Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Endoscopes (AREA)
Abstract
本发明公开了一种基于自适应光场重建和低秩分解的去高光内窥镜，包括内窥镜本体和图像处理单元，所述内窥镜本体内部的镜头和成像传感器之间设置余弦强度掩膜；所述图像处理单元的处理过程包括：光场成像、光场重构、低秩矩阵逼近和图像融合步骤。本发明通过在内窥镜用成像传感器表面放置余弦强度掩膜，按照常规流程进行成像，采用傅里叶域实现光场信息的拼接与重建，采用低秩矩阵逼近算法去除不同角度的光场图像分量内的高光信息，并采用神经网络算法进行不同角度图像的融合，输出去除高光后的图像，从而提高内窥镜的图像质量，为医生提供更清晰和细节全面的内窥镜图像，提高对病变结构的准确诊断。
Description
技术领域
本发明涉及一种基于自适应光场重建和低秩分解的去高光内窥镜。
背景技术
内窥镜作为一种医学诊断和治疗工具，在现代医学领域发挥着重要的作用。其应用范围涉及各个医学专业，包括消化内科、泌尿外科、妇科等。内窥镜通过灵活的导管和高清晰度的摄像系统，可以直接观察和检查人体内部器官，为医生提供了直观、实时的影像资料，极大地促进了疾病的早期诊断和治疗。在消化内科领域，胃肠道内窥镜检查已成为常规检查手段，能够发现胃肠道各种病变，如溃疡、息肉、肿瘤等，并进行组织取样。在泌尿外科，膀胱镜和输尿管镜的应用使医生能够直接观察泌尿系统的情况，检查结石、肿瘤等疾病。在妇科，宫腔镜则用于检查子宫腔内情况，协助治疗不孕症和其他妇科疾病。
然而，近年来，内窥镜的效果有时会受到镜面高光问题的干扰。镜面高光指的是在内窥镜镜片表面产生的过度反光，导致影像区域过亮，医生难以准确观察。这种情况可能由于光源照射角度不当、样本性质特殊或者内窥镜表面的损伤而引起。首先，如果光源的照射角度过于陡峭或者与内窥镜表面形成特定角度，可能会导致反光问题。其次，器官粘液层等部位的组成成分较为特殊，容易产生镜面反射，从而导致较强的特定方向光。此外，在长时间的使用中，内窥镜可能会因为摩擦、清洗不当或者其他原因产生划痕或磨损，这样的损伤可能会导致光线的反射不规则，形成镜面高光。镜面高光问题提升了临床医生的辨认结构和病变的困难性，从而可能对患者的健康产生潜在的风险。
目前去除内窥镜镜面高光的方法主要包括改进系统设计、优化特定元件或采用适当的后处理算法等：第一，通过优化光源的角度和强度，可以减少光线在镜片表面产生的反射，降低镜面高光的发生概率。然而，受制于内窥镜的结构和使用环境，对内窥镜的光源进行特殊的改变和处理具有较高的挑战性，难以适配内窥镜的全部应用环境，而且可能会影响镜下观察的整体亮度。第二，在内窥镜表面应用抗反光涂层，可以减少反射光的强度，有效改善镜面高光问题。但此类方法对高光的去除不具有特异性的选择能力和自适应的去除比例，可能会影响正常结构的判别，此外涂层在耐用性和成本之间存在固有的权衡，需要定期维护和更换。第三，使用高清晰度的影像传感器可以更精确地捕捉图像，从而减少镜面高光对观察的干扰。然而仅应用此类方法一方面对成本有所增加，另一方面无法从根本上解决高光的去除问题，在一些特殊情况下，如狭小的器官内部，仍然可能面临光线反射的问题。第四，采用特定的偏振光技术可以通过减少光在特定角度的反射来改善镜面高光问题。但是此技术一般需要在内窥镜和光源方面进行的对应的起偏和检偏设计，且只能针对特定的角度进行去除，无法适用于实际的多变场景。第五，可以通过针对高光问题设计的图像处理算法来去除高光，例如结合高光分割和端到端图像修复来优化高光区域，可以实现较好的去除效果，但此类方法缺乏物理模型的充分支撑，且神经网络模型的训练和优化需要较长的时间和较为复杂的采集过程。
总之，内窥镜作为一种先进的医疗工具，在医学临床应用中有着不可替代的地位。而镜面高光问题是提升内窥镜检查的准确性和安全性所面临的重要挑战。目前主流的去除高光的方法仅针对特定的系统部件或处理环节进行优化，难以适用于各种实际场景。通过对通用性、成本和兼容性进行综合考量，在不改变内窥镜光源端精细结构的情况下，采用特定的采集系统将不同角度的采集图像区分开来，分别进行镜面反射高光的分析和去除，然后采用算法进行图像融合，将有助于提高在各种复杂条件下的通用性。在此类方法中，光场相机通过采用微透镜阵列或可调焦透镜，可以同时记录不同传播方向的光线的空间强度分布，提供了对特定角度高光去除的可能性。但是由于光场相机的技术和结构相对复杂，因此制造成本较高，且此种精细结构很难与所有内窥镜直接兼容。因此，遵循上述的流程，需要一种基于普通内窥镜用传感器的光场成像结构和后续处理流程，在采集不同角度的光场强度信息后，进行高光去除与图像融合，从而解决内窥镜观察中广泛存在的镜面高光问题，提高医学影像学的质量和可靠性。
发明内容
本发明的目的是提供一种基于自适应光场重建和低秩分解的去高光内窥镜，其去高光处理可以在不同采集环境下具有高度普适性，具有高时间分辨率、低成本、轻量级、高泛化能力等优势。
本发明为达到上述目的，具体通过以下技术方案得以实现的：
一种基于自适应光场重建和低秩分解的去高光内窥镜，包括内窥镜本体和图像处理单元，所述内窥镜本体内部的镜头和成像传感器之间设置余弦强度掩膜；所述图像处理单元的处理过程包括：
S1、光场成像：采集成像传感器成像的每帧二维图像，将每一二维图像经余弦函数傅里叶变换获得包含空间和角度信息的多个光场频谱区域，所述多个光场频谱区域在空间维上紧密连接且无重叠；
S2、光场重构：将多个光场频谱区域在空间维上进行拼接，获得多个角度的二维频谱图像，再对其进行傅里叶反变换，获得多个角度的二维光场图像；
S3、低秩矩阵逼近：对每个角度的二维光场图像进行低秩矩阵逼近，获得不同角度的去高光图像；
S4、图像融合，提取每个角度的去高光图像的特征点和的特征向量，匹配筛选最优去高光图像作为基准图像，将其他角度的去高光图像依次融合至该图像上，即获得融合图像，输出显示。
进一步地，余弦强度掩膜形式采用胶片、菲林片、玻璃铬版或空间光调制器。
进一步地，步骤S1中，经过余弦函数傅里叶变换后，其频谱分布为
，
其中为空间频率，/>为由余弦函数产生的频谱复制次数，/>为基频。
进一步地，单一维度的频谱分布为
。
进一步地，以镜头光阑与样本像面的距离为余弦强度掩膜与样本像面的距离为，所述余弦强度掩膜的光学调制函数为
；
其中
，
分别为二维光场的空间频率和角频率；
设内窥镜成像传感器采集的二维图像对应的频谱分布为，则经过余弦强度掩膜调制后的频谱分布为
；
即经过余弦函数的调制，光场具有个重复的频谱分量，并沿着斜率为的直线为中心进行分布。
进一步地，所述多个光场频谱区域在空间维上紧密连接且无重叠的条件为：设成像传感器的角度带宽为，镜头分辨率的空间频率上限为/>满足
，
且满足
则，所述光场频谱区域的空间频率和角度带宽分别为。
进一步地，步骤S3中，所述低秩矩阵逼近采用奇异值分解方式实现：对每个角度的二维光场图像的亮度图矩阵I进行奇异值分解，即
其中，是由奇异值/>从大到小排列而成的对角矩阵；
通过保留奇异值较大的部分，截断奇异值矩阵，产生一个低秩的对角矩阵/>，其中K是保留的奇异值数量，因此可得低秩矩阵的逼近结果
。
则高光信息通常被包含在剩余的高秩部分，即，需要去除。
进一步地，奇异值数量K的选择方式采用以下方式：保留总奇异值能量的80%~95%，该能量贡献比的表达式为
或，选择保留大于特定阈值T的奇异值，即
通过迭代优化上述参数，在生成的图像质量和高光去除效果达到最优时停止迭代。
进一步地，步骤S4中，所述提取采用加速鲁棒特征提取每个角度的去高光图像的特征点和特征向量。
进一步地，步骤S4中，所述匹配筛选过程为：对源图像和待融合图像特征之间基于FLANN进行匹配；
采用RANSAC对匹配的特征进行筛选，计算单应性矩阵；
将单应性矩阵施加在源图像上，并与待融合图像进行相加，其中重叠部分求平均，即可获得融合图像。
本发明的技术方案提供了一种良好去除镜面反射高光的内窥镜成像方案，它结合了以普通传感器为载体的光场成像技术和多角度图像融合技术，在不对内窥镜的光源结构、传感器选型和采集过程进行任何改变的情况下，实现了高光的去除。
通过在普通的内窥镜用成像传感器表面耦合一层光纤面板进行传像，并在光纤面板前端面上放置余弦强度掩膜，仅需按照常规流程进行成像，即可在傅里叶域实现光场信息的拼接与重建。采用低秩矩阵逼近算法去除不同角度的光场图像分量内的高光信息，并采用神经网络算法进行不同角度图像的融合，输出去除高光后的图像，从而提高内窥镜的图像质量。
本技术的优势包括：
（1）具有低廉的成本，对内窥镜系统的光源端不进行任何改变，也无需采用特殊传感器，仅对现有的传感器进行掩膜的设计和加工，成本较低，改造难度较小，同时不引入额外的亮度变化。
（2）通过本技术获得的图像在各种复杂情况下均可保持良好的成像质量。无需根据经验设置参数或选择角度，利用光场成像的多角度数据，图像可以通过智能算法合成，去除或减弱镜面高光，同时保留其他部分的清晰度。
（3）本技术具有简单易行的操作流程，无需对从业人员进行额外培训。采用与常规内窥镜采集完全相同的流程，无需进行复杂的硬件调节，将采集的图像经过程序自动处理，在数秒内即可生成重建结果，可在广泛的临床场景中进行应用。
综上所述，本技术通过降低或消除镜面高光，为医生提供更清晰和细节全面的内窥镜图像，提高对病变结构的准确诊断。有助于医生提高手术操作的精度，优化术后病理分析，提高患者体验。因此，这种技术的应用有望推动内窥镜成像领域的进步，并为临床医疗提供更可靠、高效的工具。
附图说明
图1为本发明的余弦强度掩膜安装位置爆炸图；
图2为采用余弦强度掩膜后的透过率分布图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
如图1及图2所示，本发明的一种基于自适应光场重建和低秩分解的去高光内窥镜，包括内窥镜本体和图像处理单元，所述内窥镜本体内部的镜头1和成像传感器2之间设置余弦强度掩膜3；所述图像处理单元的处理过程包括：
S1、光场成像：采集成像传感器成像的每帧二维图像，将每一二维图像经余弦函数傅里叶变换获得包含空间和角度信息的多个光场频谱区域，即将单张二维图像经过余弦强度编码，在傅里叶变换后获得包含对应于多个角度信息的频谱区域，所述多个光场频谱区域在空间维上紧密连接且无重叠；
S2、光场重构：将多个光场频谱区域在空间维上进行拼接，获得多个角度的二维频谱图像，再对其进行傅里叶反变换，获得多个角度的二维光场图像；
S3、低秩矩阵逼近：对每个角度的二维光场图像进行低秩矩阵逼近，获得不同角度的去高光图像；
S4、图像融合，提取每个角度的去高光图像的特征点和的特征向量，匹配筛选最优去高光图像作为基准图像，将其他角度的去高光图像依次融合至该图像上，即获得融合图像，输出显示。
在S1光场成像步骤中，考虑普通相机无法采集光场信息，其根本原因在于其只具有很低的角度带宽，因此无法采集高带宽的角分辨率信息，只能以镜头的空间分辨率为空间带宽限制采样空间频谱信息。基于此原因，采用高分辨率的余弦强度掩膜3调制，目的是借助余弦函数傅里叶变换后产生的频谱位移特性，使得采集图像对应的傅里叶域频谱在空间维度上展宽。进一步地，将余弦强度掩膜3放置在镜头1与成像传感器2之间，目的是使得编码本身的频域信息具有特定的斜率，从而使得采集图像的具有不同空间位移的频谱在角度维上具有等比例的位移关系。
所采用的余弦强度掩膜3形式包括但不限于采用胶片、菲林片、玻璃铬版或空间光调制器。优选的，考虑直接将余弦强度掩膜3与成像传感器2之间直接进行紧密固定需要在无尘条件下完成，且由于成像传感器2像元容易受损，一旦固定后余弦强度掩膜3难以更换，因此采用光纤面板4作为连接成像传感器2平面与余弦强度掩膜3的载体。光纤面板4作为一种传输光信号的轻量级高分辨率工具，在医学领域已取得了广泛应用，用于以极低的损耗传输影像和实现医学诊断。因此，将一个约2毫米厚的光纤面板4与成像传感器2进行耦合，并将具有一定厚度的余弦强度掩膜3贴装在光纤面板4的前端面，形成一个紧密连接的整体，成像结果在经过余弦强度掩膜3调制后汇聚在光纤面板4的前端面，然后被传递至成像传感器2面并存储，用于后续的重构算法。
余弦强度掩膜3包含了余弦函数和其倍频的叠加，成像传感器2二维图像在经过余弦函数傅里叶变换后，其频谱分布为
，
其中为空间频率，/>为由余弦函数产生的频谱复制次数，/>为基频。具体的，/>复制次数的设置由需要分解得到的光场图像数量的需求来确定，在计算上，余弦强度掩膜中包含的最高频分量的频率是基频的几倍，复制次数就是几；是求和公式里的遍历变量，即从k= -p到p。
其中一个维度的信息，即单一维度的频谱分布为：
。
进一步地，以镜头光阑与样本像面的距离为余弦强度掩膜与样本像面的距离为，所述余弦强度掩膜的光学调制函数为
；
其中
分别为二维光场的空间频率和角频率；
设内窥镜成像传感器采集的二维图像对应的频谱分布为，则经过余弦强度掩膜调制后的频谱分布为
；
即经过余弦函数的调制，光场具有个重复的频谱分量，并沿着斜率为的直线为中心进行分布。上述公式中对多个/>进行求和，每一个分别是一个频谱分量，其中k从-p取值一直到p，一共是/>个。
进一步地，所述多个光场频谱区域在空间维上紧密连接且无重叠的条件为：设成像传感器的角度带宽为，镜头分辨率的空间频率上限为/>,如果/>满足
，
且满足
多个光场频谱区域的重复分量彼此将在空间维上紧密连接，此时成像传感器可以采集个紧密连接且无重叠的频谱区域，它们的空间和角度带宽分别为/>将它们沿角频率维度拼接组合，可以形成一个完整的频谱，具有的角频率上限为该重构频谱包含了光场的空间和角度信息。
进一步地，步骤S2中，采用具有x像素的成像传感器进行原始采集，构建具有个角度的光场图像，经过余弦强度掩膜编码后，对采集的图像进行傅里叶变换，其频域具有的空间维尺寸为x，该频域信号包含依次排列的/>个重复的光场频谱的不同角度的采样，将其等分为/>个2/>像素的频域信号，并重新拼接为尺寸为的二维频谱图像，对其进行傅里叶反变换，即可获得空间尺寸为/>且具有/>个不同角度的二维光场信息。
以一个维度的空间和角度信息为例，采用具有x=1800像素的传感器进行原始采集，并取=2构建具有/>=5个角度的光场图像。经过余弦强度掩膜3编码后，对采集的图像进行傅里叶变换，其频域具有的空间维尺寸为x=1800。根据S1光场成像中的推导，该频域信号包含依次排列的/>=5个重复的光场频谱的不同角度的采样，因此将其等分为5个2/>=360像素的频域信号，并重新拼接为尺寸为360X5的二维频谱图像，再对其进行傅里叶反变换，即可获得空间尺寸为360且具有5个不同角度的二维光场信息。
计算可知此种情况下，根据镜头1与样本像面的距离/>的关系，可以计算得此时余弦强度掩膜3的厚度/>。对于实际的二维图像采集采用相似的模式，获得的四维光场重构流程依次为二维图像采集、二维傅里叶变换、频谱拼接产生四维频域图、四维傅里叶反变换、获得四维光场。对不同角度的空间强度图像分别进行去高光处理有助于快速自适应实现图像质量的优化。
在S3低秩矩阵逼近步骤中，对每个角度的空间强度图像分别进行高光处理，有助于削弱来自不同角度镜面反射的混叠，提高重建质量。由于高光信息一般与其他连续性较强的场景相比差异性较大，而连续性场景一般而言是低秩的，高光信息往往破坏了这种低秩性，因此采用低秩矩阵逼近的方案执行高光去除，获得连续性的低秩场景矩阵。这一过程可以通过奇异值分解（SVD）方法实现。
实施例中优选的，步骤S3中，所述低秩矩阵逼近采用奇异值分解方式实现：对每个角度的二维光场图像的亮度图矩阵I进行奇异值分解，即
其中，是由奇异值/>从大到小排列而成的对角矩阵；
通过保留奇异值较大的部分，截断奇异值矩阵，产生一个低秩的对角矩阵/>，其中K是保留的奇异值数量，因此可得低秩矩阵的逼近结果：
。
而高光信息通常被包含在剩余的高秩部分，即。
上述中保留的奇异值数量k的选择由对实际场景采集的含高光图像进行确定。具体而言，可选择两个定量指标之一刻画奇异值的保留程度。实施例具体优选的，奇异值数量K的选择方式采用以下方式：保留总奇异值能量的80%~95%，该能量贡献比的表达式为
或，选择保留大于特定阈值T的奇异值，即
通过迭代优化上述参数，在生成的图像质量和高光去除效果达到最优时停止迭代，进而控制高光的分离效果，较小的奇异值通常对应于图像中的高光信息。
进一步地，步骤S4中，所述提取采用加速鲁棒特征（Speeded Up RobustFeatures，SURF）提取每个角度的去强光后强度图像的特征点和特征向量。
首先采用加速鲁棒特征提取每个角度的去强光后强度图像的特征点和特征向量，该算子通过比较Hessian矩阵行列式的大小来选择特征点的位置和尺度，并基于图像局部的梯度，分配给每个候选点一个或多个方向，从而在其邻域内表示经高斯加权后的局部梯度作为特征向量。此后，选定特征点最多的图像作为基准图像，然后依次将其他角度的图像融合至该图像上，从而形成完整的清晰图像。
所述匹配筛选过程为：基于对源图像和待融合图像特征之间的基于快速最近邻搜索包的匹配。
采用优先搜索k-means树方法以达到较高的精度，令源图像的特征向量集合为D，算法涉及的分枝数为K，最大迭代次数为Imax，树的初始层数为T=0，检测点计数最大值为L，其流程为：
1、建立源图像的优先搜索k-means树
（1）建立树的根节点；
（2）在特征维数空间上随机生成K个向量作为初始中心，对D内的每个特征按照与其欧氏距离最近的中心向量归为K类，将每类中的特征向量求平均值作为该类新的中心向量。然后重新按照欧氏距离最近的原则将D中的点归为K类。重复这一过程直到由平均值得到的新的中心向量与归类时采用的中心向量完全相同，或者迭代次数达到Imax；
（3）对（1）中最终产生的聚类结果中的每一类，将其中心向量添加为树的T层节点。如果此类中的特征向量数小于K，则将此类的所有特征向量添加为由中心向量节点发出的T+1层叶子节点；否则T←T+1，对此类中的特征向量作为新的特征集D返回执行（2）。
2、根据待匹配的特征向量Q（来自待融合图像）搜索该优先搜索k-means树
（1）从树的根节点开始搜索，令当前节点为N，建立两个空队列PQ和R，令检测点计数变量为count=0；
（2）如果N是叶子结点，则将同层的叶子结点加入到队列R中，并且使count变量增加加入的数量；如果N不是叶子结点，则将它的子节点与Q比较以找到最近的子节点Cq，其余子节点的集合为Cp。将Cp全部加入队列PQ。然后将Cq节点作为新的N重复执行此步骤。
（3）如果N不是根节点，并且PQ是空的或者检测点计数变量count已经达到或超过了设定最大值L，取R中的第一个向量作为匹配得到的特征向量。否则，取队列PQ的第一个节点作为新的N返回执行步骤（2）。
采用随机采样一致算法对匹配的特征进行筛选，从而计算单应性矩阵；该流程可概述为：从匹配的特征点对集中随机提取四个不共线的点对，计算单应性矩阵，并计算所有点对在该单应性矩阵下的投影误差，在误差最小时求得的单应性矩阵则为最优的单应性矩阵。
将单应性矩阵施加在源图像上，并与待融合图像进行相加，其中重叠部分求平均，即可获得融合图像。对所有图像进行依次融合，该人工智能算法的运行时间可满足实时性要求。
综上所述，提出的程序流程可直接将普通相机采集的编码光场图像重建的最终结果显示在屏幕上，该结果来自于去高光的不同角度的光场图像序列的融合。
本发明对内窥镜提出的改进亦可应用于其他存在镜面反射高光的系统。
在光场成像部分，余弦强度掩膜3和成像传感器2的距离可根据实际情况进行调整，从而产生不同数量和角度分辨率的光场图像。基于光场成像的目的，采用基于微透镜阵列或可调焦透镜的任何光场相机均可实现相同的功能。
所采用的光纤面板设备基于实现与掩膜与传感器的良好集成这一目的，理论上可以替代为其他任何传像或中继成像装置，甚至可以去除。将余弦强度掩膜以任何形式固定于传感器前端均可视为与本发明等效。
在低秩矩阵逼近和图像融合步骤中，所采用的人工智能算法在理论上可以替代为其他任何图像去高光和融合算法，包括但不限于基于图像特征的机器学习算法或者基于深度学习的算法，参数亦可根据实际情况进行调整。
本发明的内窥镜可以实现在不同采集环境下具有高度普适性，在不同条件下，对于来自各个可能角度的反射高光，均可进行角度的分离和自适应的消除，同时不影响图像的清晰结构；对内窥镜的每帧成像采集，实时地重构其对应的高光去除后的图像，不需要多次采集同时输入，不损失采集帧率；仅需对通用的内窥镜成像系统进行有限和简单的调整，即在普通传感器的前端增加一个余弦强度掩膜，即可由算法流程重建去高光图像，无需对光源和镜头进行任何改变，无需选择特殊的高精度传感器或添置微透镜等设施，无需额外的人工操作干预，保持了通用内窥镜固有的全部优势；提出的方法可以在有限的改动下应用于多种不同的临床场景，仅需根据实际情况调整采用掩膜的尺寸、精度、与传感器的距离和人工智能算法参数即可。
本发明中的具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，包括内窥镜本体和图像处理单元，所述内窥镜本体内部的镜头（1）和成像传感器（2）之间设置余弦强度掩膜（3）；所述图像处理单元的处理过程包括：
S1、光场成像：采集成像传感器成像的每帧二维图像，将每一二维图像经余弦函数傅里叶变换获得包含空间和角度信息的多个光场频谱区域，所述多个光场频谱区域在空间维上紧密连接且无重叠；
S2、光场重构：将多个光场频谱区域在空间维上进行拼接，获得多个角度的二维频谱图像，再对其进行傅里叶反变换，获得多个角度的二维光场图像；
S3、低秩矩阵逼近：对每个角度的二维光场图像进行低秩矩阵逼近，获得不同角度的去高光图像；
S4、图像融合，提取每个角度的去高光图像的特征点和的特征向量，匹配筛选最优去高光图像作为基准图像，将其他角度的去高光图像依次融合至该图像上，即获得融合图像，输出显示。
2.根据权利要求1所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，余弦强度掩膜形式采用胶片、菲林片、玻璃铬版或空间光调制器。
3.根据权利要求1所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，步骤S1中，经过余弦函数傅里叶变换后，其频谱分布为
，
其中为空间频率，/>为由余弦函数产生的频谱复制次数，/>为基频。
4.根据权利要求3所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，单一维度的频谱分布为
。
5.根据权利要求4所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，以镜头光阑与样本像面的距离为余弦强度掩膜与样本像面的距离为/>，所述余弦强度掩膜的光学调制函数为
；
其中
，
分别为二维光场的空间频率和角频率；
设内窥镜成像传感器采集的二维图像对应的频谱分布为，则经过余弦强度掩膜调制后的频谱分布为
；
即经过余弦函数的调制，光场具有个重复的频谱分量，并沿着斜率为/>的直线为中心进行分布。
6.根据权利要求5所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，所述多个光场频谱区域在空间维上紧密连接且无重叠的条件为：设成像传感器的角度带宽为，镜头分辨率的空间频率上限为/>满足
，
且满足
7.根据权利要求1所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，步骤S3中，所述低秩矩阵逼近采用奇异值分解方式实现：对每个角度的二维光场图像的亮度图矩阵I进行奇异值分解，即
其中，/>是由奇异值/>从大到小排列而成的对角矩阵；
通过保留奇异值较大的部分，截断奇异值矩阵，产生一个低秩的对角矩阵/>，其中K是保留的奇异值数量，因此可得低秩矩阵的逼近结果：
。
8.根据权利要求7所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，奇异值数量K的选择方式采用以下方式：保留总奇异值能量的80%~95%，该能量贡献比的表达式为
或，选择保留大于特定阈值的奇异值，即
通过迭代优化上述参数，在生成的图像质量和高光去除效果达到最优时停止迭代。
9.根据权利要求1所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，步骤S4中，所述提取采用加速鲁棒特征提取每个角度的去高光图像的特征点和特征向量。
10.根据权利要求1所述的基于自适应光场重建和低秩分解的去高光内窥镜，其特征在于，步骤S4中，所述匹配筛选过程为：对源图像和待融合图像特征之间基于FLANN进行匹配；
采用RANSAC对匹配的特征进行筛选，计算单应性矩阵；
将单应性矩阵施加在源图像上，并与待融合图像进行相加，其中重叠部分求平均，即可获得融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410593065.5A CN118172266A (zh) | 2024-05-14 | 2024-05-14 | 一种基于自适应光场重建和低秩分解的去高光内窥镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410593065.5A CN118172266A (zh) | 2024-05-14 | 2024-05-14 | 一种基于自适应光场重建和低秩分解的去高光内窥镜 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118172266A true CN118172266A (zh) | 2024-06-11 |
Family
ID=91360842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410593065.5A Pending CN118172266A (zh) | 2024-05-14 | 2024-05-14 | 一种基于自适应光场重建和低秩分解的去高光内窥镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118172266A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041504A (ja) * | 2005-06-27 | 2007-02-15 | Sony Corp | ３次元像表示装置 |
| WO2020157754A1 (en) * | 2019-01-30 | 2020-08-06 | Technology Innovation Momentum Fund (Israel) Limited Partnership | System and method for reconstruction of compressed signal data using artificial neural networking |
| CN112508806A (zh) * | 2020-11-24 | 2021-03-16 | 北京航空航天大学 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
| WO2022001159A1 (zh) * | 2020-06-29 | 2022-01-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无监督高光谱图像隐低秩投影学习特征提取方法 |
| CN117221739A (zh) * | 2023-09-06 | 2023-12-12 | 合肥工业大学 | 一维调制高分辨率扫描式单像素成像方法及存储介质 |
-
2024
- 2024-05-14 CN CN202410593065.5A patent/CN118172266A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041504A (ja) * | 2005-06-27 | 2007-02-15 | Sony Corp | ３次元像表示装置 |
| WO2020157754A1 (en) * | 2019-01-30 | 2020-08-06 | Technology Innovation Momentum Fund (Israel) Limited Partnership | System and method for reconstruction of compressed signal data using artificial neural networking |
| WO2022001159A1 (zh) * | 2020-06-29 | 2022-01-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无监督高光谱图像隐低秩投影学习特征提取方法 |
| CN112508806A (zh) * | 2020-11-24 | 2021-03-16 | 北京航空航天大学 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
| CN117221739A (zh) * | 2023-09-06 | 2023-12-12 | 合肥工业大学 | 一维调制高分辨率扫描式单像素成像方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019431299B2 (en) | AI systems for detecting and sizing lesions | |
| US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
| US7664300B2 (en) | Uterine cervical cancer computer-aided-diagnosis (CAD) | |
| CN111308690B (zh) | 一种光场电子内窥设备及其成像方法 | |
| CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| Masmoudi et al. | Optimal feature extraction and ulcer classification from WCE image data using deep learning | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| Schiffers et al. | Synthetic fundus fluorescein angiography using deep neural networks | |
| JPH03165732A (ja) | 内視鏡の暗部領域の検出方法 | |
| CN117314754B (zh) | 一种双摄超光谱图像成像方法、系统及双摄超光谱内窥镜 | |
| Yang et al. | Endoscopic image deblurring and super-resolution reconstruction based on deep learning | |
| CN109068035A (zh) | 一种智能微相机阵列内窥成像系统 | |
| Lange et al. | Computer-aided-diagnosis (CAD) for colposcopy | |
| CN118172266A (zh) | 一种基于自适应光场重建和低秩分解的去高光内窥镜 | |
| CN115994999A (zh) | 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 | |
| Jimenez-Martin et al. | Specular reflections removal in colposcopic images based on neural networks: Supervised training with no ground truth previous knowledge | |
| CN115245312A (zh) | 内窥镜多光谱图像处理系统及处理和训练方法 | |
| CN112200726A (zh) | 基于无透镜显微成像的尿沉渣有形成分检测方法及系统 | |
| Zhao et al. | Perception-oriented generative adversarial network for retinal fundus image super-resolution | |
| Jahnavi et al. | Segmentation of medical images using U-Net++ | |
| CN108765473B (zh) | 全高清3d电子腹腔镜系统的图像配准方法 | |
| Dayananda | Novel Convoluted local energy oriented patten (CLEOP) for the classification of wireless capsule endoscopy images | |
| Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations | |
| Zhu et al. | Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |