CN117576103B - 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统 - Google Patents

集成电控显微镜和深度学习算法的尿沉渣镜检分析系统 Download PDF

Info

Publication number
CN117576103B
CN117576103B CN202410065088.9A CN202410065088A CN117576103B CN 117576103 B CN117576103 B CN 117576103B CN 202410065088 A CN202410065088 A CN 202410065088A CN 117576103 B CN117576103 B CN 117576103B
Authority
CN
China
Prior art keywords
image
network
microscope
deep learning
urinary sediment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410065088.9A
Other languages
English (en)
Other versions
CN117576103A (zh
Inventor
许迎科
朱云奇
杨海旭
陈瑜
杨大干
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binjiang Research Institute Of Zhejiang University
Zhejiang University ZJU
Original Assignee
Binjiang Research Institute Of Zhejiang University
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binjiang Research Institute Of Zhejiang University, Zhejiang University ZJU filed Critical Binjiang Research Institute Of Zhejiang University
Priority to CN202410065088.9A priority Critical patent/CN117576103B/zh
Publication of CN117576103A publication Critical patent/CN117576103A/zh
Application granted granted Critical
Publication of CN117576103B publication Critical patent/CN117576103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,包括:电控显微镜,用于对尿沉渣样片进行图像采集和预处理;目标检测模型,与电控显微镜连接,包括骨干网络、颈部网络与头部网络,以接收电控显微镜预处理后的图像,之后通过骨干网络负责对输入的图像进行特征提取,颈部网络负责融合多尺度的特征信息,并将信息传递至头部网络;头部网络负责将抽象的特征信息整合为目标检测所需的边界框以及置信度信息,并经由后续算法进行后处理和统计,完成尿沉渣样片的分析。本发明的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,结合电动显微镜(如永新N300M)实现了对尿沉渣样片的自动扫描、拍摄和检测分析并形成最终检验报告。

Description

集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
技术领域
本发明涉及一种尿沉渣镜检分析系统,更具体的说是涉及一种集成电控显微镜和深度学习算法的尿沉渣镜检分析系统。
背景技术
尿沉渣镜检技术是一种常见且重要的临床检验方法,用于评估尿液中固体成分的存在和特征。通过对患者的尿液样本进行离心、制片并在显微镜下观察,尿沉渣镜检技术能够提供有关尿液中各种细胞、晶体、细菌、真菌和其它颗粒的信息,与正常参考值比对后即可得到数量异常的成分信息。这可以为医生提供许多有价值的信息,对于诊断和监测泌尿系统疾病、肾脏疾病、尿路感染、尿路结石等非常重要。
目前的尿沉渣镜检技术是由经过专业培训的实验室技术人员手动操作完成的。操作者需要首先调整显微镜的曝光和焦距,以方便后续观察;之后使用低倍物镜(如:4倍或10倍)获取尿沉渣整体的信息并观察大尺寸物体(如:管型)的种类和密度信息;在完成对样片整体情况的分析后,使用高倍物镜(如:40倍或100倍)进行详细的观察,记录较小尺寸的目标(如:红细胞、白细胞、细菌、真菌、结晶、上皮细胞)的数量、形态、聚集情况等,高低倍镜下观察到的成分根据临床诊断的重要性,有些需要记录精细的分类结果(比如:上皮细胞中的肾小管上皮细胞、不同类别的管型、真菌的菌丝等),有些仅需要记录大类名称(比如:白细胞);完成观察后,操作者根据观察结果将各有形成分的数量进行统计并形成尿沉渣分析报告,包含各种成分的密度(如:5个红细胞/低倍镜视野)。人工尿沉渣镜检面临的主要困难有以下三点:
观察时间窗有限。由于部分尿沉渣成分置于体外环境后随着时间推移会逐渐改变形态,如:细胞发生萎缩和破裂,使其形态变得模糊甚至无法区分;细菌和真菌可能会继续增殖和生长,造成对其数量和生长状态的误判;部分结晶和管型会溶解,使其形态难以辨别。为了对尿沉渣各成分做出准确的评估,各医院往往要求工作人员在需要在较短的时间内(比如30分钟内)完成对尿沉渣样片的观察、分析和统计。这不仅需要操作员极其熟悉显微镜的各项操作,更是对操作员专业技能的极大挑战。
成分识别的主观性强。尿沉渣的解读和判定是基于人工观察和经验判断的,因此存在主观因素干扰的风险。不同的操作员可能对同一样本有不同的解读,这可能会对结果的一致性和可靠性产生影响。比如尿沉渣中的红细胞具体可分为正常红细胞、小红细胞、皱缩红细胞、棘红细胞等。正常红细胞和小红细胞往往只有尺寸上的差别,在较短的观察时间内操作员只能大致地判断样本中红细胞的尺寸是否存在异常;而皱缩红细胞和棘红细胞在显微镜下形态均为外表有突起的椭圆形物体,但两者的临床意义并不相同,而类似的形态相似但临床意义不同的物体在尿沉渣中非常常见,而检测时间的限制使得操作员对这些物体只能采取较为主观的判别方法,所以极易引起误判。
尿沉渣镜检任务内容繁重。尽管由于尿沉渣样品自身的性质限制了检测时间,但是这并不意味着尿沉渣镜检的任务量不高。相反,操作员最多需要同时对几十种不同形态的成分进行识别和计数,在时间的限制下往往导致分析结果不全面、不精准,进而影响疾病的判断。
为了缓解人工尿沉渣镜检的压力,目前已有多种自动处理和分析尿液样本的机器或检测方法被提出,使得医疗机构能够更快速、准确地获取尿液检测结果。然而目前这些自动检测的方式并不能完全替代人工镜检,大部分医疗机构仍然会选择人工镜检的方式而非自动化机器。下面列出了几类常见的自动检测方式及它们存在的缺陷:
干化学尿分析。通过与不同沉渣成分所含的生物酶发生显色反应,检测员可以根据干化学试制的变色情况或使用自动化的比色仪器测得尿液中不同成分的含量。比如红细胞种含有的过氧化物酶可将无色的底物氧化为有色化合物。干化学分析将微观的成分通过显色的方式直观地显现出来,但是其检测范围较小,且易受各种因素干扰而出现假阳性和假阴性,只能作为“过筛”的方法。
流式细胞法尿沉渣分析仪。这种尿沉渣分析仪应用了流式细胞和电阻抗原理,将原本的尿液染色后将每个沉渣成分以单个纵列的形式通过流动池的中心轴线,并被激光光束照射。仪器将每个成分发出的荧光、散射光和电阻抗信号转变成电信号并根据这些信息来区分每种成分及其形态。流式法的缺点在于对于一些成分的精细分类(比如:管型和小圆上皮细胞的具体类别)仍需通过镜检确定,而流式细胞仪昂贵的维护成本和复杂的使用方式使得该方法很难被推广使用。
数字图像分析法。因为尿沉渣成分在显微镜下具有可被观测的形态差异,所以可以利用计算机技术和图像处理算法,对尿沉渣中的细胞、晶体等进行自动识别、计数和分类。但是这类方法目前无法达到完全的自动化检测,往往是辅助操作员进行判断。比如操作员对图像中某块内容选择后,使用机器学习分类模型评估其具体为哪一类成分;又比如使用目标检测和图像分割的方法将一整个视野中所有可能的成分进行识别,然而具体的视野选取以及分析操作仍然需要操作员手动获取。尽管如此,随着机器学习技术的不断发展,这类技术的准确性和检测速度较传统方法已有显著的提升。
传统的非深度学习的数字图像处理算法往往只能解决一部分问题,比如Canny算法和分水岭算法可用于图像的分割,而聚类算法则能实现图像的分类。由于尿沉渣一般是混乱地分散在显微视野中,所以可以级联使用分割+分类算法实现对一张显微视野下的尿沉渣成分进行检测。然而传统图像算法存在诸多不便,比如需要人为根据检测质量调整算法的超参数(比如:分水岭算法需要手动确定测地距离阈值);其次这些算法时间复杂度较高、并行度较低,在处理高分辨率的图像数据时消耗很多时间,有时必须要将图片缩放后才可进行操作,导致了部分信息损失(比如:主成分分析需要将所有图像合并为矩阵后进行操作,会消耗大量内存);另外,分段式的检测结构还会因为误差的积累导致实际检测不理想,且系统调整较为复杂。
近年来使用深度学习处理图像型数据的技术已经越来越完善。与传统机器视觉算法大多依靠人为调整算法参数来提高检测精度相比,深度学习算法充分利用了大型数据集中的先验知识并通过迭代训练的方式不断提高分析精度。应用于尿沉渣显微图像分析的深度学习方法可分为图像分类、目标检测和图像分割三类。基于深度学习的图像分类任务往往利用了深度卷积神经网络作为特征提取器和分类器,通过对大量人工提取和标注了类别的尿沉渣成分数据进行训练得到。与传统分类算法相比,深度学习分类算法不仅在精度上更加优异,而且由于并行性高,使用GPU加速运算的神经网络在速度上能超过大部分传统算法。
尽管在速度和精度上均超过了传统方法,但是分类算法在实际使用时仍然需要操作员手动提取待分类区域,无法直接对整个视野的成分做直接的分析。而目标检测与图像分割则是利用神经网络对图像编码后输出每一类物体的边界,实现了端到端的图像分析。目前的分割与检测算法大多数依赖监督学习,即均需要合理标注的数据,而图像分割数据的标注难度远超目标检测,特别是在显微图像中,由于离焦现象的广泛存在,以及部分显微成分的边缘特征由于光路散射等原因较难辨别,都会导致尿沉渣分割的数据标注较为困难。其次,尿沉渣分析任务的检测指标为每类成分的含量,无需精确地获取每个成分的边缘。基于以上原因,深度学习分割算法在尿沉渣分析任务中实施起来较为困难。
与分类和分割相比,目标检测算法既能较为精确地定位尿沉渣显微成分,又能实现端到端的图像分析,所以在近年来也被用于尿沉渣分析任务中。基于深度学习的目标检测任务需要经过矩形框标注的图像数据,标注难度较低。训练完成的目标检测模型可直接用于推理显微摄像机捕获的图像并输出各类目标的边界框和置信度信息。然而在实际使用时目标检测算法仍存在诸多难点。首先是显存限制导致输入网络的数据需要经过压缩处理,导致图像细粒度信息丢失,部分小尺寸目标检测困难提升;另外尿沉渣检测需要使用不同放大倍率下的视野以提升分析效率(比如低倍镜下观察管型,高倍镜下观察细胞),而由于高倍镜下尿沉渣成分的种类较为丰富,且物体信息较为明显,大部分的相关工作仅对高倍镜下的数据进行训练,导致其分析低倍镜图像时精度较差,而且大尺寸物体的检测效率也会下降。
总的来说当前技术的问题在于:
人工镜检作为使用最广泛的尿沉渣分析方式,可在较短时间内实现高精度的分析结果。然而由于镜检任务繁重,在面对内容复杂的样本时操作员很难做到精确且全面地分析每种成分的含量。
干化学分析和流式细胞分析等非镜检方式可获取某些尿沉渣类别的浓度,但是仍需通过镜检来对具体成分做精细的分类和核查,并且由于评判的指标较为单一无法获取成分的形态信息,容易出现假阴性和假阳性。
传统机器视觉算法可作为人工镜检的辅助手段使用,可实现有形成分的边界分割以及分类。但是识别时间较长,精度不稳定,且难以利用数据集中可学习的特征信息进一步完善算法。
深度学习图像分类算法较传统分类算法的分类精度大幅提高,且在GPU加速下推理速度更快,在训练时只需要提供类别标注的数据,标注难度较低。但是分类算法需要操作员手动选取待分类区域,无法完成端到端的检测任务。
深度学习分割算法可以对尿沉渣成分的具体位置进行定位,并计算出每个成分精细的边框位置,然而分割训练要求同样精细标注的数据,标注难度较高,且尿沉渣分析任务没有过高的成分轮廓提取需求。深度学习目标检测算法可以利用简单的标注实现较为精确的成分识别功能,进一步实现尿沉渣样片各成分含量的总体分析。然而在实际使用时目标检测算法容易受困于不同倍率下视野图像性质的差异及各成分的尺度差异导致对不同倍率图像的检测精度波动较大。
发明内容
针对现有技术存在的不足,本发明的目的在于提供一种将基于深度学习的目标检测算法和电控显微镜相结合,发明了具备视野自动选取、拍摄参数矫正、沉渣成分检测并形成检测报告的智能尿沉渣镜检系统。
为实现上述目的,本发明提供了如下技术方案:一种集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,包括:
电控显微镜,用于对尿沉渣样片进行图像采集;
目标检测模型,与电控显微镜连接,包括图像预处理、骨干网络、颈部网络与头部网络,以接收电控显微镜输入的图像进行预处理,之后通过骨干网络负责对预处理后的图像进行特征提取,颈部网络负责融合多尺度的特征信息,并将信息传递至头部网络;头部网络负责将抽象的特征信息整合为目标检测所需的边界框以及置信度信息,并经由后续算法进行后处理和统计,完成尿沉渣样片的分析;
其中,图像预处理分为两部分:尺寸缩放和像素标准化,采用双线性插值算法将图像保留宽高比地缩放至1280*X的大小,之后进行像素标准化处理。
作为本发明的进一步改进,所述电控显微镜进行图像采集的具体步骤如下:
步骤一,进行路径规划,将尿沉渣样片放于电动载物台的制定区域内,使用低倍镜对玻片进行连续扫描,确定并记录盖玻片边缘位置,根据该范围选取10个均匀分布的待检测区域,后续以“之”字形路径进行连续拍摄任务,在完成低倍镜拍摄后切换高倍镜,根据范围选取20个均匀分布的待检测区域,以相同的方式进行拍摄;
步骤二,自动对焦,采用Tenengrad梯度函数对当前画面的x和y方向梯度进行加权求和,并使用电控载物台以一定间隔在当前平面上下选取数个位置分别求清晰度,最后移动至清晰度最高的位置进行拍摄;
步骤三,图像捕获,在步骤一路径规划时先将物镜移动至空白处进行白平衡校正,后续拍摄时色调参数不进行修改,在对焦完成后,根据光场情况、前景复杂度以及物体移动速率进行自动曝光调整后捕获图像,完成图像采集。
作为本发明的进一步改进,所述模型进行像素标准化处理的步骤如下:
通过以下公式对图像每个通道的像素值进行标准化:
其中,O为标准化后图像,I为像素归一化后的图像,为RGB三个颜色通道各自的像素均值,/>为三通道各自像素标准差,均值与标准差均由目标检测使用的训练数据计算得到。
作为本发明的进一步改进,所述颈部网络中引入了CoordAttention注意力模块,以在多尺度信息融合的同时,将输入的特征图信息分解为两个不同方向的一维特征向量,在保留精确特征信息的同时加强了网络对长程信息的捕获能力。
作为本发明的进一步改进,所述目标检测模型训练的过程中还包括有优化步骤,该优化步骤具体为:在边界框回归损失函数的选取上,将原模型使用的CIoU替换为Focal-EIoU损失,在参数优化方式上,使用简化的最优传输标签分配策略SimOTA替换原分配策略进行正样本的分配。
作为本发明的进一步改进,所述目标检测模型包括低倍镜下训练的目标检测模型和高倍镜下训练的目标检测模型,所述低倍镜下的模型检测目标为管型,所述高倍镜下的模型检测目标为红细胞、白细胞、结晶、真菌孢子、真菌菌丝、细菌、上皮细胞。
作为本发明的进一步改进,所述目标检测模型的训练步骤如下,首先根据相关尿沉渣镜检的分类依据,结合实际数据集的标签空间,得到一个通用标签空间,每个数据集对应的标签空间为/>,之后根据两者的关系建立映射关系/>,使得各数据集的标签空间与通用标签空间能够相互转换,然后将各数据集的数据打乱后同时放入模型进行训练,并在头部网络输出时,根据各数据集的标签空间分布情况输出各数据集独立的结果,然后将结果映射至通用标签空间,之后,根据各标签的密度进行归一化,并重新映射至正确的数据集中进行损失函数的计算和模型参数的优化。
本发明的有益效果:
1:将基于深度学习的目标检测模型Yolov5m应用于实际尿沉渣检测任务中,并根据数据特点进行了针对性改进,使用单独的网络预测低倍镜下的管型成分,在检测高倍镜下的成分时采用了多种技术提高了小尺寸目标的检测性能;
2:获取的尿沉渣图像均取自真实检测环境,拍摄环境、内容与风格各异,且具有较高的图像分辨率和较低的压缩倍率,训练出的尿沉渣检测模型具有较高的泛化性和鲁棒性。使用该模型进行尿沉渣检测,可以免去复杂的图像预处理和规范化过程;
3:使用电控显微镜完成低+高背景视野图像顺序采集的设计思路,充分融合低倍镜视野范围大和高倍镜成分清晰度高的优势,与现有技术相比增加了低倍镜图像处理步骤;
4:将深度学习目标检测模型与电控显微镜图像采集进行融合,完成了自动化程度较高的尿沉渣成分检测系统,拥有自由度较高的调整空间,适合不同医疗机构对尿沉渣检测任务的需求,具有较高的商业价值和开发潜力。
附图说明
图1为本发明的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统的运行流程图;
图2为SeDe-Yolo模型结构图;
图3为骨干网络和颈部网络以及检测头的结构示意图;
图4为切片重检小目标流程图;
图5为各尿沉渣成分平均准确率示意图;
图6为目标检测模型的架构示意图。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
参照图1至6所示,本实施例的一种集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,将基于深度学习的目标检测算法与电动显微镜相结合,提出一种自动化的尿沉渣显微图像检测方法,包括以下步骤:路径规划、自动对焦、图像捕获、数据预处理、目标检测、成分统计。其中前三项为电控显微镜的设计,后三项为检测算法的设计,算法总体流程如图1所示。
路径规划
将尿沉渣样片放于电动载物台的制定区域内,使用低倍镜对玻片进行连续扫描,确定并记录盖玻片边缘位置,根据该范围选取10个均匀分布的待检测区域,后续以“之”字形路径进行连续拍摄任务。完成低倍镜拍摄后切换高倍镜,根据范围选取20个均匀分布的待检测区域,以相同的方式进行拍摄。
自动对焦
判断样品是否在焦平面主要依靠清晰度算法,本发明采用Tenengrad梯度函数对当前画面的x和y方向梯度进行加权求和,并使用电控载物台以一定间隔在当前平面上下选取数个位置分别求清晰度,最后移动至清晰度最高的位置进行拍摄。
图像捕获
在路径规划时先将物镜移动至空白处进行白平衡校正,后续拍摄时色调参数不进行修改。在对焦完成后,根据光场情况、前景复杂度以及物体移动速率等进行自动曝光调整后捕获图像。
图像预处理
图像预处理主要分为两部:尺寸缩放和像素标准化。由于目标检测模型对计算资源尤其是GPU显存的消耗,高分辨率的图像无法直接放入网络进行计算。本发明使用双线性插值算法将图像保留宽高比地缩放至1280*X的大小(X为小于等于1280的数值),然后用式1对图像每个通道的像素值进行标准化:
其中,O为标准化后图像,I为像素归一化后的图像(即将原始像素值除以动态范围),为RGB三个颜色通道各自的像素均值,/>为三通道各自像素标准差,均值与标准差均由目标检测使用的训练数据计算得到。
目标检测算法设计
目标检测模型设计是本发明最重要的组成部分。本发明在通用检测器Yolov5m的基础上进行增改,根据尿沉渣图像的特征以及实验结果提出了SeDe-Yolo的网络结构和算法模式。
模型结构与改进
本发明所使用的目标检测模型主要分为三个部分:骨干网络、颈部网络与头部网络。骨干网络负责对输入的图像进行特征提取,主要有由多个级联的卷积层构成,并随深度的增加逐渐提升通道数以及降低特征图尺寸,形成多尺度的特征提取结果;颈部网络负责融合多尺度的特征信息,并将信息传递至头部网络;头部网络负责将抽象的特征信息整合为目标检测所需的边界框以及置信度信息,并经由后续算法进行后处理和统计。
其中,针对尿沉渣目标检测网络的训练,本实施例提出了一种创新的多数据集联合训练方法。传统的目标检测方法通常只使用单一数据集进行网络训练。然而,在实际医疗机构的尿沉渣检测过程中,由于检测设备的差异以及检测流水线的要求不同,获取到的尿沉渣显微图像以及得到的标签种类(比如分类和标注的细致程度)会有较为明显的差异。
一般来说,基于尿沉渣的目标检测算法能够针对某一特定数据集(比如某家医院获取的数据)进行高精度的推理。然而,由于图像差异以及标签空间不匹配的问题,当前数据集训练的网络往往无法直接迁移至另一个数据集(即另一家医疗机构)。由于多个数据集间标签空间的不均一性,直接混合数据进行训练会存在一些障碍。因此,我们提出了多数据集联合训练的方法,通过各自独立的检测输出得到不同数据集的检测结果,并设计了通用标签空间以整合来自不同数据集的标签信息,旨在充分利用多种来源的数据进行训练,扩充样本空间,使得模型更具泛化性和鲁棒性,并且克服某些数据集样本量较少的困难,得到更具通用性的尿沉渣目标检测模型。
我们成功地实现了将来自不同来源的尿沉渣数据集进行统一训练,并且得到的模型较基于单一数据集的训练结果具有更高的准确度和泛化性,其主要优势如下:
更广泛的数据表示:使用多数据集联合训练的方法可以收集来自不同来源的数据,这些数据可能包含了更广泛的尿沉渣目标的表示。通过使用多个数据集,我们可以获得更多样化和全面的数据样本,从而提高了网络对不同目标特征的识别能力。
更强大的非均一标签空间利用能力:使用经过设计的通用标签空间将来自不同数据集的输出进行整合处理,实现了多源数据集的共同训练与优化,克服了数据集间标签空间非均一导致的训练困难问题。
更强的泛化能力:多数据集联合训练的方法能够帮助网络更好地理解和适应来自不同来源的数据。这种训练方式可以减少模型对特定数据集的依赖,提高了网络的泛化能力,使其能够在不同的测试数据集上表现良好。
更高的模型鲁棒性:通过使用多个数据集进行训练,我们可以增加网络对噪声、变形、光照等因素的鲁棒性。这种方法可以使网络更好地适应现实世界中各种复杂场景下的尿沉渣图像,从而提高了目标检测的稳定性和可靠性。
更优的资源利用效率:通过使用多数据集联合训练的方法,我们可以使用同一个目标检测网络预测不同数据集中的数据,而非传统任务中针对每一个数据集都要训练一个网络,从而提高计算和存储资源利用率。
为了实现多数据集联合训练,我们首先根据相关尿沉渣镜检专家的共识以及高引用文献中的分类依据,结合实际数据集的标签空间,得到一个通用标签空间。每个数据集对应的标签空间为/>,并根据两者的关系建立映射关系/>,使得各数据集的标签空间与通用标签空间能够相互转换。(如图6所示)
在网络训练阶段,我们将各数据集的数据打乱后同时放入模型进行训练。在头部网络输出时,根据各数据集的标签空间分布情况输出各数据集独立的结果,然后将结果映射至通用标签空间。之后,根据各标签的密度进行归一化,并重新映射至正确的数据集中进行损失函数的计算和模型参数的优化。
通过这种多数据集联合训练的方法,我们能够充分利用多种来源的数据进行训练,提高尿沉渣目标检测模型的性能和泛化能力。同时,我们的方法还能够更好地适应不同数据集的特点,增强模型的鲁棒性和稳定性,以及提高计算和存储资源的利用效率。
在常规模型的基础上,本发明基于尿沉渣显微图像的特征进行了结构上的进一步改进。本发明在颈部网络中引入了CoordAttention注意力模块(如图2至图3),在多尺度信息融合的同时,将输入的特征图信息分解为两个不同方向的一维特征向量,在保留精确特征信息的同时加强了网络对长程信息的捕获能力。
模型训练策略调整
在对目标检测模型训练的过程中,我们根据实验结果以及数据特征对通用检测器使用的部分训练策略进行了优化。在边界框回归损失函数的选取上,我们将原模型使用的CIoU替换为了对边界框宽高绝对值更加严格,且训练过程更加高效的Focal-EIoU损失;在参数优化方式上,我们使用了简化的最优传输标签分配策略SimOTA(Optimal TransportAssignment)替换原分配策略进行正样本的分配。损失函数和样本分配策略的调整均只影响模型的训练过程,有利于得到更加精准的尿沉渣目标检测模型。
小目标切片复检策略
在尿沉渣检测过程中,小尺寸目标往往是检测的难点。本发明根据网络的输出结果,在疑似含有小目标的区域实行进一步的切片复检策略以进一步提高检测精度(如图4),充分地利用了尿沉渣图像的细粒度信息,有效提升了容易被忽视的小尺寸目标的检测能力。
本发明分别在低倍镜和高倍镜下使用两个分别训练的目标检测模型进行推理。低倍镜下的模型检测目标为管型(透明管型、颗粒管型、细胞管型),高倍镜下的模型检测目标为红细胞、白细胞、结晶、真菌孢子、真菌菌丝、细菌、上皮细胞等7类。
成分统计
在检测模型完成推理后,系统会将推理结果以图片形式存储至计算机指定区域,然后将30个视野下检测到的内容进行整合后给出检验报告。除管型给出的报告为n个/LP(低倍镜视野)外,其余成分均为n个/HP(高倍镜视野)。
综上所述,本发明将现有目标检测算法的网络架构和训练模式根据尿沉渣数据特点进行了改良,并结合电动显微镜(如永新N300M)实现了对尿沉渣样片的自动扫描、拍摄和检测分析并形成最终检验报告。
具体来说,针对现有相似技术存在的不足,本发明从高效多尺度视野检测、小尺寸成分检测增强、自动化显微系统适配三点出发,集成电动显微镜与深度学习目标检测算法的尿沉渣镜检智能分析系统,对样本中的有关成分进行准确快速的检测。
高效多尺度视野检测:大多数基于机器视觉算法的尿沉渣检测算法仅考虑高倍镜视野下的图像,这是因为大部分的有形成分的形态无法在低倍镜中获取。不过我们发现在人工镜检的过程中,低倍镜分析是十分重要的环节,这是因为管型这一成分的数量在低倍镜中更易被统计。所以在设计本系统的过程中,我们采用了高低倍镜分别采集检测的方案,先在低倍镜下完成各类管型的检测与统计,再使用高倍镜完成剩余成分的检测,有效提升了各类管型的检测精度和效率。
小尺寸成分检测增强:部分尿沉渣成分尺寸较小,例如:杆菌、孢子、部分结晶。这些物体在图像中的有效像素较少,同时在个别案例中小尺寸物体呈现聚集的现象,这导致目标检测算法在这些物体上的精度普遍较低。本发明在现有Yolov5m目标检测网络的基础上进行优化改进,对其训练策略和网络结构进行改进以提高小尺寸物体的检测准确率,形成了针对尿沉渣数据特色的目标检测算法SeDe-Yolo(SedimentDetect Yolo)(如图2至图3)。同时,本发明针对疑似含有小尺寸的图像区域进行切片复检,使用有限的计算资源进一步提高了小尺寸物体的检测精度。
自动化显微系统适配:目前已有较多基于图像算法进行尿沉渣检测的发明案例,也有许多使用成熟的目标检测模型辅助检测的成果,但是仅在图像算法层面给出高精度检测模型并不能有效提升尿沉渣镜检的自动化程度和检测速度,因为人工镜检的视野选取、曝光调整、对焦、物镜倍率调整等步骤也需要投入很大的精力。本发明将目标检测算法与自动化显微系统进行结合,将上述的显微镜操作过程完全自动化,在获取图像的同时进行目标检测推理,大大提高了尿沉渣镜检的自动化程度和速度。
本发明针对现有基于数字图像分析的尿沉渣检测方法中存在的不足,在现有目标检测网络Yolov5m的基础上进行改进形成了SeDe-Yolo。将之结合自动化显微系统,构建了自动化尿沉渣成分检测系统,对样本中存在的成分进行高精度快速识别,极具商业价值。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:包括:
电控显微镜,用于对尿沉渣样片进行图像采集;
目标检测模型,与电控显微镜连接,包括图像预处理、骨干网络、颈部网络与头部网络,以接收电控显微镜采集的图像进行预处理,之后骨干网络负责对预处理后的图像进行特征提取,颈部网络负责融合多尺度的特征信息,并将信息传递至头部网络;头部网络负责将抽象的特征信息整合为目标检测所需的边界框以及置信度信息,并经由后续算法进行后处理和统计,完成尿沉渣样片的分析;
其中,图像预处理分为两部分:尺寸缩放和像素标准化,采用双线性插值算法将图像保留宽高比地缩放至1280*X的大小,之后进行像素标准化处理;
所述电控显微镜进行图像采集的具体步骤如下:
步骤一,进行路径规划,将尿沉渣样片放于电动载物台的制定区域内,使用低倍镜对玻片进行连续扫描,确定并记录盖玻片边缘位置,根据该范围选取10个均匀分布的待检测区域,后续以“之”字形路径进行连续拍摄任务,在完成低倍镜拍摄后切换高倍镜,根据范围选取20个均匀分布的待检测区域,以相同的方式进行拍摄;
步骤二,自动对焦,采用Tenengrad梯度函数对当前画面的x和y方向梯度进行加权求和,并使用电控载物台以一定间隔在当前平面上下选取数个位置分别求清晰度,最后移动至清晰度最高的位置进行拍摄;
步骤三,图像捕获,在步骤一路径规划时先将物镜移动至空白处进行白平衡校正,后续拍摄时色调参数不进行修改,在对焦完成后,根据光场情况、前景复杂度以及物体移动速率进行自动曝光调整后捕获图像,完成图像采集。
2.根据权利要求1所述的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:所述模型进行像素标准化处理的步骤如下:
通过以下公式对图像每个通道的像素值进行标准化:
其中,O为标准化后图像,I为像素归一化后的图像,为RGB三个颜色通道各自的像素均值,/>为三通道各自像素标准差,均值与标准差均由目标检测使用的训练数据计算得到。
3.根据权利要求2所述的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:所述颈部网络中引入了CoordAttention注意力模块,以在多尺度信息融合的同时,将输入的特征图信息分解为两个不同方向的一维特征向量,在保留精确特征信息的同时加强了网络对长程信息的捕获能力。
4.根据权利要求3所述的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:所述目标检测模型训练的过程中还包括有优化步骤,该优化步骤具体为:在边界框回归损失函数的选取上,将原模型使用的CIoU替换为Focal-EIoU函数,在参数优化方式上,使用简化的最优传输标签分配策略SimOTA替换原分配策略进行正样本的分配。
5.根据权利要求4所述的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:所述目标检测模型包括低倍镜下训练的目标检测模型和高倍镜下训练的目标检测模型,所述低倍镜下的模型检测目标为管型,所述高倍镜下的模型检测目标为红细胞、白细胞、结晶、真菌孢子、真菌菌丝、细菌、上皮细胞。
6.根据权利要求5所述的集成电控显微镜和深度学习算法的尿沉渣镜检分析系统,其特征在于:所述目标检测模型的训练步骤如下,首先根据相关尿沉渣镜检的分类依据,结合数据集的标签空间,得到一个通用标签空间,每个数据集/>对应的标签空间为/>,之后根据两者的关系建立映射关系/>,使得各数据集的标签空间与通用标签空间能够相互转换,然后将各数据集的数据打乱后同时放入模型进行训练,并在头部网络输出时,根据各数据集的标签空间分布情况输出各数据集独立的结果,然后将结果映射至通用标签空间,之后,根据各标签的密度进行归一化,并重新映射至正确的数据集中进行损失函数的计算和模型参数的优化。
CN202410065088.9A 2024-01-17 2024-01-17 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统 Active CN117576103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410065088.9A CN117576103B (zh) 2024-01-17 2024-01-17 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410065088.9A CN117576103B (zh) 2024-01-17 2024-01-17 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统

Publications (2)

Publication Number Publication Date
CN117576103A CN117576103A (zh) 2024-02-20
CN117576103B true CN117576103B (zh) 2024-04-05

Family

ID=89884888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410065088.9A Active CN117576103B (zh) 2024-01-17 2024-01-17 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统

Country Status (1)

Country Link
CN (1) CN117576103B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345756A (zh) * 2013-07-19 2013-10-09 浙江农林大学 一种尿沉渣分析仪中显微镜的自动对焦方法、装置和电子设备
CN110473167A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于深度学习的尿沉渣图像识别系统及方法
CN112396621A (zh) * 2020-11-19 2021-02-23 之江实验室 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN112967262A (zh) * 2021-03-18 2021-06-15 深圳市美侨医疗科技有限公司 一种基于形态学分割和深度学习的尿沉渣管型识别方法
CN113744195A (zh) * 2021-08-06 2021-12-03 北京航空航天大学 一种基于深度学习的hRPE细胞微管自动检测方法
EP4075325A1 (en) * 2021-04-15 2022-10-19 Ardigen S.A. Method and system for the classification of histopathological images based on multiple instance learning
WO2023284341A1 (zh) * 2021-07-15 2023-01-19 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN116385334A (zh) * 2022-09-08 2023-07-04 福州汉佰康生物科技有限公司 一种用于尿沉渣检查的高效yolo检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345756A (zh) * 2013-07-19 2013-10-09 浙江农林大学 一种尿沉渣分析仪中显微镜的自动对焦方法、装置和电子设备
CN110473167A (zh) * 2019-07-09 2019-11-19 哈尔滨工程大学 一种基于深度学习的尿沉渣图像识别系统及方法
CN112396621A (zh) * 2020-11-19 2021-02-23 之江实验室 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN112967262A (zh) * 2021-03-18 2021-06-15 深圳市美侨医疗科技有限公司 一种基于形态学分割和深度学习的尿沉渣管型识别方法
EP4075325A1 (en) * 2021-04-15 2022-10-19 Ardigen S.A. Method and system for the classification of histopathological images based on multiple instance learning
WO2023284341A1 (zh) * 2021-07-15 2023-01-19 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN113744195A (zh) * 2021-08-06 2021-12-03 北京航空航天大学 一种基于深度学习的hRPE细胞微管自动检测方法
CN116385334A (zh) * 2022-09-08 2023-07-04 福州汉佰康生物科技有限公司 一种用于尿沉渣检查的高效yolo检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning Discriminatory Information for Object Detection on Urine Sediment Image;Chan, Sixiandeng;《CMES-COMPUTER MODELING IN EINEERING & SCIENCES》;20231107;第138卷;全文 *
不同尿沉渣检测方法在检测尿红细胞形态及参数中的价值分析;李祥坤;;标记免疫分析与临床;20171225(第12期);全文 *
基于深度目标识别的细胞计数研究;徐晓涛;《中国优秀硕士学位论文全文数据库(基础科学辑)》;20200715(第7期);全文 *
尿沉渣显微图像中有形成分的检测算法研究;孙启明;《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》;20200515(第5期);全文 *

Also Published As

Publication number Publication date
CN117576103A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US10692216B2 (en) Colony contrast gathering
US20220343623A1 (en) Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
KR20140045923A (ko) 미생물 성장을 분석하는 방법 및 소프트웨어
Hortinela et al. Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine
Shirazi et al. Extreme learning machine based microscopic red blood cells classification
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
JP2010540931A (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
US20230066976A1 (en) Systematic characterization of objects in a biological sample
CN111062346A (zh) 一种白细胞自动定位检测及分类识别系统及方法
CN111504885A (zh) 一种基于机器视觉的全自动血涂片形态分析装置
Di Ruberto et al. Accurate blood cells segmentation through intuitionistic fuzzy set threshold
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
CN114387596A (zh) 细胞病理涂片自动判读系统
KR20200136004A (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
CN117576103B (zh) 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
Priyankara et al. An extensible computer vision application for blood cell recognition and analysis
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
Li et al. A recognition method of urine cast based on deep learning
CN115629072A (zh) 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置
CN114518362A (zh) 精子质量分析装置、系统、方法及可读存储介质
El-Shenawy Automatic detection and identification of cells in digital images of day 2 IVF embryos
Abrol et al. An automated segmentation of leukocytes using modified watershed algorithm on peripheral blood smear images
CN116703843A (zh) 一种急性髓系白血病亚型的ai辅助诊断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant