CN111652851A - 一种基于移动设备的超分辨显微系统 - Google Patents

一种基于移动设备的超分辨显微系统 Download PDF

Info

Publication number
CN111652851A
CN111652851A CN202010382082.6A CN202010382082A CN111652851A CN 111652851 A CN111652851 A CN 111652851A CN 202010382082 A CN202010382082 A CN 202010382082A CN 111652851 A CN111652851 A CN 111652851A
Authority
CN
China
Prior art keywords
resolution
super
image
slice
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010382082.6A
Other languages
English (en)
Inventor
刘秀丽
程胜华
马嘉波
曾绍群
余江胜
刘思博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiguang Intelligent Technology Wuhan Co ltd
Original Assignee
Huaiguang Intelligent Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiguang Intelligent Technology Wuhan Co ltd filed Critical Huaiguang Intelligent Technology Wuhan Co ltd
Priority to CN202010382082.6A priority Critical patent/CN111652851A/zh
Publication of CN111652851A publication Critical patent/CN111652851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于移动设备的超分辨显微系统，包括包括设置在移动设备上的切片扫描模块和图像超分辨模块；所述切片扫描模块，用于采集低分辨率的切片图像；所述图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，其中，所述图像超分辨训练样本集包括多个由低分辨率图像与高分辨率图像组成的样本对；所述图像超分辨模块，还用于将低分辨率的所述切片图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。本发明可极大地方便医生直接在移动设备上查看病理切片，提高在没有专业设备和缺乏专业病理医生地区的病理切片筛查效果。

Description

一种基于移动设备的超分辨显微系统
技术领域
本发明属于医疗器械技术领域，更具体地，涉及一种基于移动设备的超分辨显微系统。
背景技术
宫颈癌是最常见的妇科恶性肿瘤。细胞学筛查是预防宫颈癌的有效手段，随着数字化切片技术的发展，越来越多的扫描仪被开发出来。当前主流的切片扫描设备是安装在医院的大型设备，这种大型设备性能最好，切片质量最高，但体积较大，价格昂贵，不方便移动，一般被放置在医院。
现有技术中，另一种小型化的切片扫描装置也逐渐涌现，但是这些装置受光学原理限制，在不做特殊优化的情况下成像质量有限，对于切片的判读有较大的影响。但是由于其价格低廉，方便携带，因此特别适用于没有专业设备的偏远地区进行初步筛查。
因此对于数字化病理切片技术，移动的便携式设备依旧有进步的空间，如何进一步提高便携式扫描仪的成像质量使得国内小城市以及偏远地区将有条件进行癌症筛查，这对于癌症的筛查具有重要意义。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于移动设备的超分辨显微系统，方便医生直接在移动设备上筛查可疑区域。
为实现上述目的，本发明提供了一种基于移动设备的超分辨显微系统，包括设置在移动设备上的切片扫描模块和图像超分辨模块；
所述切片扫描模块，用于采集低分辨率的切片图像；
所述图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，其中，所述图像超分辨训练样本集包括多个由低分辨率图像与高分辨率图像组成的样本对；
所述图像超分辨模块，还用于将低分辨率的所述切片图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
优选地，所述超分辨模型是生成对抗模型，所述超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，所述生成器包括特征提取模块和重建模块，所述特征提取模块为堆叠所述基本构件并且使用残差连接构建的特征提取模型，所述重建模块用于使用上采样将所述特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
优选地，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失联合来对所述超分辨模型进行训练。
优选地，所述超分辨模型均被量化为Float16且部署在所述移动设备的GPU上。
优选地，适用于不同类型的切片；
所述图像超分辨训练样本集包括多个超分辨训练子样本集，所述超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将所述切片图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
优选地，包括图像拼接模块；
所述切片扫描模块用于扫描多次来采集一个切片经过冗余拆分的多个低分辨率的局部切片图像；
所述图像超分辨模块用于对多个所述低分辨率的局部切片图像分别进行图像分辨率增强，输出多个高分辨率的局部切片图像；
所述图像拼接模块用于将多个所述高分辨率的局部切片图像按冗余量进行拼接，输出高分辨率的全切片图像。
优选地，使用流水线并行处理来实现图像分辨率增强。
优选地，包括：信息管理模块，用于存储筛查结果，并对存储的筛查结果进行管理；切片管理系统，用于存储切片信息，并对存储的切片信息进行管理。
总体而言，本发明与现有技术相比，具有有益效果：
(1)本发明实现了基于移动设备的病理或细胞等切片的扫描和辅助诊断，超分辨显微系统使得医生能够从手机屏幕上直接观察切片，亦可任意调整观测区域，整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
(2)本发明针对移动设备(SoC芯片)运算性能不足以及成像质量有限的特点，分别设计了轻量化模型和超分辨图像增强算法，使得基于移动显微超分辨显微系统成为了现实。
(3)本发明提出的基于生成对抗模型的超分辨图像增强方法以轻量化为宗旨而设计，具有计算量小同时保持性能基本不下降的特点，本发明的超分辨图像增强模型能够实时运行在移动端，实时增强图像质量，使本系统的成像质量整体拔高，有利于医生对病变情况的把握。
(5)本发明提出的增强现实智能移动显微镜结合了轻量化的筛查以及图像增强算法，使便携式的移动筛查成为了可能，同时本发明不依赖高速网络，不依赖云端高性能服务器，使得本发明可以成为各种癌症筛查的利器，尤其适用于各种小诊所以及没有高端设备的地区。
总的来说，本发明提出的一种基于移动设备的超分辨显微系统能够以低廉的成本普及宫颈癌筛查，为对抗宫颈癌带来新的手段。另外，本发明不仅仅适用于宫颈癌，亦适用于组织病理切片等各种全切片图像。如前所述，本发明的系统化设计能够实时切换各种预开发好的模型，使其能够对各种类型的切片进行高质量成像。
附图说明
图1是本发明实施例的一种基于移动设备的超分辨显微系统的原理示意图；
图2是本发明实施例的一种基于移动设备的超分辨显微系统的超分辨模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种基于移动设备的超分辨显微系统包括设置在移动设备上的切片扫描模块和图像超分辨模块。如图1所示，当切片扫描模块采集到图像后，对扫描到的图像进行冗余拆分，然后图像超分辨模块对每个拆分后的子块进行图像质量增强，之后再进行拼接，得到当前视野的高质量图像。这样，实现了病理或细胞等切片的扫描，医生能够从手机屏幕上直接观察到可疑区域情况，亦可任意调整观测区域。整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
下面具体说明每个模块的具体实现。
(1)切片扫描模块
切片扫描模块，用于采集低分辨率的切片图像。
移动设备可以是智能手机、IPAD或其他带有摄像头的便携式设备，利用移动设备上的摄像头作为切片扫描模块的扫描仪来进行图像采集，采集的图像相对于现有技术中大型筛查设备采集的图像而言，图像分辨率较低，但便于后续图像处理，使得本发明实施例的基于移动设备的超分辨显微系统具有计算量小、可便携的优点。在超分辨显微系统运行准备阶段，也可由切片扫描模块采集切片图像，用来构建图像超分辨训练样本集。
(2)图像超分辨模块
图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，其中，图像超分辨训练样本集包括多个由低分辨率图像与高分辨率图像组成的样本对；图像超分辨模块，还用于将低分辨率的所述切片图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
(21)图像超分辨训练样本集构建
优选地，构建图像超分辨训练样本集是：接收高分辨率图像样本和低分辨率图像样本，将高分辨率图像样本和低分辨率图像样本进行图像配准处理，得到多个图像超分辨训练样本对，每个图像超分辨训练样本对包括切片同一区域对应的高分辨率图像和低分辨率图像，多个图像超分辨训练样本对组成了图像超分辨训练样本集。
图像超分辨模块的超分辨算法基于真实的低分辨率和高分辨率数据进行训练。由于镜头以及扫描精度差异，因此高低分辨率图像在像素水平上不是一一对应的，故在此种数据上构建训练数据集的第一步需要进行图像配准。优选地，采用两步配准的方案，实现对原始数据的高速配准。第一步利用SIFT特征将两张切片图像进行粗配准，得到两张切片的相对偏移量，相对偏移量不够准确，用来减小后续匹配的搜索范围，然后使用基于相关性的模板匹配方法精细配准超分辨模型所需尺寸的图像，最终得到高低分辨率匹配的图像对。此处获得的图像对即为后续超分辨模型训练所需的数据。
(22)超分辨模型设计
目前常用的超分辨模型设计多针对主机设计，其对计算能力通常要求较高，将现有的方法直接塞进手机，基本无法实现实时计算。而本发明为了图像超分辨算法能够在手机上实时运行，以UNet为基准，通过改造UNet基本构建和采样顺序实现了轻量化的超分辨模型，使其能够运行在手机端，并且该模型重建的高分辨率图像与同类模型有基本一致的效果。
优选地，超分辨模型是生成对抗模型，超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，生成器包括特征提取模块和重建模块，特征提取模块为堆叠该基本构件并且使用残差连接构建的特征提取模型，重建模块用于使用上采样将所述特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
在一个实施例中，超分辨模型的生成器的基本构建是组卷积和点卷积，不妨称其为基本组件。所述的超分辨模型接受原始低分辨率图像作为输入，而后接两个基本构建，编码信息后，采用池化操作降低图像尺寸，重复上述步骤三次，得到尺寸是原来1/8的特征图。然后与降采样编码的过程相似，将池化换做上采样后重复三次，得到与原图大小相同的特征图，其中在每个降采样操作后，将降采样后的特征图引入对应的上采样处，引入低级特征的好处是有利于保留细节。最后使用PixelShuffle将特征图重新分配的宽度和长度分别增加一倍，然后使用窗口为3*3的卷积重建出高分辨率图像。
(23)超分辨模型的训练优化
优选地，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失来联合对所述超分辨模型进行训练。本发明所述的超分辨图像增强算法通过对抗训练提高模型重建图像的逼真程度。在使用(21)的数据训练模型时，使用基于可疑目标检测算法中分类模型的特征图，将其改造为适用于目标图像的感知损失，还采用L1和对抗损失。在训练模型时，先更新鉴别器，然后更新生成器。
优选地，一种基于移动设备的超分辨显微系统可适用不同的切片类型。
由于每个切片类型的自身特点，可针对每个切片类型设计对应的超分辨模型，构建每个切片类型对应的图像超分辨训练样本集来对超分辨模型进行训练。
图像超分辨训练样本集包括多个超分辨训练子样本集，超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将切片图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
图像超分辨模块可采用模块化设计，保留了一致的接口，使超分辨显微系统在切换后可根据切片类型调用正确的模型，这样保证检测算法能够在不同类型的目标上正常工作。
优选地，超分辨模型均被量化为Float16且部署在GPU上。
优选地，超分辨模型在float32进度上进行训练，为提高模型运算性能，本发明牺牲一定的精度。对于CPU处理器，将所述的训练好的超分辨模型量化为8位整型。因此移动设备(手机)运行量化过后的模型，一般速度可以提升3-4倍。
优选地，图像超分辨模块可以和切片扫描模块一起被集成在移动设备上，例如智能手机、IPAD或其他常见的片上系统中。图像超分辨模块也可以被集成在与移动设备连接的硬件设备中，即可以将图像超分辨模块设计成一个单独的硬件设备，该硬件设备与移动设备通过手机接口连接。
本发明另一实施例提供的一种基于移动设备的超分辨显微系统，其实现原理如下：
(1)根据所使用的手机尺寸以及相机参数开发切片扫描平台，切片扫描平台为金属材质，且其有三层构成。最外层为支撑平台，支撑整个系统以及包含照明电路。其中最外层的下方有支撑点，支撑整个平台保证其水平。最外层的上方被设计为两侧有卡扣，中间有凹槽的形状，用来放置和稳定成像部件，即手机及相应的镜头)。优选地，对于相机处于中间和两侧情况的手机，本发明实施例设计了一对手机平台放置面，使得不同的手机都能够被应用在该平台上。
内部最低层为x方向移动层，该层通过旋钮和齿条的精细配合来实现在x方向的稳定移动，用来控制拍摄视野在x方向的变化。同时该层内含切片承载片，用来拿取以及固定切片。
内部最上层为y方向移动控制层，该层与内部最底层类似，不同之处在于其通过旋钮和直齿条的精细配合来实现y方向的稳定移动，用来控制拍摄视野在y方向的变化，且该层不包含其他的装置。
(2)采用上述装置采集低分辨切片图像，同时使用商用的大型仪器采集高分辨率图像，用来制作数据集。低分辨率图像与高分辨率图像对用来训练超分辨图像增强网络。
(3)超分辨模型的训练样本数据制作。采用本发明的切片扫描模块采集到的一块图像大小为3000*4000像素，即全切片的部分，称之为视野块，而对应的高分辨率图像为完整的全切片图像。使用基于SIFT特征的配准方案，将视野块匹配到全切片图像上。在视野块上取512*512大小的图像，将该图像放大到与高分辨率图像一致的尺度，使用基于相关的模板匹配方法找到高分辨率图像与之对应的区域，裁剪对应的高分辨率图像。保存对应的高低分辨率图像对，作为数据集的一个样本。在每个视野块上取5对。每张切片大约有10*10个视野，因此每张切片大约可以得到500个图像对。在大约2000张切片上重复同样的过程，得到各种情况的数据，用来提高模型的泛化能力。
(4)使用步骤(3)的训练样本数据集训练超分辨模型。在训练超分辨模型时，本发明使用VGG19网络的卷积部分作为图像超分辨模型训练中的高维特征提取器，用来提取重建的增强图像和真实的高分辨率图像的高维特征，然后使用交叉熵损失对比感知损失，提高重建的增强图像的细节。本发明还是用L1损失作为一种强约束，提高高低分辨率图像之间的约束，能够加快模型的收敛。另外，本发明使用生成对抗的思想，加入了对抗损失，进一步提升生成图像的视觉质量。具体地，本发明生成器使用的损失可表示如下：
LossG＝LossL1+α*Lossp+β*Lossadv
其中，LossC表示为生成器的总损失，LossL1表示为重建的增强图像和真实的高分辨率图像之间的L1损失，Lossp表示为重建的增强图像和真实的高分辨率图像之间的感知损失，Lossadv对抗损失。α和β控制各项损失的权重，在本实施例中分别被设置为0.01和0.06。详细地，本实施例使用Adam作为优化算法，更新生成器和鉴别器。生成器和鉴别器的优化器的初始学习率都为1e-4，且在训练模型时，采用鉴别器和生成器交替训练的策略。
优选地，对模型进行量化。使用Tensorflow Lite库以及训练模型所述的数据集将将超分辨模型量化为Float16，此过程将模型推理速度提高2倍左右。
优选地，本实施例中，从手机相机获取原始数据，将其投射到屏幕上，同时将该图像冗余拆分成7*9个小块图像，将每个小块图像归一化到(-1,1)为后续计算做准备。上述采用流水线多线程操作以提高运行效率。
优选地，将超分辨模型部署到GPU上，将7*9个小块送入超分辨模型中进行计算，得到每个小块的高分辨率的增强图像，并将其显示在屏幕上并存入数据库。同步地，程序将会将医生点击的位置放大，并提供标注工具，供医生对该区域进行诊断，同时能够将医生圈定的位置和诊断结果保存，供后续查阅。上述过程采用流水线式的多线程实现以提高计算效率。通过上述的操作，本实施例能够达到5HZ的速度，能够实现没有明显延迟感的筛查。
优选地，使用流水线并行处理来实现图像分辨率增强，可以提高数据处理速度。
优选的，基于移动设备的超分辨显微系统包括图像拼接模块。首先，切片扫描模块扫描多次来采集一个切片经过冗余拆分的多个低分辨率的局部切片图像。然后，图像超分辨模块对多个所述低分辨率的局部切片图像分别进行图像分辨率增强，输出多个高分辨率的局部切片图像；最后，图像拼接模块将多个高分辨率的局部切片图像按冗余量进行拼接，输出高分辨率的全切片图像。
当移动显微系统在扫描模式下工作时，将会自动对所有的视野进行拼接，得到全切片图像。具体的，拼接过程中通过将图像转化为灰度图像进行相关性计算。具体方法是：从数据库里取出所有的视野块，根据每个视野块的位置，取出相邻的两个视野块，取相邻侧的部分图像并将其转化为灰度图像，然后对两幅图像进行相关性匹配，利用找到的距离将两幅图像的冗余部分根据距离进行加权平均，得到两个视野块拼接后的大视野块。重复上述步骤，直到所有的视野块都被匹配完毕，得到该切片的全切片图像，该切片可方便的使用主流的切片查看软件进行查看。特别的，若工作在该模式下，拼接完成后会将医生的诊断结果映射到全切片图像上，方便医生在PC等设备上查看和存档。
上述步骤计算量大，拼接时可在CPU空闲时自动进行拼接，当在实时筛查的情况下，为保证流畅性，该功能会被挂起。上述操作采用多线程流水线进行拼接，根据CPU核数量从多个点开始拼接，最后再将所有的子块进行连接。
本发明的有益技术效果体现在：
(1)本发明实现了基于移动设备的病理或细胞等切片的扫描和辅助诊断，医生能够从手机屏幕上直接观察到可疑区域情况，亦可任意调整观测区域，整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
(2)本发明中的两个部分切片扫描模块和超分辨图像超分辨模块可能现有技术中分别存在可实现类似功能的装置或算法。但是如果仅仅简单组合现有的方法，则无法在移动设备上达到具有高质量成像的实时显微，因为这些装置或算法开发时针对的目标处理器是PC，在强劲的处理器上现存在的方法拥有良好的效果，但是无法迁移至移动端，原因在于两点。原因之一是当每个模块性能下降时，由于叠加效应，系统性能会大幅下降。原因之二是手机计算能力无法满足常规算法的高计算量的需求。而本发明针对移动设备(SoC芯片)运算性能不足以及成像质量有限的特点，设计了轻量化的超分辨图像增强算法，使得基于移动设备的超分辨显微系统成为了现实。
(3)本发明提出的基于生成对抗模型的超分辨图像增强方法以轻量化为宗旨而设计，具有计算量小同时保持性能基本不下降的特点。本发明的超分辨模型能够实时运行在移动设备上，实时增强图像质量，使本系统的成像质量整体拔高，有利于医生对病变情况的把握。
(4)本发明提出的移动显微系统结合了轻量化的图像增强算法，使便携式的移动筛查成为了可能，同时本发明不依赖高速网络，不依赖云端高性能服务器。使得本发明可以成为宫颈癌筛查的利器，尤其适用于各种小诊所以及没有高端设备的地区。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于移动设备的超分辨显微系统，其特征在于，包括设置在移动设备上的切片扫描模块和图像超分辨模块；
所述切片扫描模块，用于采集低分辨率的切片图像；
所述图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，其中，所述图像超分辨训练样本集包括多个由低分辨率图像与高分辨率图像组成的样本对；
所述图像超分辨模块，还用于将低分辨率的所述切片图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
2.如权利要求1所述的一种基于移动设备的超分辨显微系统，其特征在于，所述超分辨模型是生成对抗模型，所述超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，所述生成器包括特征提取模块和重建模块，所述特征提取模块为堆叠所述基本构件并且使用残差连接构建的特征提取模型，所述重建模块用于使用上采样将所述特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
3.如权利要求2所述的一种基于移动设备的超分辨显微系统，其特征在于，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失联合来对所述超分辨模型进行训练。
4.如权利要求1、2或3所述的一种基于移动设备的超分辨显微系统，其特征在于，所述超分辨模型均被量化为Float16且部署在所述移动设备的GPU上。
5.如权利要求1、2或3所述的一种基于移动设备的超分辨显微系统，其特征在于，适用于不同类型的切片；
所述图像超分辨训练样本集包括多个超分辨训练子样本集，所述超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将所述切片图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
6.如权利要求1、2或3所述的一种基于移动设备的超分辨显微系统，其特征在于，包括图像拼接模块；
所述切片扫描模块用于扫描多次来采集一个切片经过冗余拆分的多个低分辨率的局部切片图像；
所述图像超分辨模块用于对多个所述低分辨率的局部切片图像分别进行图像分辨率增强，输出多个高分辨率的局部切片图像；
所述图像拼接模块用于将多个所述高分辨率的局部切片图像按冗余量进行拼接，输出高分辨率的全切片图像。
7.如权利要求1、2或3所述的一种基于移动设备的超分辨显微系统，其特征在于，使用流水线并行处理来实现图像分辨率增强。
8.如权利要求1、2或3所述的一种基于移动设备的超分辨显微系统，其特征在于，包括：
信息管理模块，用于存储筛查结果，并对存储的筛查结果进行管理；
切片管理系统，用于存储切片信息，并对存储的切片信息进行管理。
CN202010382082.6A 2020-05-08 2020-05-08 一种基于移动设备的超分辨显微系统 Pending CN111652851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010382082.6A CN111652851A (zh) 2020-05-08 2020-05-08 一种基于移动设备的超分辨显微系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010382082.6A CN111652851A (zh) 2020-05-08 2020-05-08 一种基于移动设备的超分辨显微系统

Publications (1)

Publication Number Publication Date
CN111652851A true CN111652851A (zh) 2020-09-11

Family

ID=72348366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010382082.6A Pending CN111652851A (zh) 2020-05-08 2020-05-08 一种基于移动设备的超分辨显微系统

Country Status (1)

Country Link
CN (1) CN111652851A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115541578A (zh) * 2022-09-28 2022-12-30 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110322403A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的多监督图像超分辨重建方法
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110322403A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的多监督图像超分辨重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNE JAMRICH PARSONS,DAN OJA, 山东科学技术出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115541578A (zh) * 2022-09-28 2022-12-30 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统
CN115541578B (zh) * 2022-09-28 2023-10-24 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统

Similar Documents

Publication Publication Date Title
CN109919869A (zh) 一种图像增强方法、装置及存储介质
CN104966270B (zh) 一种多图像拼接方法
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN112927359A (zh) 一种基于深度学习和体素的三维点云补全方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN111652851A (zh) 一种基于移动设备的超分辨显微系统
CN113256496B (zh) 一种轻量级渐进式特征融合的图像超分辨率系统及方法
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
CN108401104B (zh) 基于频带修复和超分辨的双焦相机数字变焦方法
Ma et al. STSRNet: Self-texture transfer super-resolution and refocusing network
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN111652850A (zh) 一种基于移动设备的筛查系统
CN111080533A (zh) 一种基于自监督残差感知网络的数码变焦方法
CN116310104A (zh) 一种复杂场景下的人体三维重建方法、系统及存储介质
CN116071504A (zh) 一种面向高分辨率图像的多视图立体重建方法
CN114627293A (zh) 基于多任务学习的人像抠图方法
Meng Digital image processing technology based on MATLAB
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
CN116049469A (zh) 基于参考图的多匹配搜索和超分辨率重建方法
CN113706438A (zh) 一种图像处理的方法、相关装置、设备、系统及存储介质
Wang et al. D-ESRGAN: a dual-encoder GAN with residual CNN and vision transformer for iris image super-resolution
Zhang et al. Lightweight image super-resolution with group-convolutional feature enhanced distillation network
Hua et al. Leukocyte super-resolution via geometry prior and structural consistency
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination