CN111652850A - 一种基于移动设备的筛查系统 - Google Patents
一种基于移动设备的筛查系统 Download PDFInfo
- Publication number
- CN111652850A CN111652850A CN202010381997.5A CN202010381997A CN111652850A CN 111652850 A CN111652850 A CN 111652850A CN 202010381997 A CN202010381997 A CN 202010381997A CN 111652850 A CN111652850 A CN 111652850A
- Authority
- CN
- China
- Prior art keywords
- resolution
- model
- super
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 101
- 238000013145 classification model Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 206010008342 Cervix carcinoma Diseases 0.000 description 7
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 201000010881 cervical cancer Diseases 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008092 positive effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Dispersion Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于移动设备的筛查系统，包括：切片扫描模块，用于采集低分辨率的切片图像，所述切片扫描模块被设置在移动设备上；可疑目标检测模块，用于将可疑目标检测训练样本集输入到可疑目标检测模型进行训练，还用于将所述切片图像输入到训练后的可疑目标检测模型，输出可疑目标信息；图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，还用于根据可疑目标信息将可疑目标对应的低分辨率待增强图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。本发明可极大地方便医生直接在移动设备上对病理切片进行筛查，提高在没有专业设备和缺乏专业病理医生地区的病理切片筛查效果。
Description
技术领域
本发明属于医疗器械技术领域，更具体地，涉及一种基于移动设备的筛查系统。
背景技术
宫颈癌是最常见的妇科恶性肿瘤。细胞学筛查是预防宫颈癌的有效手段，随着计算机辅助诊断技术的发展，越来越多的辅助诊断仪器被开发出来。当前主流的筛查设备是安装在医院的大型设备，包括从制片到判读全自动化。这种大型设备性能最好，切片质量最高，但体积较大，价格昂贵，不方便移动，一般被放置在医院。
现有技术中，另一种小型化的切片扫描装置也逐渐涌现，但是这些装置基本只进行扫描采集图像，更进一步的处理需要将切片利用高速网络上传至云端处理，云端计算处理后返回给客户端判读结果。这种上传至云端处理的切片扫描装置虽然图像质量有一定下降，但是依赖云端的强有力的模型，也还能得到不错的辅助诊断结果。但是该方案的缺点是依赖高速网络，对于偏远地区不适用，并且该种方案与医生的工作流程不一致，使得医生难以掌握筛查的过程。
因此对于癌症筛查，移动的便携式设备依旧有进步的空间，如何进一步将筛查设备便携化，使得国内小城市以及偏远地区将有条件进行癌症筛查，这对于癌症具有重要意义。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于移动设备的筛查系统，方便医生直接在移动设备上筛查可疑区域。
为实现上述目的，本发明提供了一种基于移动设备的筛查系统，包括：
切片扫描模块，用于采集低分辨率的切片图像，所述切片扫描模块被设置在移动设备上；
可疑目标检测模块，用于将可疑目标检测训练样本集输入到可疑目标检测模型进行训练，还用于将所述切片图像输入到训练后的可疑目标检测模型，输出可疑目标信息；
图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，还用于根据可疑目标信息将可疑目标对应的低分辨率待增强图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
优选地，所述可疑目标检测模型包括分类模型和定位模型，所述分类模型采用深度可分离卷积实现，所述定位模型以所述分类模型输出的特征图作为输入，输出可疑目标检测结果。
优选地，所述分类模型是适用于在移动设备上运行的轻量化二分类模型，所述定位模型是适用于在移动设备上运行的轻量化分割模型。
优选地，所述将可疑目标检测训练样本集输入到可疑目标检测模型进行训练的过程具体是：
使用所述可疑目标检测训练样本集训练所述二分类模型，优化用于提取特征的卷积层和用于分类的全连层；
所述分割模型与分类模型共用部分卷积层，使用所述可疑目标检测训练样本集训练所述分割模型，其中共用的卷积层被设置为不可训练；
同时使用分类损失和定位损失联合优化所述二分类模型和分割模型。
优选地，所述超分辨模型是生成对抗模型，所述超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，所述生成器包括特征提取模块和重建模块，所述特征提取模块为堆叠所述基本构件并且使用残差连接构建的特征提取模型，所述重建模块用于使用上采样将所述特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
优选地，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失联合来对所述超分辨模型进行训练。
优选地，所述可疑目标检测模型和超分辨模型均被量化为Float16且部署在所述移动设备的GPU上。
优选地，适用于不同类型的切片筛查；
所述可疑目标检测训练样本集包括多个检测训练子样本集，所述可疑目标检测模型包括多个检测子模型，每个检测训练子样本集对应一种切片类型，每个检测训练子样本集对应一个检测子模型，每个检测训练子样本集用于训练对应的检测子模型，将所述切片图像输入到训练后的与切片类型对应的检测子模型，输出可疑目标信息；
所述图像超分辨训练样本集包括多个超分辨训练子样本集，所述超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将可疑目标对应的低分辨率待增强图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
优选地，包括交互及显示模块，所述交互及显示模块基于移动设备实现；
所述交互及显示模块用于接收并显示所述可疑目标检测模块输出的可疑目标检测结果，还用于接收用户选择的低分辨率待增强图像，还用于响应用户的选择将该低分辨率待增强图像发送给所述超分辨模块以进行图像分辨率增强，还用于接收并显示所述图像超分辨模块输出的高分辨率图像。
优选地，包括病例信息管理模块，用于实时存储筛查结果，并对存储的筛查结果进行管理。
总体而言，本发明与现有技术相比，具有有益效果：
(1)本发明通实现了基于移动设备的病理或细胞等切片的扫描和辅助诊断，筛查系统会将可疑区域实时显示在屏幕上，医生能够从手机屏幕上直接观察到可疑区域情况，亦可任意调整观测区域，整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
(2)本发明针对移动设备(SoC芯片)运算性能不足以及成像质量有限的特点，分别设计了轻量化模型和超分辨图像增强算法，使得基于移动显微筛查系统成为了现实。
(3)本发明提出的基于MobileNet的可疑目标检测算法比常见的检测算法速度更快、实现更简单、对于数据标注要求低，计算量小。
(4)本发明提出的基于生成对抗模型的超分辨图像增强方法以轻量化为宗旨而设计，具有计算量小同时保持性能基本不下降的特点，本发明的超分辨图像增强模型能够实时运行在移动端，实时增强图像质量，使本系统的成像质量整体拔高，有利于医生对病变情况的把握。
(5)本发明提出的增强现实智能移动显微镜结合了轻量化的筛查以及图像增强算法，使便携式的移动筛查成为了可能，同时本发明不依赖高速网络，不依赖云端高性能服务器，使得本发明可以成为各种癌症筛查的利器，尤其适用于各种小诊所以及没有高端设备的地区。
总的来说，本发明提出的增强现实智能移动显微筛查系统能够以低廉的成本普及宫颈癌筛查，为对抗宫颈癌带来新的手段。另外，本发明不仅仅适用于宫颈癌，亦适用于组织病理切片等各种全切片图像。如前所述，本发明的系统化设计能够实时切换各种预开发好的模型，使其能够对各种类型的切片数据进行筛查。
附图说明
图1是本发明实施例的一种基于移动设备的筛查系统的原理示意图；
图2是本发明实施例的一种基于移动设备的筛查系统的可疑目标检测模型示意图；
图3是本发明实施例的一种基于移动设备的筛查系统的超分辨模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种基于移动设备的筛查系统包括所述切片扫描模块、可疑目标检测模块和图像超分辨模块。如图1所示，当切片扫描模块采集到图像后，可疑目标检测模块可立刻运行，计算当前视野的图像中可疑的病变区域。可疑目标检测模块可实时运行，根据视野的变换自动运行。当可疑的病变区域被找到后，超分辨图像超分辨模块可即被启动，对可疑的区域做图像增强。这样，实现了病理或细胞等切片的扫描和辅助诊断，医生能够从手机屏幕上直接观察到可疑区域情况，亦可任意调整观测区域。整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
下面具体说明每个模块的具体实现。
(1)切片扫描模块
切片扫描模块，用于采集低分辨率的切片图像，切片扫描模块被设置在移动设备上。移动设备可以是智能手机、IPAD或其他带有摄像头的便携式设备，利用移动设备上的摄像头作为切片扫描模块的扫描仪来进行图像采集，采集的图像相对于现有技术中大型筛查设备采集的图像而言，图像分辨率较低，但便于后续图像处理，使得本发明实施例的基于移动设备的筛查系统具有计算量小、可便携的优点。在筛查系统运行准备阶段，也可由切片扫描模块采集切片图像，用来构建可疑目标检测训练样本集和图像超分辨训练样本集。
在一个实施例中，切片扫描模块包括可水平方向移动的高精度的平移台、控制平移台移动的层叠式旋钮、可插拔的切片承载平板、配备锂电池的照明光源、显微光学镜头以及手机相机。
(2)可疑目标检测模块
可疑目标检测模块，用于将可疑目标检测训练样本集输入到可疑目标检测模型进行训练，还用于将待检测的切片图像输入到训练后的可疑目标检测模型，输出可疑目标信息。
(21)可疑目标检测训练样本集构建
优选地，构建可疑目标检测训练样本集的过程是：接收高分辨率图像样本和低分辨率图像样本，高分辨率图像样本包括可疑目标标注，根据高分辨率图像样本对低分辨率图像进行可疑目标标注，经过可疑目标标注后的低分辨率图像样本组成了可疑目标检测训练样本集。
由于移动装置拍摄的图片分辨率过低，医生标注存在一定困难。因此对数据的标注是在高分辨率图像进行的。所有的训练数据都存在两种扫描切片，分别被大型仪器和移动切片扫描装置扫描。当医生在高分辨率图像上完成标注后，通过配准的方法，将高分辨率标注匹配到低分辨率图像上。从而间接实现对低分辨率图像的标注。
(22)可疑目标检测模型设计
优选地，如图2所示，可疑目标检测模型包括分类模型和定位模型，分类模型采用深度可分离卷积实现，定位模型训以分类模型输出的特征图作为输入，输出可疑目标检测结果。
优选地，分类模型是适用于在移动设备上运行的轻量化二分类模型，定位模型是适用于在移动设备上运行的轻量化分割模型。其中分类模型以MobileNet作为基础结构，对输入的细胞病理图像进行二分类。进一步地，为了实现定位，本发明引用MobileNet最后一层卷积层的输出特征图作为定位模块的输入，其中定位模块是简单的全卷积结构，其输出大小为原始图像1/16的掩码图，编码了病变区域的位置。
(23)可疑目标检测模型训练优化
优选地，在优化可疑目标检测模型时采用三阶段优化方案。将可疑目标检测训练样本集输入到可疑目标检测模型进行训练具体是：
使用可疑目标检测训练样本集训练二分类模型，优化卷积层特征图；
分割模型与分类模型共用部分卷积层，使用可疑目标检测训练样本集训练分割模型，其中共用的卷积层被设置为不可训练；
同时使用分类损失和定位损失联合优化二分类模型和分割模型。
即在优化分类和定位模块时均使用交叉熵损失函数。在优化模型的初级阶段，首先只训练分类模块，即只使用二分类交叉熵优化模型。当分类模型收敛后，冻结MobileNet的所有卷积层，使其不可训练。然后训练定位模块，此时的损失函数只包含掩码图的交叉熵损失。当定位模块收敛后，解冻所有卷积层，降低学习率，同时使用分类损失和定位损失一起优化所有的层，是两个模块达到最优化。
优选地，基于移动设备的筛查系统可适用不同类型的切片筛查。
由于每个切片类型的自身特点，可针对每个切片类型设计对应的可疑目标检测模型，构建每个切片类型对应的可疑目标检测训练样本集来对可疑目标检测模型进行训练。
可疑目标检测训练样本集包括多个检测训练子样本集，可疑目标检测模型包括多个检测子模型，每个检测训练子样本集对应一种切片类型，每个检测训练子样本集对应一个检测子模型，每个检测训练子样本集用于训练对应的检测子模型，筛查时，将切片图像输入到训练后的与切片类型对应的检测子模型，输出可疑目标信息。
可疑目标检测模块可采用模块化设计，保留了一致的接口，使筛查系统在切换后可根据切片类型调用正确的模型，这样保证检测算法能够在不同类型的目标上正常工作。
(3)图像超分辨模块
图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，还用于根据可疑目标信息将可疑目标对应的低分辨率待增强图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
(31)图像超分辨训练样本集构建
优选地，构建图像超分辨训练样本集是：接收高分辨率图像样本和低分辨率图像样本，将高分辨率图像样本和低分辨率图像样本进行图像配准处理，得到多个图像超分辨训练样本对，每个图像超分辨训练样本对包括切片同一区域对应的高分辨率图像和低分辨率图像，多个图像超分辨训练样本对组成了图像超分辨训练样本集。
图像超分辨模块的超分辨算法基于真实的低分辨率和高分辨率数据进行训练。由于镜头以及扫描精度差异，因此高低分辨率图像在像素水平上不是一一对应的，故在此种数据上构建训练数据集的第一步需要进行图像配准。优选地，采用两步配准的方案，实现对原始数据的高速配准。第一步利用SIFT特征将两张切片图像进行粗配准，得到两张切片的相对偏移量，相对偏移量不够准确，用来减小后续匹配的搜索范围，然后使用基于相关性的模板匹配方法精细配准超分辨模型所需尺寸的图像，最终得到高低分辨率匹配的图像对。此处获得的图像对即为后续超分辨模型训练所需的数据。
(32)超分辨模型设计
目前常用的超分辨模型设计多针对主机设计，其对计算能力通常要求较高，将现有的方法直接塞进手机，基本无法实现实时计算。而本发明为了图像超分辨算法能够在手机上实时运行，以UNet为基准，通过改造UNet基本构建和采样顺序实现了轻量化的超分辨模型，使其能够运行在手机端，并且该模型重建的高分辨率图像与同类模型有基本一致的效果。
优选地，超分辨模型是生成对抗模型，超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，生成器包括特征提取模块和重建模块，特征提取模块为堆叠该基本构件并且使用残差连接构建的特征提取模型，重建模块用于使用上采样将特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
在一个实施例中，超分辨模型的生成器的基本构建是组卷积和点卷积，称其为基本组件。超分辨模型接收原始低分辨率图像作为输入，而后接两个基本构建，编码信息后，采用池化操作降低图像尺寸，重复上述步骤三次，得到尺寸是原来1/8的特征图。然后与降采样编码的过程相似，将池化换做上采样后重复三次，得到与原图大小相同的特征图，其中在每个降采样操作后，将降采样后的特征图引入对应的上采样处，引入低级特征的好处是有利于保留细节。最后使用PixelShuffle将特征图重新分配的宽度和长度分别增加一倍，然后使用窗口为3*3的卷积重建出高分辨率图像。
(33)超分辨模型的训练优化
优选地，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失来联合对所述超分辨模型进行训练。本发明的超分辨图像增强算法通过对抗训练提高模型重建图像的逼真程度。在使用(31)所述的数据训练模型时，使用基于可疑目标检测算法中分类模型的特征图，将其改造为适用于目标图像的感知损失，还采用L1和对抗损失。在训练模型时，先更新鉴别器，然后更新生成器。
优选地，基于移动设备的筛查系统，可适用于不同类型的切片筛查；
由于每个切片类型的自身特点，可针对每个切片类型设计对应的超分辨模型，构建每个切片类型对应的图像超分辨训练样本集来对超分辨模型进行训练。
图像超分辨训练样本集包括多个超分辨训练子样本集，超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将可疑目标对应的低分辨率待增强图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
图像超分辨模块可采用模块化设计，保留了一致的接口，使筛查系统在切换后可根据切片类型调用正确的模型，这样保证检测算法能够在不同类型的目标上正常工作。
优选地，可疑目标检测模型和超分辨模型均被量化为Float16且部署在移动设备的GPU上。
优选地，可疑目标检测模型、超分辨模型均在float32进度上进行训练，为提高模型运算性能，本发明牺牲一定的精度。对于CPU处理器，将所述的训练好的可疑目标检测模型和超分辨模型均量化为8位整型。因此移动设备(手机)运行量化过后的模型，一般速度可以提升3-4倍。
优选地，可疑目标检测模块和图像超分辨模块可以和切片扫描模块一起被集成在移动设备上，例如智能手机、IPAD或其他常见的片上系统中。可疑目标检测模和图像超分辨模块也可以被集成在与移动设备连接的硬件设备中，即可以将可疑目标检测模和图像超分辨模块设计成一个单独的硬件设备，该硬件设备与移动设备通过手机接口连接。
优选地，基于移动设备的筛查系统包括交互及显示模块，交互及显示模块基于移动设备实现；
交互及显示模块用于接收并显示可疑目标检测模块输出的可疑目标检测结果，还用于接收用户选择的低分辨率待增强图像，还用于响应用户的选择将该低分辨率待增强图像发送给超分辨模块以进行图像分辨率增强，还用于接收并显示图像超分辨模块输出的高分辨率图像。
当相机捕捉到图像后，交互及显示模块将图像显示在移动设备屏幕上，同时目标检测模块被自动触发，从图像中检测可疑目标，当检测到可疑目标后会将可疑目标用方框表示并显示判断的置信度。当点击屏幕任意位置时，该处局部图像会被送入超分辨模型进行图像质量增强，并可通过再次点击查看增强后的图像。另外，在屏幕侧边放置了工具栏实现了保存局部图像，目标检测结果和增强图像、查看过往筛查结果、管理筛查结果以及切换模型。
优选地，基于移动设备的筛查系统包括病例信息管理模块，用于实时存储筛查结果，并对存储的筛查结果进行管理。病例信息管理模块由数据库和对应的访问程序构成。数据按切片类型和病例存储，每个病例包含可疑目标检测结果、增强后的图像、检测置信度、检测时间、负责医生。访问程序可对其进行增删查改操作，访问程序的接口被设置在移动设备上，由交互及显示模块控制。
本发明另一实施例提供的一种基于移动设备的筛查系统，其实现原理如下：
(1)根据所使用的手机尺寸以及相机参数开发切片扫描平台，切片扫描平台为金属材质，且其有三层构成。最外层为支撑平台，支撑整个系统以及包含照明电路。其中最外层的下方有支撑点，支撑整个平台保证其水平。最外层的上方被设计为两侧有卡扣，中间有凹槽的形状，用来放置和稳定成像部件，即手机及相应的镜头。优选地，对于相机处于中间和两侧情况的手机，本发明实施例设计了一对手机平台放置面，使得不同的手机都能够被应用在该平台上。
内部最低层为x方向移动层，该层通过旋钮和齿条的精细配合来实现在x方向的稳定移动，用来控制拍摄视野在x方向的变化。同时该层内含切片承载片，用来拿取以及固定切片。
内部最上层为y方向移动控制层，该层与内部最底层类似，不同之处在于其通过旋钮和直齿条的精细配合来实现y方向的稳定移动，用来控制拍摄视野在y方向的变化，且该层不包含其他的装置。
(2)采用上述装置采集低分辨切片图像，同时使用商用的大型仪器采集高分辨率图像，用来制作数据集。具体地，标注人员在高分辨率数据上进行标注，本发明采用配准的方法将高分辨率的标注匹配到低分辨率图像上，从而间接实现对低分辨率图像的标注。低分辨率图像及其对应的标注将被用来训练可疑目标检测模型。低分辨率图像与高分辨率图像对用来训练超分辨图像增强网络。
(3)可疑目标检测模型的训练样本数据制作。采用本发明所述的切片扫描装置采集到的一块图像大小为3000*4000像素，即全切片的部分，称之为视野块，而对应的高分辨率图像为完整的全切片图像。使用基于SIFT特征的配准方案，将视野块匹配到全切片图像上，然后将全切片上对应位置的标注映射到视野块上，以标注为中心取1024*1024大小的图像作为训练模型的数据集。
(4)基于步骤(3)的训练样本数据集，训练可疑目标检测模型。在训练模型时，在1024*1024图像的中心附近随机裁剪512*512大小的图像和掩码分别作为模型的输入和定位部分的标签，使用随机旋转、翻转以及HSV变换对数据进行增强。对于分类分支和定位分支，本发明统一使用交叉熵作为损失函数，并且使用Adam优化器，将初始学习率设置为1e-4。具体地，采用如下策略训练可疑目标检测模型。首先使用低分辨率图像及其类别标签训练分类分支直至其收敛。其次，将分类分支的所有卷积层的所有参数固定，使用低分辨率图像及其掩码图像训练定位分支。最后，将所有参数设置为可训练，使用类别交叉熵损失和掩码二值图的交叉熵损失联合调整整个可疑定位监测模型。该阶段的联合损失可表示为如下：
Loss是＝Loss分类+α*Loss定位
其中α用来平衡分类损失和定位损失，在本实施例中，α取0.5。
(5)超分辨模型的训练样本数据制作。采用本发明所述的切片扫描装置采集到的一块图像大小为3000*4000像素(全切片的部分，不妨称之为视野块)，而对应的高分辨率图像为完整的全切片图像。使用基于SIFT特征的配准方案，将视野块匹配到全切片图像上。在视野块上取512*512大小的图像，将该图像放大到与高分辨率图像一致的尺度，使用基于相关的模板匹配方法找到高分辨率图像与之对应的区域，裁剪对应的高分辨率图像。保存对应的高低分辨率图像对，作为数据集的一个样本。在每个视野块上取5对。每张切片大约有10*10个视野，因此每张切片大约可以得到500个图像对。在大约2000张切片上重复同样的过程，得到各种情况的数据，用来提高模型的泛化能力。
(6)使用步骤(5)的训练样本数据集训练超分辨模型。在训练超分辨模型时，本发明使用步骤(4)所得的可疑目标检测模型的卷积部分作为图像超分辨模型训练中的高维特征提取器，用来提取重建的增强图像和真实的高分辨率图像的高维特征，然后使用交叉熵损失对比感知损失，提高重建的增强图像的细节。本发明还是用L1损失作为一种强约束，提高高低分辨率图像之间的约束，能够加快模型的收敛。另外，本发明使用生成对抗的思想，加入了对抗损失，进一步提升生成图像的视觉质量。具体地，本发明生成器使用的损失可表示如下：
LossG＝LossL1+α*Lossp+β*Lossadv
其中，LossG表示为生成器的总损失，LossL1表示为重建的增强图像和真实的高分辨率图像之间的L1损失，Lossp表示为重建的增强图像和真实的高分辨率图像之间的感知损失，Lossadv对抗损失。α和β控制各项损失的权重，在本实施例中分别被设置为0.01和0.06。详细地，本实施例使用Adam作为优化算法，更新生成器和鉴别器。生成器和鉴别器的优化器的初始学习率都为1e-4，且在训练模型时，采用鉴别器和生成器交替训练的策略。
优选地，对模型进行量化。使用Tensorflow Lite库以及训练模型所述的数据集将可疑目标检测模型量化为Float16，此过程将模型推理速度提高2倍左右。同样地，将超分辨模型同样量化为Float16。
优选地，本实施例中，从手机相机获取原始数据，将其投射到屏幕上，同时将该图像冗余拆分成7*9个小块图像，将每个小块图像归一化到(-1,1)为后续计算做准备。上述采用流水线多线程操作以提高运行效率。
优选地，将可疑目标检测模型和超分辨模型部署到GPU上，将7*9个小块送入可疑目标检测模型中进行计算，得到每个小块的定位点以及对应的分数。将分数大于0.5的小块对应的定位点的外接矩形找到，将其绘制在屏幕上，同时将预测的分数一起显示在对应的矩形框上。当用户点击对应的矩形框时，以矩形框为中心，裁剪大小为512*512的正方形区域，归一化后将其输入到超分辨模型中，得到高分辨率的增强图像，并且将其放大后显示在屏幕上以实现增强现实的效果。同步地，将检测到的可疑病变区域的图像以及位置保存供后续查阅。上述过程采用流水线式的多线程实现以提高计算效率。
通过上述的操作，本实施例能够达到5HZ的速度，基本能够实现的增强现实人工智能辅助筛查。
本发明的有益技术效果体现在：
(1)本发明实现了基于移动设备的病理或细胞等切片的扫描和辅助诊断，医生能够从手机屏幕上直接观察到可疑区域情况，亦可任意调整观测区域，整个系统符合医生阅片工作流程，对于没有昂贵的大型成像设备的偏远地区和细胞或病理学等筛查的普及具有积极作用。
(2)本发明中的三个部分切片扫描模块、可疑目标检测模块以及超分辨图像超分辨模块可能现有技术中分别存在可实现类似功能的装置或算法。但是如果仅仅简单组合现有的方法，则无法在移动设备上达到具有增强现实效果的实时筛查，因为这些装置或算法开发时针对的目标处理器是PC，在强劲的处理器上现存在的方法拥有良好的效果，但是无法迁移至移动端，原因在于两点。原因之一是当每个模块性能下降时，由于叠加效应，系统性能会大幅下降。原因之二是手机计算能力无法满足常规算法的高计算量的需求。而本发明针对移动设备(SoC芯片)运算性能不足以及成像质量有限的特点，分别设计了轻量化模型和超分辨图像增强算法，使得基于移动显微筛查系统成为了现实。
(3)本发明提出的基于MobileNet的可疑目标检测算法比常见的检测算法速度更快、实现更简单对于数据标注要求低。特别地，尤其适用于本发明所述的计算量小的特点。
(4)本发明提出的基于生成对抗模型的超分辨图像增强方法以轻量化为宗旨而设计，具有计算量小同时保持性能基本不下降的特点。本发明的超分辨模型能够实时运行在移动设备上，实时增强图像质量，使本系统的成像质量整体拔高，有利于医生对病变情况的把握。
(5)本发明提出的增强现实智能移动显微镜结合了轻量化的筛查以及图像增强算法，使便携式的移动筛查成为了可能，同时本发明不依赖高速网络，不依赖云端高性能服务器。使得本发明可以成为宫颈癌筛查的利器，尤其适用于各种小诊所以及没有高端设备的地区。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于移动设备的筛查系统，其特征在于，包括：
切片扫描模块，用于采集低分辨率的切片图像，所述切片扫描模块被设置在移动设备上；
可疑目标检测模块，用于将可疑目标检测训练样本集输入到可疑目标检测模型进行训练，还用于将所述切片图像输入到训练后的可疑目标检测模型，输出可疑目标信息；
图像超分辨模块，用于将图像超分辨训练样本集输入到超分辨模型进行训练，还用于根据所述可疑目标信息将可疑目标对应的低分辨率待增强图像输入到训练后的超分辨模型进行图像分辨率增强，输出高分辨率图像。
2.如权利要求1所述的一种基于移动设备的筛查系统，其特征在于，所述可疑目标检测模型包括分类模型和定位模型，所述分类模型采用深度可分离卷积实现，所述定位模型以所述分类模型输出的特征图作为输入，输出可疑目标检测结果。
3.如权利要求2所述的一种基于移动设备的筛查系统，其特征在于，所述分类模型是适用于在移动设备上运行的轻量化二分类模型，所述定位模型是适用于在移动设备上运行的轻量化分割模型。
4.如权利要求3所述的一种基于移动设备的筛查系统，其特征在于，所述将可疑目标检测训练样本集输入到可疑目标检测模型进行训练的过程具体是：
使用所述可疑目标检测训练样本集训练所述二分类模型，优化用于提取特征的卷积层和用于分类的全连层；
所述分割模型与分类模型共用部分卷积层，使用所述可疑目标检测训练样本集训练所述分割模型，其中共用的卷积层被设置为不可训练；
同时使用分类损失和定位损失联合优化所述二分类模型和分割模型。
5.如权利要求1、2、3或4所述的一种基于移动设备的筛查系统，其特征在于，所述超分辨模型是生成对抗模型，所述超分辨模型的生成器以组卷积和点卷积搭配构造出密集连接的残差块作为基本构件，所述生成器包括特征提取模块和重建模块，所述特征提取模块为堆叠所述基本构件并且使用残差连接构建的特征提取模型，所述重建模块用于使用上采样将所述特征提取模型输出的特征图放大后利用卷积重建为高分辨率图像。
6.如权利要求5所述的一种基于移动设备的筛查系统，其特征在于，使用L1损失、基于分类模型特征图的感知损失以及生成对抗损失联合来对所述超分辨模型进行训练。
7.如权利要求1、2、3或4所述的一种基于移动设备的筛查系统，其特征在于，所述可疑目标检测模型和超分辨模型均被量化为Float16且部署在所述移动设备的GPU上。
8.如权利要求1、2、3或4所述的一种基于移动设备的筛查系统，其特征在于，适用于不同类型的切片筛查；
所述可疑目标检测训练样本集包括多个检测训练子样本集，所述可疑目标检测模型包括多个检测子模型，每个检测训练子样本集对应一种切片类型，每个检测训练子样本集对应一个检测子模型，每个检测训练子样本集用于训练对应的检测子模型，将所述切片图像输入到训练后的与切片类型对应的检测子模型，输出可疑目标信息；
所述图像超分辨训练样本集包括多个超分辨训练子样本集，所述超分辨模型包括多个超分辨子模型，每个超分辨训练子样本集对应一种切片类型，每个超分辨训练子样本集对应一个超分辨子模型，每个超分辨训练子样本集用于训练对应的超分辨子模型，将可疑目标对应的低分辨率待增强图像输入到训练后的与切片类型对应的超分辨子模型，输出高分辨率图像。
9.如权利要求1、2、3或4所述的一种基于移动设备的筛查系统，其特征在于，包括交互及显示模块，所述交互及显示模块基于移动设备实现；
所述交互及显示模块用于接收并显示所述可疑目标检测模块输出的可疑目标检测结果，还用于接收用户选择的低分辨率待增强图像，还用于响应用户的选择将该低分辨率待增强图像发送给所述超分辨模块以进行图像分辨率增强，还用于接收并显示所述图像超分辨模块输出的高分辨率图像。
10.如权利要求1、2、3或4所述的一种基于移动设备的筛查系统，其特征在于，包括病例信息管理模块，用于实时存储筛查结果，并对存储的筛查结果进行管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381997.5A CN111652850A (zh) | 2020-05-08 | 2020-05-08 | 一种基于移动设备的筛查系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010381997.5A CN111652850A (zh) | 2020-05-08 | 2020-05-08 | 一种基于移动设备的筛查系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111652850A true CN111652850A (zh) | 2020-09-11 |
Family
ID=72347985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010381997.5A Pending CN111652850A (zh) | 2020-05-08 | 2020-05-08 | 一种基于移动设备的筛查系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652850A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822861A (zh) * | 2021-09-07 | 2021-12-21 | 中山大学中山眼科中心 | 一种眼表肿物的判断方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| US20190384962A1 (en) * | 2016-10-27 | 2019-12-19 | Scopio Labs Ltd. | Methods and systems for diagnostic platform |
-
2020
- 2020-05-08 CN CN202010381997.5A patent/CN111652850A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190384962A1 (en) * | 2016-10-27 | 2019-12-19 | Scopio Labs Ltd. | Methods and systems for diagnostic platform |
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
| CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 冯珂垚: "基于神经网络的高分辨率快速目标检测方法", vol. 26, no. 26, pages 192 * |
| 廖义奎: "《物联网移动软件开发》", 北京航空航天大学出版社, pages: 323 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822861A (zh) * | 2021-09-07 | 2021-12-21 | 中山大学中山眼科中心 | 一种眼表肿物的判断方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285215B (zh) | 一种人体三维模型重建方法、装置和存储介质 | |
| CN111474701B (zh) | 一种病理显微图像实时采集分析系统、方法、装置及介质 | |
| CN109919869A (zh) | 一种图像增强方法、装置及存储介质 | |
| TW202112299A (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
| WO2020133636A1 (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN113130049A (zh) | 基于云服务的智能病理图像诊断系统 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN111754431B (zh) | 一种图像区域替换方法、装置、设备及存储介质 | |
| CN110717405B (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN114283152A (zh) | 图像处理、图像处理模型的训练方法、装置、设备及介质 | |
| CN111652850A (zh) | 一种基于移动设备的筛查系统 | |
| CN113052166A (zh) | 病理图像的显示方法及装置 | |
| Ma et al. | STSRNet: Self-texture transfer super-resolution and refocusing network | |
| CN111652851A (zh) | 一种基于移动设备的超分辨显微系统 | |
| CN116612357A (zh) | 一种无监督rgbd多模态数据集的构建方法、系统和存储介质 | |
| CN116310335A (zh) | 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法 | |
| CN116071504A (zh) | 一种面向高分辨率图像的多视图立体重建方法 | |
| Jiang et al. | A novel IoMT system for pathological diagnosis based on intelligent mobile scanner and whole slide image stitching method | |
| CN113205526A (zh) | 基于多源信息融合的配电线路精准语义分割方法 | |
| CN113706438A (zh) | 一种图像处理的方法、相关装置、设备、系统及存储介质 | |
| CN113256693A (zh) | 基于K-means与正态分布变换的多视角配准方法 | |
| Bao et al. | Image processing technology in remote monitoring and intelligent medical system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |