CN113763315B - 玻片图像的信息获取方法、装置、设备及介质 - Google Patents
玻片图像的信息获取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113763315B CN113763315B CN202110540691.4A CN202110540691A CN113763315B CN 113763315 B CN113763315 B CN 113763315B CN 202110540691 A CN202110540691 A CN 202110540691A CN 113763315 B CN113763315 B CN 113763315B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- slide
- foreground region
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000001575 pathological effect Effects 0.000 claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000012216 screening Methods 0.000 claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 34
- 230000007170 pathology Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 44
- 238000005516 engineering process Methods 0.000 description 30
- 238000012549 training Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 206010061218 Inflammation Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002380 cytological effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000003292 glue Substances 0.000 description 3
- 230000002757 inflammatory effect Effects 0.000 description 3
- 230000004054 inflammatory process Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 210000000440 neutrophil Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种玻片图像的信息获取方法、装置、设备及介质,涉及医学图像分析领域。该方法包括:获取目标玻片图像,目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;对目标玻片图像中的前景区域进行识别,得到前景区域图像,前景区域用于指示目标玻片图像中装载有待观测细胞的区域;对前景区域图像进行特征提取,得到目标特征;基于目标特征对目标玻片图像进行背景类别预测,得到目标玻片对应的病理背景类别信息,病理背景类别信息用于指示前景区域中的待观测细胞的背景性特征。通过对目标玻片图像的前景区域进行提取,并通过对前景区域进行分析,确定待观测细胞的背景性特征,提升了病理学玻片的筛片阅片效率。
Description
技术领域
本申请涉及医学图像分析领域,特别涉及一种玻片图像的信息获取方法、装置、设备及介质。
背景技术
通过计算机实现病理图像分析在临床诊断的研究中已受到了广泛的关注和利用,为提高病症分析的整体效率,逐步通过计算机实现对病理图像的筛查。例如,行业内工作人员使用工艺将待观测细胞平铺在玻片上进行染色,得到细胞病理学玻片,然后通过扫描仪对该玻片进行扫描,通过计算机对玻片对应的病理切片图像进行筛选,以方便工作人员进行诊断。
在相关技术中,病理图像的处理主要包括获取扫描到的病理切片图像的组织区域,对获取到的组织区域通过预设模型进行图像质量的判读,其中,判读方式主要以二分类为主。
但由于其病理图像的处理针对的是组织区域的判别,对病理信息的获取存在局限性,对整体的筛片阅片效率的提升效果较差。
发明内容
本申请实施例提供了一种玻片图像的信息获取方法、装置、设备及介质,可以提升病理学玻片的筛片阅片效率。所述技术方案如下:
一方面,提供了一种玻片图像的信息获取方法,所述方法包括:
获取目标玻片图像,所述目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;
对所述目标玻片图像中的前景区域进行识别,得到前景区域图像,所述前景区域用于指示所述目标玻片图像中装载有所述待观测细胞的区域;
对所述前景区域图像进行特征提取,得到目标特征;
基于所述目标特征对所述目标玻片图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,所述病理背景类别信息用于指示所述前景区域中的所述待观测细胞的背景性特征。
另一方面,提供了一种玻片图像的信息获取装置,所述装置包括:
获取模块,用于获取目标玻片图像,所述目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;
识别模块,用于对所述目标玻片图像中的前景区域进行识别,得到前景区域图像,所述前景区域用于指示所述目标玻片图像中装载有所述待观测细胞的区域;
特征提取模块,用于对所述前景区域图像进行特征提取,得到目标特征;
预测模块,用于基于所述目标特征对所述目标玻片图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,所述病理背景类别信息用于指示所述前景区域中的所述待观测细胞的背景性特征。
另一方面,提供了一种计算机设备,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请实施例中任一所述的玻片图像的信息获取方法。
另一方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现本申请实施例中任一所述的玻片图像的信息获取方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的玻片图像的信息获取方法。
本申请的提供的技术方案至少包括以下有益效果:
当需要对目标玻片进行筛选及诊断时,通过对目标玻片图像中的前景区域进行识别,并对前景区域图像进行特征提取,对提取到的目标特征进行背景类别预测,确定目标玻片对应的病理背景类别,以方便医生获取玻片图像对应的病理背景信息,无需人工实现对玻片图像中病理背景信息的识别,提升了病理学玻片整体的筛片阅片效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机系统的结构框图;
图2是本申请一个示例性实施例提供的玻片图像的信息获取方法流程图;
图3是本申请一个示例性实施例提供的玻片图像示意图;
图4是本申请另一个示例性实施例提供的玻片图像的信息获取方法流程图;
图5是本申请一个示例性实施例提供的前景区域获取方法流程图;
图6是本申请另一个示例性实施例提供的玻片图像的信息获取方法流程图;
图7是本申请一个示例性实施例提供的玻片图像的信息获取方法的整体工作流程示意图;
图8是本申请一个示例性实施例提供的整体训练模型示意图;
图9是本申请一个示例性实施例提供的玻片图像的信息获取装置结构框图;
图10是本申请另一个示例性实施例提供的玻片图像的信息获取装置结构框图;
图11是本申请一个示例性实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例中涉及的名词进行简要介绍:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
细胞病理学:是指根据细胞内异常状况,研究疾病发生的原因、发病原理以及疾病发生过程中,细胞的生理功能发生改变的规律,从而提出诊断和防治疾病的依据的一门学科,例如:宫颈液基细胞学、甲状腺细胞学等。细胞病理学玻片是使用工艺将待观测细胞平铺在玻片上,进行染色后在镜下或通过阅片设备扫描进行诊断的玻片。
在本申请实施例中,通过人工智能技术中的计算机视觉技术实现对细胞病理学玻片的信息提取,以提升病理学玻片的筛片阅片的整体效率。
制片问题:是指在玻片制作过程或扫描过程汇总产生的问题,例如:划痕、褶皱、气泡、胶液、图像模糊等问题。
病理背景:是指通过观察玻片能够获取的细胞学病理上的一些全片特征,其具有病理意义,例如:血性背景代表全片出血,炎性背景代表中性粒细胞过度提示炎症,萎缩背景提示细胞处于老年状态等。
结合上述名词解释,对本申请实施例中的实施环境进行说明。请参考图1,其使出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统100包括:阅片设备101、终端102、服务器103和通信网络104。
阅片设备101用于提供玻片扫描功能,能够对玻片样本进行扫描,得到玻片图像。医生可以通过阅片设备101对待观察的玻片样本进行扫描,通过对阅片设备101提供的玻片图像进行观察,以实现病理诊断。示意性的,该阅片设备101对玻片的扫描分辨率可以是设备预设的,也可以是人工设置,在此不进行限定。示意性的,该阅片设备101可以是医学显微镜、数字病理全切片扫描仪等能够提供阅片功能的仪器。
终端102用于对从阅片设备101获取的玻片图像,并将玻片图像传输至服务器103,由服务器103实现数字化处理,得到玻片图像对应的信息,再由服务器103将信息返回至终端102,由终端102对信息进行显示。示意性的,该信息包括病理背景类别信息和/或制片问题类别信息。示意性的,该终端102可以是台式计算机、智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机、病理分析仪器等设备中的至少一种。
服务器103用于对从终端102接收到的玻片图像进行数字化处理,并将处理得到的结果返回至终端102。示意性的,服务器103通过预设神经网络实现对玻片图像的数字化处理过程,以实现对病理背景类别信息和/或制片问题类别信息的确定。可选的,服务器102为物理服务器或云服务器。
值得注意的是,上述服务器103可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。其中,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
在一些实施例中,上述服务器103还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链,本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
阅片设备101和终端102之间可以通过通信网络104建立通信连接,终端102可以通过通信网络104与服务器103建立通信连接。该网络可以是无线网络,也可以是有线网络。
示意性的,阅片设备101和终端102还可以实现为同一设备,即该设备即能够实现阅片设备101的玻片扫描功能,同时还能实现终端102的信息显示功能,在此不进行限定。示意性的,服务器103中的数字化处理功能也可以实现于终端102或阅片设备101中,即通过离线模式实现对玻片图像的数字化处理,在此不进行限定。
结合上述名词解释和实施环境,对本申请实施例中的应用场景进行说明:
随着自动化以及人工智能技术在医学领域的应用,逐渐实现通过计算机来辅助疾病诊断的过程。在本申请实施例中,通过计算机实现对待诊断的玻片的筛选和背景性信息的提取,实现数字化病理图像处理的过程。在本申请实施例中,以该玻片为细胞病理学玻片为例进行说明。
相关技术人员使用工艺将待观测细胞平铺在玻片上进行染色,制作得到细胞玻片,将该细胞玻片通过阅片设备扫描得到玻片图像。由于细胞玻片在制作过程或扫描过程中可能会产生影响玻片图像整体质量的问题,例如,在制作过程中出现载玻片划痕\裂痕问题,细胞平铺时的褶皱问题、气泡问题、胶液问题,手工标注问题等,在扫描过程中出现聚焦模糊等问题。因此,在将玻片图像提供至相关技术人员进行诊断之前,需要对玻片图像的图像质量进行确认。在本申请实施例中,在对扫描之后的玻片图像进行制片问题检测的同时,对玻片图像对应的病理背景信息进行识别,将制片问题信息以及病理背景信息的提取共同通过一个自动阅片流程实现,提高了整体的阅片筛片的效率。
请参考图2,其示出了本申请一个实施例示出的玻片图像的信息获取方法,在本申请实施例中,以该方法应用于如图1所示的服务器中,所述方法包括:
步骤201,获取目标玻片图像。
该目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像。目标玻片为技术人员使用工艺将待观测细胞平铺在载玻片上得到的待观察玻片。在本申请实施例中,以目标玻片用于装载待观测细胞为例,目标玻片还可以用于装载组织切片、体液等病理样本,在此不进行限定。目标玻片图像为制作完成的目标玻片通过阅片设备得到的图像。
步骤202,对目标玻片图像中的前景区域进行识别,得到前景区域图像。
前景区域用于指示目标玻片图像中装载有待观测细胞的区域。请参考图3,其示出了一个示例性的玻片图像300,其中包括前景区域301。在本申请实施例中,以该前景区域为圆形为例进行说明,该前景区域还可以是其他预设形状的区域,在此不进行限定。玻片图像中除了前景区域外,还包括其他区域,其他区域为目标玻片图像中区别于前景区域的区域,即不包含细胞和/或组织液等待识别样本内容的区域。
示意性的,在前景区域图像的识别之前,可以对目标玻片图像进行图像预处理,以提升前景区域的识别效果,其中,该图像预处理包括但不限于图像增强、图像灰度化、灰度级变换、直方图均衡化、几何变换等处理过程,在此不进行限定。
示意性的,可以通过对目标玻片图像进行灰度处理,以实现对前景区域的识别和提取。即,对目标玻片图像进行灰度处理,得到灰度图像;将灰度图像中灰度满足预设灰度要求的区域生成前景区域图像。其中,上述灰度处理方式包括但不限于分量法、最大值法、平均值法、加权平均值法中的至少一种,上述灰度图像还可以是二值图像。在一个示例中,以加权平均值法为例进行说明,获取目标玻片图像的灰度转换指标,根据该灰度转换指标将目标玻片图像中各个像素的像素值转换为灰度值,即对各个像素的RGB三个通道的像素值分量进行加权平均,得到像素对应的灰度值,并生成对应的灰度图像。上述灰度转换指标可以是系统预设的,也可以是技术人员根据具体的样本进行设置的,在此不进行限定。
当确定灰度图像后,获取预设灰度要求,根据该预设灰度要求确定灰度图像中前景区域的位置,在目标玻片图像中获取该前景区域对应的前景区域图像。例如,若经过灰度处理后的图像为灰度图像,其对应的预设灰度要求为将灰度图像中像素的灰度值高于150的像素区域确定为前景区域,则在目标玻片图像中将上述确定的前景区域对应的图像内容确定为前景区域图像。
步骤203,对前景区域图像进行特征提取,得到目标特征。
在确定前景区域图像后,可以在前景区域图像中提取对应的视野位置。即,对前景区域图像进行采样,提取得到视野位置图像。示意性的,该采样过程可以是对前景区域图像的均匀采样,也可以是其他采样方式。
可选的,可以根据预设采样率对前景区域图像进行采样,即获取预设采样率,以预设采样率对前景区域图像进行采样。该预设采样率可以是系统默认设定的,也可以是手动输入的,在此不进行限定。在一个示例中,系统默认设定的采样率为100%,则将前景区域图像均匀划分为n个视野位置,n为正整数,每个视野位置对应一个视野位置图像。
可选的,可以根据预设视野距离对前景区域图像进行采样,即获取预设距离,以预设距离对前景区域图像进行等距分割,提取得到固定数量n个固定大小的视野位置,n为正整数,每个视野位置对应一个视野位置图像。
在对前景区域图像进行采样得到若干视野位置图像后,对上述视野位置图像进行特征提取,得到目标特征。示意性的,将视野位置图像输入至目标神经网络进行特征提取,得到目标特征。该目标神经网络包括至少一个卷积层。该目标神经网络的基础模型可以是经典分类网络,该经典分类网络包括但不限于残差网络(Residual Network,ResNet)、稠密连接网络(Densely Connected Convolutional Networks,DenseNet)、深度卷积神经网络(Visual Geometry Group Network,VGGNet)等网络中的一种。
步骤204,基于目标特征对目标玻片图像进行背景类别预测,得到目标玻片对应的病理背景类别信息。
病理背景类别信息用于指示前景区域中的待观测细胞的背景性特征。病理背景是指通过观察玻片能够获取的细胞学病理上的一些全片特征,其具有病理意义,例如:血性背景代表全片出血,炎性背景代表中性粒细胞过度提示炎症,萎缩背景提示细胞处于老年状态等。
在本申请实施例中,基于目标特征,确定目标玻片图像与候选病理背景类别之间的第一概率数据;通过第一预设阈值对第一概率数据进行筛选,从候选病理背景类别中确定病理背景类别信息。
目标玻片图像与候选病理背景类别之间的概率可以通过预设分类网络确定。可选的,该预设分类网络为上述目标神经网络中的一部分,即前景区域图像经过目标神经网络进行特征提取,并对对应的病理背景类别进行预测,得到目标玻片图像相对于各个候选病理背景类别之间的概率。示意性的,该目标神经网络通过以标注病理背景类别的训练玻片图像训练得到。
可选的,该预设分类网络也可以是独立于上述目标神经网络的分类网络。示意性的,该预设分类网络提供有至少两种候选病理背景类别,预设分类网络用于计算目标玻片图像属于候选病理背景类别的概率,该预设分类网络可以通过支持向量机(SupportVector Machine,SVM)算法、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)算法、极端梯度提升(Extreme Gradient Boosting,Xgboost)算法中的至少一种算法训练得到。
当确定目标玻片图像与候选病理背景类别之间的第一概率数据之后,根据第一预设阈值对第一概率数据筛选,从候选病理背景类别中确定病理背景类别信息,其中,该病理背景类别信息中包括与目标玻片图像对应的m种病理背景类别,m≥0且m为整数。
综上所述,本申请实施例提供的玻片图像的信息获取方法,在需要对目标玻片进行筛选及诊断时,通过对目标玻片图像中的前景区域进行识别,并对前景区域图像进行特征提取,对提取到的目标特征进行背景类别预测,确定目标玻片对应的病理背景类别,以方便医生获取玻片图像对应的病理背景信息,无需人工实现对玻片图像中病理背景信息的识别,提升了病理学玻片整体的筛片阅片效率。
请参考图4,其示出了本申请另一个实施例示出的玻片图像的信息获取方法,在本申请实施例中,获取的玻片图像的信息还包括制片问题类别信息,所述方法包括:
步骤401,获取目标玻片图像。
该目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像。目标玻片为技术人员使用工艺将待观测细胞平铺在载玻片上得到的待观察玻片。
步骤402,对目标玻片图像中的前景区域进行识别,得到前景区域图像。
前景区域用于指示目标玻片图像中装载有待观测细胞的区域。在前景区域图像的识别之前,对目标玻片图像进行图像预处理,以提升前景区域的识别效果,其中,该图像预处理包括但不限于图像增强、图像灰度化、灰度级变换、直方图均衡化、几何变换等处理过程,在此不进行限定。
通过将目标玻片图像转换为灰度图像来确定前景区域。示意性的,对目标玻片图像进行灰度处理,得到灰度图像;将灰度图像中灰度满足预设灰度要求的区域生成前景区域图像。
步骤403,对前景区域图像进行特征提取,得到目标特征。
在确定前景区域图像后,可以在前景区域图像中提取对应的视野位置。即,对前景区域图像进行采样,提取得到视野位置图像。示意性的,根据预设视野距离对前景区域图像进行采样,即获取预设距离,以预设距离对前景区域图像进行等距分割,提取得到固定数量n个固定大小的视野位置,n为正整数,每个视野位置对应一个视野位置图像。
对上述视野位置图像进行特征提取,得到目标特征。示意性的,将视野位置图像输入至目标神经网络进行特征提取,得到目标特征。
步骤4041,基于目标特征对目标玻片图像进行背景类别预测,得到目标玻片对应的病理背景类别信息。
病理背景类别信息用于指示前景区域中的待观测细胞的背景性特征。病理背景是指通过观察玻片能够获取的细胞学病理上的一些全片特征,其具有病理意义,例如:血性背景代表全片出血,炎性背景代表中性粒细胞过度提示炎症,萎缩背景提示细胞处于老年状态等。
在本申请实施例中,基于目标特征,确定目标玻片图像与候选病理背景类别之间的第一概率数据;通过第一预设阈值对第一概率数据进行筛选,从候选病理背景类别中确定病理背景类别信息。
目标玻片图像与候选病理背景类别之间的概率可以通过预设分类网络确定。当确定目标玻片图像与候选病理背景类别之间的第一概率数据之后,根据第一预设阈值对第一概率数据筛选,从候选病理背景类别中确定病理背景类别信息,其中,该病理背景类别信息中包括与目标玻片图像对应的m种病理背景类别,m≥0且m为整数。
步骤4042,基于目标特征对目标玻片图像进行制片类别预测,确定目标玻片对应的制片问题类别信息。
制片问题用于指示目标玻片的制作过程和扫描过程中产生的问题。细胞玻片在制作过程或扫描过程中可能会产生影响玻片图像整体质量的问题,例如,在制作过程中出现载玻片划痕\裂痕问题,细胞平铺时的褶皱问题、气泡问题、胶液问题,手工标注问题等,在扫描过程中出现聚焦模糊等问题。
在本申请实施例中,基于目标特征,确定目标玻片图像与候选制片问题类别之间的第二概率数据;通过第二预设阈值对第二概率数据进行筛选,从候选制片问题类别中确定制片问题类别信息。
目标玻片图像与候选制片问题类别之间的概率也可以通过预设分类网络确定,该预设分类网络可以与上述对第一概率数据进行确定的预设分类网络相同,也可以不同,在此不进行限定。当确定目标玻片图像与制片问题类别之间的第二概率数据之后,根据第二预设阈值对第二概率数据筛选,从制片问题类别中确定制片问题类别信息,其中,该制片问题类别信息中包括与目标玻片图像对应的k种病理背景类别,k≥0且k为整数。
在本申请实施例中,根据确定的制片问题类别信息来确定目标玻片是否满足后续阅片要求。示意性的,在确定制片问题类别信息之后,获取玻片筛选要求,该玻片筛选要求用于确定目标玻片图像是否符合临床使用要求;响应于制片问题类别信息满足玻片筛选要求,将目标玻片图像确定为合格玻片图像。
可选的,步骤4041和步骤4042可以是同时进行的,在一个示例中,病理背景类别信息和制片问题类别信息由同一个预设分类网络确定,即该预设分类网络输出目标玻片图像与候选病理背景类别之间的第一概率数据,与候选制片问题类别之间的第二概率数据。
可选的,步骤4041和不收4042是顺序进行的。以先执行步骤4041为例,服务器首先通过第一预设分类网络确定第一概率数据,根据第一概率数据确定病理背景类别信息,并对病理背景类别信息进行输出,然后由第二预设分类网络确定第二概率数据,根据第二概率数据确定制片问题类别信息,并对制片问题类别信息进行输出。
在一个示例中,还可以先执行步骤4042,即服务器先通过第二预设分类网络确定第二概率数据,根据第二概率数据确定制片问题类别信息,响应于制片问题类别信息满足玻片筛选要求,则确定目标玻片图像为合格的玻片图像,再将目标特征输入至第一预设分类网络确定第一概率数据,根据第一概率数据确定病理背景类别信息,并将病理背景类别信息进行输出,响应于制片问题类别信息不满足玻片筛选要求,则不会将目标特征输入至第一预设分类网络,由于该目标玻片图像不合格,不会进行后续的阅片过程。
综上所述,本申请实施例提供的玻片图像的信息获取方法,在需要对目标玻片进行筛选及诊断时,通过对目标玻片图像中的前景区域进行识别,并对前景区域图像进行特征提取,对提取到的目标特征进行背景类别以及制片问题预测,确定目标玻片对应的病理背景类别和制片问题类别,以方便医生获取玻片图像对应的病理背景信息和制片问题类别信息。即,通过对制片问题的识别确定目标玻片图像是否符合阅片要求,以实现对目标玻片图像的筛选,并在制片问题的识别过程中同时进行病理背景信息的识别,无需人工实现对玻片图像中病理背景信息的识别,提升了病理学玻片整体的筛片阅片效率。
请参考图5,其示出了本申请一个实施例示出的前景区域获取方法。由于在扫描玻片的时候图像会受到很多干扰因素的影响,例如,记号笔,深色边框等,导致扫描图像里的细胞区域并不在扫描中心。并且细胞染色等因素可能导致细胞区域颜色过浅,灰度阈值可能会失效。由于液基细胞学的制片工艺决定细胞在玻片上的分布为正圆形,并且大小一定,因此,在本申请实施例中通过预设尺寸要求来确定前景区域图像。该前景区域获取方法包括:
步骤501,对目标玻片图像进行灰度化,得到第一灰度图像。
示意性的,可以通过分量法、最大值法、平均值法、加权平均值法中的至少一种图像灰度化方法对目标玻片图像进行处理,得到第一灰度图像。
步骤502,对第一灰度图像进行高斯模糊操作,得到第二灰度图像。
对第一灰度图像进行高斯模糊操作,使第一灰度图像对高频信息不敏感,着重于轮廓,同时填补可能由于细胞量缺乏导致的空隙,消除或降低该空隙对检测产生的影响。其中,该高斯模糊操作为使用一个从高斯分布中采样得到的掩膜和第一灰度图像中的每个像素及其邻域进行计算,将计算结果保存到输出图片中,得到第二灰度图像。
步骤503,对第二灰度图像进行灰度归一化,得到灰度图像。
由于染色的差异可能导致图像真实灰度很低影响检测,因此需要将第二灰度图像进行灰度归一化,即将全片灰度值的范围拉伸到相同范围。在一个示例中,灰度归一化通过利用灰度拉伸的方法将第二灰度图像中的灰度分布扩展到具有整个灰度级,以得到上述灰度图像。例如,第二灰度图像对应有256个灰度级,但由于染色的差异,图像真实灰度集中在较低的一个或几个灰度级区段,因此,通过公式一来实现灰度归一化,其中,N(i,j)为灰度图像中像素(i,j)的灰度值,I(i,j)为第二灰度图像中像素(i,j)的灰度值,min表示第二灰度图像中最小灰度值,max表示第二灰度图像中最大灰度值。
公式一:N(i,j)=(I(i,j)-min)/(max-min)*255
步骤504,通过霍夫变换确定灰度图像中具有预设形状的候选区域。
在本申请实施例中,由于液基细胞学的制片工艺决定细胞在玻片上的分布为正圆形,因此该预设形状为圆形。该预设形状还可以是其他形状,在此不进行限定,具体由玻片中的装载细胞的区域确定。通过霍夫变换算法来确定灰度图像中为圆形的至少一个候选区域。
步骤505,根据预设尺寸要求从候选区域中确定出前景区域图像。
上述前景区域是候选区域中与预设尺寸要求的匹配置信度最高的区域。由于液基细胞学的制片工艺决定细胞在玻片上的分布为正圆形且大小一定,因此可以根据预设尺寸要求从候选区域中筛选出目标区域,根据该目标区域生成前景区域图像。在一个示例中,求取每个候选区域与候选尺寸要求之间的匹配置信度,根据匹配置信度最高的区域生成前景区域图像。
在本申请实施例中,对目标玻片图像进行前景区域图像获取后,还需要对前景区域图像进行视野提取,其中,该视野提取方法包括步骤506~步骤508。
步骤506,对前景区域图像进行均匀采样,得到初始视野位置图像。
由于待检测的病理背景类别和制片问题类别是整个玻片普遍存在的,因此,在本申请实施例中,在检测出来的前景区域内以网格形式均匀采样提取若干目标视野位置,即在前景区域等距地提取固定数量n的固定大小的若干区域,这样可以在不扫描整个玻片的情况下有效地覆盖所有区域提取有效信息。采样得到的所有视野位置区域将被用于检测,每个视野位置区域对应一个初始视野位置图像,剩余区域将被忽略。
示意性的,步骤501~步骤506既可以在服务器中实现,也可以在阅片设备中实现,在此不进行限定。以在阅片设备中实现为例,由于扫描过程就是移动玻片然后对镜下区域连续拍照,全片图像存储的时候也是以单个区域图片的方法存储的,因此,可以在扫描过程中同时进行视野采样,以实现对初始视野位置图像的获取,进一步提升整体的阅片筛片效率。
步骤507,获取目标神经网络对应的分辨率要求。
阅片设备将目标玻片进行扫描后,传输给终端的目标玻片图像本身储存有图像分辨率信息,为了更准确的提取信息,避免由于分辨率差异带来的特征差异,提取的初始视野位置区域需要通过放缩变化来适配特征提取的目标神经网络使用的图像分辨率。示意性的,终端和/或服务器中存储有目标神经网络对应的分辨率要求。
步骤508,基于分辨率要求对初始视野位置图像进行分辨率调整,得到视野位置图像。
对初始视野位置图像进行放大或缩小,以适配上述分辨率要求,将缩放后的图像确定为视野位置图像。将视野位置图像输入至目标神经网络进行特征提取,得到目标特征。
综上所述,本申请实施例提供的前景区域获取方法,通过对目标玻片图像进行灰度处理,并通过高斯模糊操作、灰度归一化处理、霍夫变换来确定目标玻片图像中的前景区域,并对前景区域图像进行均匀采样,以及分辨率调整,以适配用于特征提取的目标神经网络,提高了玻片图像的信息获取的准确度。
请参考图6,其示出了本申请一个实施例示出的玻片图像的信息获取方法。在本申请实施例中,通过目标神经网络对从前景区域中提取得到的n个视野位置图像进行特征提取,n为正整数,其中,该目标神经网络包括特征提取子网络和特征连接子网络,特征提取子网络用于对n个视野位置图像分别进行特征提取,特征连接子网络用于对n个视野位置图像对应的目标子特征进行特征连接。
所述方法包括:
步骤601,获取目标玻片图像。
该目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像。
步骤602,对目标玻片图像中的前景区域进行识别,得到前景区域图像。
前景区域用于指示目标玻片图像中装载有待观测细胞的区域。在本申请实施例中,通过将目标玻片图像转换为灰度图像来确定前景区域。示意性的,对目标玻片图像进行灰度处理,得到灰度图像;将灰度图像中灰度满足预设灰度要求的区域生成前景区域图像。
步骤603,对前景区域图像进行采样,提取得到n个视野位置图像。
示意性的,对前景区域图像进行均匀采样,得到初始视野位置图像,并根据目标神经网络对应的分辨率要求对初始视野位置图像进行缩放操作,得到n个视野位置图像。
步骤604,将第i个视野位置图像输入至特征提取子网络,得到第i个目标子特征。
其中,0<i≤n,且i为整数。
在本申请实施例中,目标神经网络包括特征提取子网络和特征连接子网络。通过将视野位置图像输入至特征提取子网络中,通过特征提取子网络对各个视野位置图像的特征进行提取,得到与n个视野位置图像分别对应的n个目标子特征,在一个示例中,该目标子特征长度为l。示意性的,该特征提取子网络由至少一层卷积层组成。
步骤605,响应于n个视野位置图像的特征提取完毕,将n个目标子特征输入至特征连接子网络,得到目标特征。
当n个视野位置图像的特征均提取完毕后,将对应的n个目标子特征输出至特征连接子网络,按照顺序将n个目标子特征进行特征连接,得到一个能够代表整个目标玻片图像信息的目标特征,该目标特征的长度为n*l。
步骤606,基于目标特征对目标玻片图像进行背景类别预测,得到目标玻片对应的病理背景类别信息。
病理背景类别信息用于指示前景区域中的待观测细胞的背景性特征。在本申请实施例中,基于目标特征,确定目标玻片图像与候选病理背景类别之间的第一概率数据;通过第一预设阈值对第一概率数据进行筛选,从候选病理背景类别中确定病理背景类别信息。
步骤607,基于目标特征对目标玻片图像进行制片类别预测,得到目标玻片对应的制片问题类别信息。
制片问题用于指示目标玻片的制作过程和扫描过程中产生的问题。在本申请实施例中,基于目标特征,确定目标玻片图像与候选制片问题类别之间的第二概率数据;通过第二预设阈值对第二概率数据进行筛选,从候选制片问题类别中确定制片问题类别信息。
请参考图7,其示出了本申请实施例提供的玻片图像的信息获取方法的整体工作流程示意图。前景区域图像710经过采样后得到n个视野位置图像720,n个视野位置图像720经过特征提取子网络701进行特征提取后得到n个目标子特征730,通过特征连接子网络702进行特征连接后,得到目标特征740,通过预设分类网络703对目标特征进行类别预测,得到病理背景类别信息和/或制片问题类别信息750。
在一个示例中,对目标神经网络的训练进行说明。如图8所示,其示出了整体训练模型的训练部分810和部署部分820,该训练部分810中使用的训练模型基础可以是经典分类网络,在训练阶段,训练模型的输入为典型的各个类别的图像,即训练图像是已经确定属于候选病理背景类别和/或候选制片问题类别之一的图像,由于各个类别之间并不互斥,因此训练模型的输出目标并不为单元值,而是一个长度为类别数量的向量,如果输入图像中包含特定类别的情况,则该类别向量为1,否则则为0。训练模型在完成训练后,用于实际的部署过程中,并不需要完整的训练模型,即部署部分820只使用倒数第二层全连接层的输出1*1*(向量长度)的结果作为输出,即将该输出作为通过目标神经网络得到的用于类别预测的目标特征。
综上所述,本申请实施例提供的玻片图像的信息获取方法,在需要对目标玻片进行筛选及诊断时,通过对目标玻片图像中的前景区域进行识别,通过目标神经网络中的特征提取子网络对前景区域图像进行特征提取,通过特征连接子网络对提取到的特征进行连接,得到目标特征,通过对目标特征进行类别预测,得到病理背景类别和/或制片问题类别,以方便医生获取玻片图像对应的病理背景信息和制片问题类别信息。即,通过对制片问题的识别确定目标玻片图像是否符合阅片要求,以实现对目标玻片图像的筛选,并在制片问题的识别过程中同时进行病理背景信息的识别,无需人工实现对玻片图像中病理背景信息的识别,提升了病理学玻片整体的筛片阅片效率。
请参考图9,其示出了本申请一个示例性的实施例提供的玻片图像的信息获取装置结构框图,该装置包括如下模块:
获取模块910,用于获取目标玻片图像,所述目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;
识别模块920,用于对所述目标玻片图像中的前景区域进行识别,得到前景区域图像,所述前景区域用于指示所述目标玻片图像中装载有所述待观测细胞的区域;
特征提取模块930,用于对所述前景区域图像进行特征提取,得到目标特征;
预测模块940,用于基于所述目标特征对所述目标玻片图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,所述病理背景类别信息用于指示所述前景区域中的所述待观测细胞的背景性特征。
在一个可选的实施例中,如图10所示,所述预测模块940,还包括:
概率确定单元941,用于基于所述目标特征,确定所述目标玻片图像与候选病理背景类别之间的第一概率数据;
筛选单元942,用于通过第一预设阈值对所述第一概率数据进行筛选,从所述候选病理背景类别中确定所述病理背景类别信息。
在一个可选的实施例中,所述概率确定单元941,还用于将所述目标特征输入至预设分类网络,得到所述目标玻片图像与所述候选病理背景类别之间的所述第一概率数据,所述预设分类网络提供有至少两种所述候选病理背景类别,所述预设分类网络用于计算所述目标玻片图像属于所述候选病理背景类别的概率。
在一个可选的实施例中,所述识别模块920,还包括:
灰度处理单元921,用于对所述目标玻片图像进行灰度处理,得到灰度图像;
生成单元922,用于将所述灰度图像中灰度满足预设灰度要求的区域生成所述前景区域图像。
在一个可选的实施例中,所述灰度处理单元921,还用于对所述目标玻片图像进行灰度化,得到第一灰度图像;
所述灰度处理单元921,还用于对所述第一灰度图像进行高斯模糊操作,得到第二灰度图像;
所述灰度处理单元921,还用于对所述第二灰度图像进行灰度归一化,得到所述灰度图像。
在一个可选的实施例中,所述生成单元922,还用于通过霍夫变换确定所述灰度图像中具有预设形状的候选区域;
所述生成单元922,还用于根据预设尺寸要求从所述候选区域中确定出所述前景区域图像,所述前景区域是所述候选区域中与所述预设尺寸要求的匹配置信度最高的区域。
在一个可选的实施例中,所述特征提取模块930,还包括:
采样单元931,用于对所述前景区域图像进行采样,提取得到视野位置图像;
提取单元932,用于将所述视野位置图像输入至目标神经网络进行特征提取,得到所述目标特征。
在一个可选的实施例中,所述采样单元931,还用于对所述前景区域图像进行均匀采样,得到所述初始视野位置图像;
所述特征提取模块930还包括:获取单元933,用于获取所述目标神经网络对应的分辨率要求;
调整单元934,用于基于所述分辨率要求对所述初始视野位置图像进行分辨率调整,得到所述视野位置图像。
在一个可选的实施例中,所述前景区域提取得到n个所述视野位置图像,n为正整数,所述目标神经网络包括特征提取子网络和特征连接子网络;
所述提取单元932,还用于将第i个所述视野位置图像输入至所述特征提取子网络,得到第i个目标子特征,0<i≤n;
所述提取单元932,还用于响应于所述n个视野位置图像的特征提取完毕,将n个所述目标子特征输入至所述特征连接子网络,得到所述目标特征。
在一个可选的实施例中,所述预测模块940,还用于基于所述目标特征对所述目标玻片图像进行制片类别预测,确定所述目标玻片对应的制片问题类别信息,所述制片问题用于指示所述目标玻片的制作过程和扫描过程中产生的问题。
在一个可选的实施例中,所述概率确定单元941,还用于基于所述目标特征,确定所述目标玻片图像与候选制片问题类别之间的第二概率数据;
所述筛选单元942,还用于通过第二预设阈值对所述第二概率数据进行筛选,从所述候选制片问题类别中确定所述制片问题类别信息。
在一个可选的实施例中,所述获取模块910,还用于获取玻片筛选要求,所述玻片筛选要求用于确定所述目标玻片图像符合临床使用要求;
所述概率确定单元941,还用于响应于所述制片问题类别信息满足所述玻片筛选要求,将所述目标玻片图像确定为合格玻片图像。
综上所述,本申请实施例提供的玻片图像的信息获取装置,在需要对目标玻片进行筛选及诊断时,通过对目标玻片图像中的前景区域进行识别,并对前景区域图像进行特征提取,对提取到的目标特征进行背景类别预测,确定目标玻片对应的病理背景类别,以方便医生获取玻片图像对应的病理背景信息,无需人工实现对玻片图像中病理背景信息的识别,提升了病理学玻片整体的筛片阅片效率。
需要说明的是:上述实施例提供的玻片图像的信息获取装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的玻片图像的信息获取装置与玻片图像的信息获取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲包括如下结构。
服务器1100包括中央处理单元(Central Processing Unit,CPU)1101、包括随机存取存储器(Random Access Memory,RAM)1102和只读存储器(Read Only Memory,ROM)1103的系统存储器1104,以及连接系统存储器1104和中央处理单元1101的系统总线1105。服务器1100还包括用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1106。
大容量存储设备1106通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1106及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说,大容量存储设备1106可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(Digital Versatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1106可以统称为存储器。
根据本申请的各种实施例,服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的生物识别方法。可选地,该计算机设备可以是终端,也可以是服务器。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的生物识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的生物识别方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种玻片图像的信息获取方法,其特征在于,所述方法包括:
获取目标玻片图像,所述目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;
对所述目标玻片图像进行灰度化,得到第一灰度图像;
对所述第一灰度图像进行高斯模糊操作,得到第二灰度图像;
对所述第二灰度图像进行灰度归一化,得到所述灰度图像;
通过霍夫变换确定所述灰度图像中具有预设形状的候选区域;
根据预设尺寸要求从所述候选区域中确定出前景区域图像,所述前景区域用于指示所述目标玻片图像中装载有所述待观测细胞的区域,所述前景区域是所述候选区域中与所述预设尺寸要求的匹配置信度最高的区域;
对所述前景区域图像进行特征提取,得到目标特征;
基于所述目标特征对所述前景区域图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,所述病理背景类别信息用于指示所述前景区域中的所述待观测细胞的背景性特征。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征对所述目标玻片图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,包括:
基于所述目标特征,确定所述目标玻片图像与候选病理背景类别之间的第一概率数据;
通过第一预设阈值对所述第一概率数据进行筛选,从所述候选病理背景类别中确定所述病理背景类别信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标特征,确定所述目标玻片图像与候选病理背景类别之间的第一概率数据,包括:
将所述目标特征输入至预设分类网络,得到所述目标玻片图像与所述候选病理背景类别之间的所述第一概率数据,所述预设分类网络提供有至少两种所述候选病理背景类别,所述预设分类网络用于计算所述目标玻片图像属于所述候选病理背景类别的概率。
4.根据权利要求1至3任一所述的方法,其特征在于,所述对所述前景区域图像进行特征提取,得到目标特征,包括:
对所述前景区域图像进行采样,提取得到视野位置图像;
将所述视野位置图像输入至目标神经网络进行特征提取,得到所述目标特征。
5.根据权利要求4所述的方法,其特征在于,所述对所述前景区域图像进行采样,提取得到视野位置图像,包括:
对所述前景区域图像进行均匀采样,得到所述初始视野位置图像;
获取所述目标神经网络对应的分辨率要求;
基于所述分辨率要求对所述初始视野位置图像进行分辨率调整,得到所述视野位置图像。
6.根据权利要求4所述的方法,其特征在于,所述前景区域提取得到n个所述视野位置图像,n为正整数,所述目标神经网络包括特征提取子网络和特征连接子网络;
所述将所述视野位置图像输入至目标神经网络进行特征提取,得到所述目标特征,包括:
将第i个所述视野位置图像输入至所述特征提取子网络,得到第i个目标子特征,0<i≤n;
响应于所述n个视野位置图像的特征提取完毕,将n个所述目标子特征输入至所述特征连接子网络,得到所述目标特征。
7.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
基于所述目标特征对所述目标玻片图像进行制片类别预测,确定所述目标玻片对应的制片问题类别信息,所述制片问题用于指示所述目标玻片的制作过程和扫描过程中产生的问题。
8.根据权利要求7所述的方法,其特征在于,所述基于所述目标特征对所述目标玻片图像进行制片类别预测,确定所述目标玻片对应的制片问题类别信息,包括:
基于所述目标特征,确定所述目标玻片图像与候选制片问题类别之间的第二概率数据;
通过第二预设阈值对所述第二概率数据进行筛选,从所述候选制片问题类别中确定所述制片问题类别信息。
9.根据权利要求8所述的方法,其特征在于,所述通过第二预设阈值对所述第二概率数据进行筛选,从所述候选制片问题类别中确定所述制片问题类别信息之后,还包括:
获取玻片筛选要求,所述玻片筛选要求用于确定所述目标玻片图像符合临床使用要求;
响应于所述制片问题类别信息满足所述玻片筛选要求,将所述目标玻片图像确定为合格玻片图像。
10.一种玻片图像的信息获取装置,其特征在于,所述装置包括:
获取模块,用于获取目标玻片图像,所述目标玻片图像为对装载有待观测细胞的目标玻片进行扫描得到的图像;
灰度处理单元,用于对所述目标玻片图像进行灰度化,得到第一灰度图像;
所述灰度处理单元,还用于对所述第一灰度图像进行高斯模糊操作,得到第二灰度图像;
所述灰度处理单元,还用于对所述第二灰度图像进行灰度归一化,得到所述灰度图像;
生成单元,用于通过霍夫变换确定所述灰度图像中具有预设形状的候选区域;
所述生成单元,还用于根据预设尺寸要求从所述候选区域中确定出所述前景区域图像,所述前景区域用于指示所述目标玻片图像中装载有所述待观测细胞的区域,所述前景区域是所述候选区域中与所述预设尺寸要求的匹配置信度最高的区域;
特征提取模块,用于对所述前景区域图像进行特征提取,得到目标特征;
预测模块,用于基于所述目标特征对所述前景区域图像进行背景类别预测,得到所述目标玻片对应的病理背景类别信息,所述病理背景类别信息用于指示所述前景区域中的所述待观测细胞的背景性特征。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至9任一所述的玻片图像的信息获取方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至9任一所述的玻片图像的信息获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110540691.4A CN113763315B (zh) | 2021-05-18 | 2021-05-18 | 玻片图像的信息获取方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110540691.4A CN113763315B (zh) | 2021-05-18 | 2021-05-18 | 玻片图像的信息获取方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113763315A CN113763315A (zh) | 2021-12-07 |
CN113763315B true CN113763315B (zh) | 2023-04-07 |
Family
ID=78787164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110540691.4A Active CN113763315B (zh) | 2021-05-18 | 2021-05-18 | 玻片图像的信息获取方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763315B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019305B (zh) * | 2022-08-08 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | 一种根尖细胞的识别方法、装置、设备及可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112380900A (zh) * | 2020-10-10 | 2021-02-19 | 深圳视见医疗科技有限公司 | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7087390B2 (ja) * | 2018-01-09 | 2022-06-21 | カシオ計算機株式会社 | 診断支援装置、画像処理方法及びプログラム |
CN110334565A (zh) * | 2019-03-21 | 2019-10-15 | 江苏迪赛特医疗科技有限公司 | 一种显微镜病理照片的宫颈癌病变细胞分类系统 |
CN111461165A (zh) * | 2020-02-26 | 2020-07-28 | 上海商汤智能科技有限公司 | 图像识别方法、识别模型的训练方法及相关装置、设备 |
CN111681738B (zh) * | 2020-06-09 | 2024-05-07 | 平安科技(深圳)有限公司 | 基于病理切片扫描和分析一体化方法、装置、设备及介质 |
CN111524137B (zh) * | 2020-06-19 | 2024-04-05 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN111899246B (zh) * | 2020-07-30 | 2023-09-19 | 平安科技(深圳)有限公司 | 玻片数字化信息质量检测方法、装置、设备及介质 |
CN112581438B (zh) * | 2020-12-10 | 2022-11-08 | 腾讯医疗健康(深圳)有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
-
2021
- 2021-05-18 CN CN202110540691.4A patent/CN113763315B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112380900A (zh) * | 2020-10-10 | 2021-02-19 | 深圳视见医疗科技有限公司 | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113763315A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11373305B2 (en) | Image processing method and device, computer apparatus, and storage medium | |
CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
CN110853022B (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
US11688061B2 (en) | Interpretation of whole-slide images in digital pathology | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
CN111899246A (zh) | 玻片数字化信息质量检测方法、装置、设备及介质 | |
CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
CN112330624A (zh) | 医学图像处理方法和装置 | |
CN111127400A (zh) | 一种乳腺病变检测方法和装置 | |
CN113344862A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN114332457A (zh) | 图像实例分割模型训练、图像实例分割方法和装置 | |
CN115409804A (zh) | 一种乳腺磁共振影像的病灶区域识别标注及疗效预测方法 | |
Li et al. | Deep learning segmentation of glomeruli on kidney donor frozen sections | |
CN113763315B (zh) | 玻片图像的信息获取方法、装置、设备及介质 | |
RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
CN115239655A (zh) | 一种甲状腺超声影像肿瘤分割分类方法及装置 | |
Wang et al. | Multicell migration tracking within angiogenic networks by deep learning-based segmentation and augmented Bayesian filtering | |
CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 | |
WO2021139447A1 (zh) | 一种宫颈异常细胞检测装置及方法 | |
CN111339899B (zh) | 导管特征获取方法、装置、设备、介质和智能显微镜 | |
CN111815748A (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
CN111554384A (zh) | 基于先验感知和多任务学习的腺癌病理图像分析方法 | |
WO2023220913A1 (zh) | 细胞图像处理方法、电子设备以及存储介质 | |
CN113706450A (zh) | 图像配准方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |