CN114639099A - 显微图像中目标物的识别定位方法、装置、设备和介质 - Google Patents
显微图像中目标物的识别定位方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN114639099A CN114639099A CN202011481033.4A CN202011481033A CN114639099A CN 114639099 A CN114639099 A CN 114639099A CN 202011481033 A CN202011481033 A CN 202011481033A CN 114639099 A CN114639099 A CN 114639099A
- Authority
- CN
- China
- Prior art keywords
- microscopic image
- image
- channel
- sample
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000013135 deep learning Methods 0.000 claims description 91
- 238000012549 training Methods 0.000 claims description 68
- 230000002550 fecal effect Effects 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 11
- 239000012535 impurity Substances 0.000 abstract description 7
- 210000004681 ovum Anatomy 0.000 description 28
- 235000013601 eggs Nutrition 0.000 description 14
- 102000002322 Egg Proteins Human genes 0.000 description 12
- 108010000912 Egg Proteins Proteins 0.000 description 12
- 241000238631 Hexapoda Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及生物图像处理技术领域，提供了一种显微图像中目标物的识别定位方法、装置、计算机设备和存储介质。本申请采用多通道多模型集中获取和学习目标物样本在显微图像样本中的特征信息并对显微图像样本中的目标物样本进行专注识别，并利用训练后的多通道多模型分别输出各自对显微图像中目标物的识别定位结果，再综合各模型的识别定位结果对显微图像中目标物进行识别定位，从而能够有效消除显微图像中杂质和其他特征相似成分的干扰性，解决显微图像复杂性质的问题，实现显微图像中目标物的精准识别和定位，避免漏检错检。
Description
技术领域
本申请涉及生物图像处理技术领域，特别是涉及一种显微图像中目标物的识别定位方法、装置、计算机设备和存储介质。
背景技术
随着生物技术的发展，出现了对显微图像中目标物进行识别定位的技术。生物图像处理技术中所提供的目标物识别定位方案包括阈值分割、多类支持向量机、分水岭算法、形态学分割等识别算法，主要进行细胞分割、特征提取和细胞分类等处理。
然而，显微图像中通常会存在杂质和其他与目标物的特征相似等成分的干扰性，导致这种技术对对显微图像中目标物的识别定位的准确度较低，从而容易出现对目标物的漏检错捡。以粪便虫卵显微图像为例，粪便虫卵显微图像中杂质和其他特征相似成分的干扰性，而传统方案容易受到粪便虫卵显微图像复杂性质的影响存在识别准确度较低的问题，对图像中粪便虫卵的识别容易出现漏检错检。
发明内容
基于此，有必要针对上述技术问题，提供一种显微图像中目标物的识别定位方法、装置、计算机设备和存储介质。
一种显微图像中目标物的识别定位方法，所述方法包括：
获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；
基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；
针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；
分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；
将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；
基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
一种显微图像中目标物的识别定位装置，包括：
样本获取模块，用于获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；
中心定位模块，用于基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；
图像裁剪模块，用于针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；
图像拼接模块，用于分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
模型训练模块，用于基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；
多模型定位模块，用于将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；
综合定位模块，用于基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
上述显微图像中目标物的识别定位方法、装置、计算机设备和存储介质，采用多通道多模型集中获取和学习目标物样本在显微图像样本中的特征信息并对显微图像样本中的目标物样本进行专注识别，并利用训练后的多通道多模型分别输出各自对显微图像中目标物的识别定位结果，再综合各模型的识别定位结果对显微图像中目标物进行识别定位，从而能够有效消除显微图像中杂质和其他特征相似成分的干扰性，解决显微图像复杂性质的问题，实现显微图像中目标物的精准识别和定位，避免漏检错检。
附图说明
图1为一个实施例中显微图像中目标物的识别定位方法的流程示意图；
图2为一个实施例中显微图像中粪便虫卵的识别定位方法的原理示意图；
图3为一个实施例中深度学习网络模型结构图；
图4为一个实施例中显微图像中目标物的识别定位装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种显微图像中目标物的识别定位方法，该方法可以计算机设备执行，该计算机设备可以是终端也可以是服务器，其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。该方法可以包括如下步骤：
步骤S101，获取包含目标物样本的显微图像样本，并获取显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本。
其中，用于深度学习网络模型训练的显微图像称为显微图像样本，而显微图像样本中所包含的目标物称为目标物样本。举例来说，显微图像可以是包含粪便虫卵的粪便虫卵显微图像，而粪便虫卵即对应前述目标物，用于深度学习网络模型训练的粪便虫卵显微图像，称为粪便虫卵显微图像样本，该图像样本所包含的粪便虫卵称为粪便虫卵样本。
本步骤中，将目标物样本玻片放置于显微镜下后，计算机设备可通过显微镜成像装置拍摄获取包含该目标物样本的显微图像样本，该显微图像样本可具有一定图像尺寸，该图像尺寸可以是1024×1024。其中，该显微图像样本为彩色图像，计算机设备可将该显微图像样本进行预设颜色空间的变换，分离出该预设颜色空间中各通道对应的图像，得到多通道显微图像样本。在一些实施例中，预设颜色空间可以是HSV颜色空间，各通道包括H通道、S通道和V通道，基于此，计算机设备可将显微图像样本进行HSV颜色空间变换，并分离出H通道、S通道和V通道彩色图像，得到前述多通道显微图像样本。
步骤S102，基于各通道显微图像样本对应的二值化图像的像素信息，确定各通道显微图像样本中目标物样本的定位中心；
本步骤中，计算机设备可分别将各通道显微图像样本进行灰度化，得到各通道显微图像样本的灰度图像，再将各通道显微图像样本的灰度图像进行二值化，得到各通道显微图像样本的二值化图像，然后计算机设备可基于各通道显微图像样本对应的二值化图像所包含的像素信息，分别对各通道显微图像样本中目标物样本的中心进行定位，得到各通道显微图像样本中目标物样本的定位中心。
在一些实施例中，步骤S102具体包括：对各通道显微图像样本进行二值化处理，得到各通道显微图像样本对应的二值化图像；根据各通道显微图像样本对应的二值化图像中用于表征目标物样本的像素的像素值以及像素坐标，计算定位中心。
本实施例中，以多通道显微图像样本包括H通道显微图像样本、S通道显微图像样本和V通道显微图像样本为例进行说明。具体的，计算机设备可以分别将H通道、S通道和V通道显微图像样本进行灰度化，得到H通道、S通道和V通道显微图像样本的灰度图像，再分别将H通道、S通道和V通道显微图像样本的灰度图像进行二值化处理，得到H通道、S通道和V通道显微图像样本的二值化图像。接着，计算机设备可以分别基于H通道、S通道和V通道显微图像样本的二值化图像中用于表征目标物样本的像素点的像素值以及像素坐标，分别计算出H通道、S通道和V通道显微图像样本中目标物样本的定位中心。具体的，计算机设备可对各通道显微图像样本采用如下中心定位公式对各自所包含的目标物样本的中心(X，Y)进行定位：
其中，(xi，yi)表示像素点的像素坐标，pi是像素点的像素值，n是像素点的数量。通过该中心定位公式可以准确定位各通道显微图像样本中目标物样本的定位中心。
步骤S103，针对各通道显微图像样本，以定位中心为裁剪中心裁剪出具有预设尺寸且包含目标物样本的多个图像块，得到各通道对应的多个图像块；
本步骤主要是在各通道显微图像样本中裁剪出多个具有预设尺寸且包含目标物样本的多个图像块。具体的，针对于各通道显微图像样本，计算机设备以上述步骤S102所确定的定位中心作为裁剪中心，裁剪出具有预设尺寸且包含目标物样本的多个图像块，得到每个通道对应的多个图像块。示例性的，计算机设备在获得目标物样本的定位中心后，基于该定位中心并以例如64×64像素作为预设尺寸，分别从各通道显微图像样本中裁剪出仅包含目标物样本的图像块(或称小图)，每个通道均可裁剪出多个图像块，每个图像块的尺寸均为64×64，从而计算机设备可得到各通道对应的多个仅包含目标物样本的图像块。
步骤S104，分别将各通道对应的多个图像块拼接形成与显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
本步骤主要是分别将每个通道对应的一定数量的图像块进行拼接，拼接形成与前述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本。具体的，设每个通道对应的图像块的尺寸均为64×64，显微图像样本的图像尺寸为1024×1024，则计算机设备可在每个通道中分别将16×16张图像块进行拼接，拼接形成与原始图像即显微图像样本的图像尺寸相同(即均为1024×1024)的图像，得到多通道拼接图像样本(或称大图)，示例性的，以HSV颜色空间和粪便虫卵显微图像为例，计算机设备即可得到经由H通道、S通道和V通道的粪便虫卵小图(16×16张)合成的与原始图像大小一样的大图(1024×1024)，也即得到H通道、S通道和V通道的拼接图像样本。
步骤S105，基于对多通道拼接图像样本以及显微图像样本中目标物样本的标注，将多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练。
本步骤中，相应的深度学习网络模型可以包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型。以HSV颜色空间为例，相应的深度学习网络模型可以包括与H通道对应的深度学习网络模型A、与S通道对应的深度学习网络模型B、与V通道对应的深度学习网络模型C以及与原始图像(即未经通道分离的显微图像样本)对应的深度学习网络模型D。计算机设备在得到多通道拼接图像样本后，可通过例如LabelImg标注工具对该多通道拼接图像样本和显微图像样本中所包含的目标物样本进行标注，基于该标注，分别将H通道的拼接图像样本输入至深度学习网络模型A、将S通道的拼接图像样本输入至深度学习网络模型B、将V通道的拼接图像样本输入至深度学习网络模型C以及将显微图像样本输入至深度学习网络模型D进行训练。
步骤S106，将待识别的显微图像输入至训练后的各深度学习网络模型，并获取各深度学习网络模型分别输出的针对显微图像中目标物的多个识别定位结果；
对各深度学习网络模型的训练完成后，计算机设备可通过显微镜成像装置拍摄拍摄待识别的显微图像，将该显微图像输入到前述训练后的各深度学习网络模型，经由各深度学习网络模型分别输出针对该显微图像中目标物的多个识别定位结果。
步骤S107，基于多个识别定位结果，对显微图像中目标物进行识别定位。
本步骤主要是计算机设备可综合各深度学习网络模型输出的识别定位结果对待识别的显微图像中目标物进行识别定位。在一个实施例中，步骤S107可以包括：计算机设备对多个识别定位结果采用类内非极大值抑制(NMS，Non-Maximum Suppression)，得到各识别定位结果的置信度；将多个识别定位结果中具有最高置信度的识别定位结果，作为对显微图像中目标物的识别定位结果。也即，计算机设备对前述步骤S106中得到的各深度学习网络模型输出的识别定位结果采用类内非极大值抑制(NMS)筛查复合，将这些识别定位结果中置信度最高的作为最终的识别定位结果进行输出，提高识别定位的准确性。
在一示例性实施例中，以HSV颜色空间以及粪便虫卵显微图像为例，结合图2对上述方法做进一步说明：
计算机设备可通过显微镜成像装置采集粪便虫卵显微图像，该图像可称为原始图像，其图像尺寸为1024×1024。然后，计算机设备将粪便虫卵显微图像进行HSV颜色空间变换，分离出H通道、S通道和V通道彩色图像，分别将H通道、S通道和V通道彩色图像进行灰度化，得到H通道、S通道和V通道灰度图像，在分别将通道、S通道和V通道灰度图像进行二值化，得到H通道、S通道和V通道二值化图像，对各通道二值化图像采用上述中心定位公式对粪便虫卵中心进行定位，获得粪便虫卵中心位置后，基于该中心以64×64尺寸提取粪便虫卵，分别从H通道、S通道和V通道彩色图像中裁剪出仅包含粪便虫卵的图像块(64×64)，分别得到H通道、S通道和V通道彩色图像的粪便虫卵图像块，然后计算机设备可用图像拼接技术分别对该H通道、S通道和V通道的粪便虫卵图像块(16×16张)合成与原始图像的图像尺寸一样的粪便虫卵拼接图，接着计算机设备可通过例如LabelImg标注工具对H通道、S通道、V通道的粪便虫卵拼接图和粪便虫卵显微图像进行标注，并基于该标注，将H通道、S通道、V通道的粪便虫卵拼接图分别输入到深度学习模型A至C，以及将粪便虫卵显微图像输入到深度学习模型D进行训练。对模型的训练完成后，计算机设备便可利用训练后的深度学习模型A至D对待识别的粪便虫卵显微图像进行粪便虫卵的识别定位，获取训练后的深度学习模型A至D输出的识别定位结果，将这些识别定位结果采用类内非极大值抑制筛查复合，将这些识别定位结果中置信度最高的作为最终的识别定位结果进行输出，以提高识别定位的准确性。
上述显微图像中目标物的识别定位方法，计算机设备采用多通道多模型集中获取和学习目标物样本在显微图像样本中的特征信息并对显微图像样本中的目标物样本进行专注识别，并利用训练后的多通道多模型分别输出各自对显微图像中目标物的识别定位结果，再综合各模型的识别定位结果对显微图像中目标物进行识别定位，从而能够有效消除显微图像中杂质和其他特征相似成分的干扰性，解决显微图像复杂性质的问题，实现显微图像中目标物的精准识别和定位，避免漏检错检。在粪便虫卵显微图像的应用当中，该方法能够有效消除粪便虫卵显微图像中杂质和其他特征相似成分的干扰性，解决粪便虫卵显微图像复杂性质的问题，排除漏检错检，实现粪便虫卵的自动精准识别，该识别过程不需要繁琐的人工识别，减少了主观因素的影响，显著加快了检测速率，在提高工作效率的同时达到高识别准确率。
在一个实施例中，步骤S105中的基于对多通道拼接图像样本以及显微图像样本中目标物样本的标注，将多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练，可以包括：
获取对多通道拼接图像样本以及显微图像样本中目标物样本的标注；将多通道拼接图像样本以及显微图像样本中的第一部分显微图像样本作为训练集，以及将显微图像样本中与第一部分显微图像样本不重叠的第二部分显微图像样本作为测试集；基于标注，利用训练集和测试集对各深度学习网络模型进行训练和测试，得到训练后的各深度学习网络模型。
本实施例主要是将图像样本划分为训练集和测试集对各深度学习网络模型进行训练和测试从而训练得到识别度更高的深度学习网络模型。具体的，计算机设备可通过LabelImg标注工具获取对多通道拼接图像样本以及显微图像样本中目标物样本的标注，另一方面，计算机设备可将多通道拼接图像样本都作为训练集，将显微图像样本中的第一部分显微图像样本也作为训练集，也即训练集包括全体多通道拼接图像样本以及显微图像样本中的第一部分显微图像样本，另外，计算机设备将显微图像样本中的第二部分显微图像样本作为测试集，该第二部分显微图像样本是显微图像样本中与第一部分显微图像样本不重叠的部分显微图像样本。示例性的，计算机设备可通过LabelImg标注工具对H通道、S通道、V通道的粪便虫卵拼接图像样本和粪便虫卵显微图像样本进行标注，制作数据集，并将数据集分别划分为四个训练集和一个测试集，其中，H通道、S通道、V通道的粪便虫卵拼接图像样本和一部分粪便虫卵显微图像样本分别作为训练集A、训练集B、训练集C和训练集D，将与训练集不重叠的另一部分粪便虫卵显微图像样本作为测试集。本实施例采用上述训练集和测试集的划分方式，在充分利用图像样本资源的条件下能够使得训练和测试后的深度学习网络模型具有对目标物更高的识别度。
进一步的，在上述实施例中利用训练集和测试集对各深度学习网络模型进行训练和测试之前，还可以先对训练集进行预处理。其中，预处理可以包括：像素值调节处理、中值模糊处理、图像平移处理、图像旋转处理、图像缩放处理、图像翻转处理、亮度调节处理和/或对比度调节处理。具体的，像素值调节处理具体可以是将图像中各像素的像素值随机加减10至15，中值模糊处理可以采用核大小为3至5的中值模糊处理，图像平移处理具体可以是将图像在±30°之间进行左右平移，图像旋转处理具体可以是将图像在±45°之间进行旋转，图像缩放处理具体可以是将图像缩放0.8～1.2倍，图像翻转处理具体可以是将图像上下左右翻转180°，亮度调节处理和对比度调节处理可以是亮度、对比度变化0.8至1.2倍等。计算机设备可进一步基于前述所形成的标注，利用经过上述预处理后的训练集和测试集对各深度学习网络模型进行训练和测试，以训练得到对目标物具有更高识别精度和可靠度的深度学习网络模型。
在一些实施例中，前述各深度学习网络模型的模型结构相同。参考图3，每个深度学习网络模型均可以包括依次连接的特征提取网络和全卷积神经网络(FCN，FullyConvolutional Networks)。其中，特征提取网络具体可以采用ResNet，用于提取所输入的图像的特征图(feature map)，该输入的图像具体可以包括显微图像样本、各通道拼接图像样本和待识别的显微图像等，然后特征提取网络可将所提取的特征图输出到全卷积神经网络进行对目标物的识别定位。
其中，全卷积神经网络具体可以包括分类子网络和回归子网络，该分类子网络用于对目标物进行分类，回归子网络用于对目标物进行定位，具体的，特征提取网络所提取的关于粪便虫卵显微图像的特征图可分别输出到分类子网络和回归子网络，由分类子网络进行粪便虫卵分类，由回归子网络进行粪便虫卵定位，也即特征提取网络所提取的特征可被分类子网络和回归子网络共享，同时完成分类和定位的任务，提高对显微图像中目标物进行识别定位的效率，并且本实施例在整体上采用了多通道多模型级联，集中获取例如粪便虫卵等目标物的特征信息并对目标物进行专注识别，能够有效消除显微图像中杂质和其他特征相似成分的干扰性，解决显微图像复杂性质的问题，排除漏检错检，实现显微图像中目标物的自动精准识别定位，识别定位过程中也不需要繁琐的人工识别，减少了主观因素的影响，显著加快了检测速率，提高工作效率的同时达到高识别准确率。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种显微图像中目标物的识别定位装置，该装置400可以包括：
样本获取模块401，用于获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；
中心定位模块402，用于基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；
图像裁剪模块403，用于针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；
图像拼接模块404，用于分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
模型训练模块405，用于基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；
多模型定位模块406，用于将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；
综合定位模块407，用于基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
在一个实施例中，综合定位模块407，进一步用于对所述多个识别定位结果采用类内非极大值抑制，得到各识别定位结果的置信度；将所述多个识别定位结果中具有最高置信度的识别定位结果，作为对所述显微图像中所述目标物的识别定位结果。
在一个实施例中，模型训练模块405，进一步用于获取对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注；将所述多通道拼接图像样本以及所述显微图像样本中的第一部分显微图像样本作为训练集，以及将所述显微图像样本中与所述第一部分显微图像样本不重叠的第二部分显微图像样本作为测试集；基于所述标注，利用所述训练集和测试集对所述各深度学习网络模型进行训练和测试，得到所述训练后的各深度学习网络模型。
在一个实施例中，模型训练模块405，进一步用于将所述训练集进行预处理；所述预处理包括：像素值调节处理、中值模糊处理、图像平移处理、图像旋转处理、图像缩放处理、图像翻转处理、亮度调节处理和/或对比度调节处理；基于所述标注，利用预处理后的训练集和测试集对所述各深度学习网络模型进行训练和测试，得到所述训练后的各深度学习网络模型。
在一个实施例中，所述各深度学习网络模型的模型结构相同；所述各深度学习网络模型包括依次连接的特征提取网络和全卷积神经网络；其中，所述特征提取网络用于获取特征图并输入至所述全卷积神经网络；所述全卷积神经网络包括用于对所述目标物进行分类的分类子网络以及用于对所述目标物进行定位的回归子网络。
在一个实施例中，中心定位模块402，进一步用于对所述各通道显微图像样本进行二值化处理，得到所述各通道显微图像样本对应的二值化图像；根据所述各通道显微图像样本对应的二值化图像中用于表征所述目标物样本的像素的像素值以及像素坐标，计算所述定位中心。
在一个实施例中，所述显微图像为粪便虫卵显微图像；所述目标物为粪便虫卵；所述预设颜色空间为HSV颜色空间；所述各通道包括H通道、S通道和V通道。
关于显微图像中目标物的识别定位装置的具体限定可以参见上文中对于显微图像中目标物的识别定位方法的限定，在此不再赘述。上述显微图像中目标物的识别定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，也可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时以实现一种显微图像中目标物的识别定位方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种显微图像中目标物的识别定位方法，其特征在于，所述方法包括：
获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；
基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；
针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；
分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；
将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；
基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位，包括：
对所述多个识别定位结果采用类内非极大值抑制，得到各识别定位结果的置信度；
将所述多个识别定位结果中具有最高置信度的识别定位结果，作为对所述显微图像中所述目标物的识别定位结果。
3.根据权利要求1所述的方法，其特征在于，所述基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练，包括：
获取对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注；
将所述多通道拼接图像样本以及所述显微图像样本中的第一部分显微图像样本作为训练集，以及将所述显微图像样本中与所述第一部分显微图像样本不重叠的第二部分显微图像样本作为测试集；
基于所述标注，利用所述训练集和测试集对所述各深度学习网络模型进行训练和测试，得到所述训练后的各深度学习网络模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述标注，利用所述训练集和测试集对所述各深度学习网络模型进行训练和测试，得到所述训练后的各深度学习网络模型，包括：
将所述训练集进行预处理；所述预处理包括：像素值调节处理、中值模糊处理、图像平移处理、图像旋转处理、图像缩放处理、图像翻转处理、亮度调节处理和/或对比度调节处理；
基于所述标注，利用预处理后的训练集和测试集对所述各深度学习网络模型进行训练和测试，得到所述训练后的各深度学习网络模型。
5.根据权利要求3所述的方法，其特征在于，所述各深度学习网络模型的模型结构相同；所述各深度学习网络模型包括依次连接的特征提取网络和全卷积神经网络；其中，所述特征提取网络用于获取特征图并输入至所述全卷积神经网络；所述全卷积神经网络包括用于对所述目标物进行分类的分类子网络以及用于对所述目标物进行定位的回归子网络。
6.根据权利要求1所述的方法，其特征在于，所述基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心，包括：
对所述各通道显微图像样本进行二值化处理，得到所述各通道显微图像样本对应的二值化图像；
根据所述各通道显微图像样本对应的二值化图像中用于表征所述目标物样本的像素的像素值以及像素坐标，计算所述定位中心。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述显微图像为粪便虫卵显微图像；所述目标物为粪便虫卵；所述预设颜色空间为HSV颜色空间；所述各通道包括H通道、S通道和V通道。
8.一种显微图像中目标物的识别定位装置，其特征在于，包括：
样本获取模块，用于获取包含目标物样本的显微图像样本，并获取所述显微图像样本与预设颜色空间中各通道对应的图像，得到多通道显微图像样本；
中心定位模块，用于基于各通道显微图像样本对应的二值化图像的像素信息，确定所述各通道显微图像样本中所述目标物样本的定位中心；
图像裁剪模块，用于针对所述各通道显微图像样本，以所述定位中心为裁剪中心裁剪出具有预设尺寸且包含所述目标物样本的多个图像块，得到所述各通道对应的多个图像块；
图像拼接模块，用于分别将所述各通道对应的所述多个图像块拼接形成与所述显微图像样本的图像尺寸相同的图像，得到多通道拼接图像样本；
模型训练模块，用于基于对所述多通道拼接图像样本以及所述显微图像样本中所述目标物样本的标注，将所述多通道拼接图像样本和显微图像样本分别输入至相应的深度学习网络模型进行训练；其中，所述相应的深度学习网络模型包括分别与各通道图像对应的多个深度学习网络模型以及与原始图像对应的深度学习网络模型；
多模型定位模块，用于将待识别的显微图像输入至训练后的各深度学习网络模型，并获取所述各深度学习网络模型分别输出的针对所述显微图像中目标物的多个识别定位结果；
综合定位模块，用于基于所述多个识别定位结果，对所述显微图像中所述目标物进行识别定位。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011481033.4A CN114639099B (zh) | 2020-12-15 | 2020-12-15 | 显微图像中目标物的识别定位方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011481033.4A CN114639099B (zh) | 2020-12-15 | 2020-12-15 | 显微图像中目标物的识别定位方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114639099A true CN114639099A (zh) | 2022-06-17 |
| CN114639099B CN114639099B (zh) | 2024-10-18 |
Family
ID=81945418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011481033.4A Active CN114639099B (zh) | 2020-12-15 | 2020-12-15 | 显微图像中目标物的识别定位方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114639099B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104651462A (zh) * | 2015-01-29 | 2015-05-27 | 华南农业大学 | 基于显微图像分析的稻瘟病菌孢子检测方法 |
| CN108492319A (zh) * | 2018-03-09 | 2018-09-04 | 西安电子科技大学 | 基于深度全卷积神经网络的运动目标检测方法 |
| CN110110799A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN111223110A (zh) * | 2020-01-06 | 2020-06-02 | 陈根生 | 一种显微图像增强方法、装置及计算机设备 |
| US20200356805A1 (en) * | 2018-05-16 | 2020-11-12 | Tencent Technology (Shenzhen)Company Limited | Image recognition method, storage medium and computer device |
-
2020
- 2020-12-15 CN CN202011481033.4A patent/CN114639099B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104651462A (zh) * | 2015-01-29 | 2015-05-27 | 华南农业大学 | 基于显微图像分析的稻瘟病菌孢子检测方法 |
| CN108492319A (zh) * | 2018-03-09 | 2018-09-04 | 西安电子科技大学 | 基于深度全卷积神经网络的运动目标检测方法 |
| US20200356805A1 (en) * | 2018-05-16 | 2020-11-12 | Tencent Technology (Shenzhen)Company Limited | Image recognition method, storage medium and computer device |
| CN110110799A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN111223110A (zh) * | 2020-01-06 | 2020-06-02 | 陈根生 | 一种显微图像增强方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114639099B (zh) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681418B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
| CN109492643B (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
| CN110110799B (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
| CN111753692B (zh) | 目标对象提取方法、产品检测方法、装置、计算机和介质 | |
| CN112348787B (zh) | 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置 | |
| US20160026899A1 (en) | Text line detection in images | |
| US20140050391A1 (en) | Image segmentation for large-scale fine-grained recognition | |
| TW201732651A (zh) | 一種單詞的分割方法和裝置 | |
| CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| CN111709421B (zh) | 鸟类识别方法、装置、计算机设备及存储介质 | |
| CN114037637B (zh) | 一种图像数据增强方法、装置、计算机设备和存储介质 | |
| CN114187277B (zh) | 基于深度学习的甲状腺细胞学多种类型细胞的检测方法 | |
| CN112750121B (zh) | 用于病理玻片数字图像质量检测的系统及其方法 | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN112668462B (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
| CN111899246A (zh) | 玻片数字化信息质量检测方法、装置、设备及介质 | |
| CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN118115496B (zh) | 晶圆缺陷检测方法及装置 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| CN116824135A (zh) | 基于机器视觉的大气自然环境试验工业产品识别分割方法 | |
| CN111768405A (zh) | 处理标注图像的方法、装置、设备和存储介质 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN110929788A (zh) | 食材识别方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |