CN110766668A - 细胞检测识别系统及方法 - Google Patents

细胞检测识别系统及方法 Download PDF

Info

Publication number
CN110766668A
CN110766668A CN201910964437.XA CN201910964437A CN110766668A CN 110766668 A CN110766668 A CN 110766668A CN 201910964437 A CN201910964437 A CN 201910964437A CN 110766668 A CN110766668 A CN 110766668A
Authority
CN
China
Prior art keywords
view
block
setting
visual field
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910964437.XA
Other languages
English (en)
Other versions
CN110766668B (zh
Inventor
孙小蓉
庞宝川
肖笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN LANDING MEDICAL HI-TECH Ltd
Original Assignee
WUHAN LANDING MEDICAL HI-TECH Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN LANDING MEDICAL HI-TECH Ltd filed Critical WUHAN LANDING MEDICAL HI-TECH Ltd
Priority to CN201910964437.XA priority Critical patent/CN110766668B/zh
Publication of CN110766668A publication Critical patent/CN110766668A/zh
Application granted granted Critical
Publication of CN110766668B publication Critical patent/CN110766668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Abstract

本发明提供一种细胞检测识别系统及方法,涉及利用计算机进行细胞智能识别领域,它包括显微扫描装置,显微扫描装置用于获取显微图像,在计算机中,将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;得到基于目标的分类细胞数据。本发明能够大幅提高识别准确度和识别效率,尤其是能够减少医师的判断时间,提高工作效率。

Description

细胞检测识别系统及方法
技术领域
本发明涉及利用计算机进行细胞智能识别领域,特别是一种细胞检测识别系统及方法。
背景技术
细胞学检测能够根据细胞的数量和形态快速分辨疾病,尤其是对肿瘤性疾病的分辨和检测意义重大。但是在临床中通过人工检查效率极低,经验丰富的医生每天也只能检查50例左右的样本。随着科技的发展,全自动图像分析仪已运用在细胞病理学分析工作中。能够大幅提高效率。例如中国专利文献CN 104881679 A中记载了一种基于改进模糊识别的白带中红细胞自动检测方法,通过人工寻找出的红细胞对建立的神经网络进行训练,然后最所要检测的样本图像进行灰度、二值化等一系列处理,根据红细胞的部分特征,进行部分筛除,在通过训练的神经网络判断剩余的可疑区域是否为红细胞。从而该发明具有高精度、高效率、成本低的特点。但是该方案的处理精度有待进一步的提高。CN 107492088 A记载了一种妇科显微图像中白细胞自动识别与统计方法,给出了将彩色图像转换成灰度图像,利用图像分割方法得到白细胞的模板,将模板与灰度图像进行与操作,然后分割出每个小区域,利用白细胞的圆度、外接矩形长宽比、面积和细胞核占细胞的比例实现对白细胞的识别的方案。上述的方案中,在彩色图像向灰度图像转换过程中,较多的信息被舍弃,从而影响后继的识别精度。随着显微设备的提升,能够获得更高精度和分辨率的显微图像,如何进一步提高系统的识别精度和速度成为优化和改进的重点。
发明内容
本发明所要解决的技术问题是提供一种细胞检测识别系统及方法,能够进一步提高细胞检测识别效率和精度,进而为医师诊断提供可靠的基础。
为解决上述技术问题,本发明所采用的技术方案是:一种细胞检测识别系统,它包括显微扫描装置,显微扫描装置用于获取显微图像;
在计算机中,将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
得到基于目标的分类细胞数据。
优选的方案中,拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
视野子块匹配的过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果。
优选的方案中,视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野。
优选的方案中,块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
优选的方案中,获取单个细胞核显微图像的过程为:
Sa100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
Sa101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
Sa102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
Sa103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
Sa104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
一种根据上述的用于细胞检测识别系统的方法,它包括以下步骤:
S1、获取显微图像;
S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
通过以上步骤得到基于样品的分类细胞数据。
优选的方案中,步骤S2中,拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
视野子块匹配的步骤为:
S01、输入,结果集初始化M;
S02、设置当前视野i为第一个视野;
S03、求当前视野i的所有相邻视野集合J;
S04、设置当前相邻视野j为J中的第一个视野;
S05、求视野i和视野j的可能重叠区域Ri和Rj;
S06、将模板区域Ri栅格化为模板子块集合Pi;
S07、将模板子块集合Pi按子块的动态范围降序排列;
S08、设置当前模板子块P为模板子块集合Pi中第一个;
S09、在视野J中求模板子块P的可能重叠区域s;
S10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
S11、将最佳匹配m加入结果集M;
S12、在结果集M中,找所有与m一致的匹配集合N;
S13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回S09;
若是则下一步;
S14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回S05;
若是则下一步;
S15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回S03;
若是则输出结果。
优选的方案中,视野位置拟合的步骤为:
S16、输入,初始化所有视野位置Xi、Yi;
S17、设置当前视野i为第一个视野;
S18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
S19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
S20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
S21、计算本轮视野位置和上轮视野位置偏差平均值L;
S22、比对判断,偏差平均值L小于阈值1;
若否则返回S17;
若是则下一步;
S23、视野位置归一化调整;
输出所有视野。
优选的方案中,块提取的步骤为:
S24、提取全图大小W,H;
S25、将全图按块大小,分为块的集合B;
S26、计算集合B中所有块b的位置;
S27、设置块b为集合B中的第一个块;
S28、计算与块b重叠的所有视野的集合Fb;
S29、设置视野f为Fb中的第一个视野;
S30、求视野f和块b的重叠区域Rb和Rf;
S31、拷贝Rf中图像至Rb;
S32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
S33、保存块b图像;
S34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
优选的方案中,获取单个细胞核显微图像的步骤为:
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
S102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
本发明提供了一种用于细胞检测识别系统的方法,通过采用以上的方案,具有以下有益效果:
1、进一步提高识别精度。通过采用非灰度的识别方案,本发明进一步提高了识别精度。
2、通过采用人工智能程序对细胞进行识别的方案,大幅提高识别准确度和识别效率,尤其是能够减少医师的判断时间,提高工作效率。
3、提高识别效率。通过采用智能匹配的方案,大幅提高了图像处理的精度,加快了诊断效率,本发明的方案,能够通过云服务方式,对一个特大型城市的所有医院获取的图像数据进行运算。诊断延时时间被压缩到几分钟之内。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1为本发明的整体流程示意图。
图2为本发明中单个细胞核显微图像获取流程示意图。
图3为本发明中图像识别过程的流程示意图。
图4为本发明中视野子块匹配的流程示意图。
图5为本发明中视野位置拟合的流程示意图。
图6为本发明中块提取的流程示意图。
图7为本发明中图像识别后的示例图。
图8为本发明中细胞分类过程的示例图。
图9为本发明中获取的能够表征用户的细胞病理学单个细胞核特征形态图。
图10a为本发明中视野位置拟合操作流程的示意图。
图10b为本发明中视野子块匹配操作流程的示意图。
图11为本发明中人工智能程序模型结构表。
具体实施方式
实施例1:
如图1~6中,一种细胞检测识别系统,它包括显微扫描装置,显微扫描装置用于获取显微图像;
在计算机中,将单个样品的多个图像拼合,如图10a、10b中所示,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
如图11中所示,人工智能程序优选的采用卷积神经网络,学习率为0.001。结果类别数采用num_classes = 3,分别对应阳性、阴性和垃圾。训练轮数epochs = 300;图像大小:img_cols = 128 img_rows = 128;正则参数:reg=0.7;连续下降的轮数:patience = 10。
得到基于目标的分类细胞数据。医师在诊断时,仅需观察阳性的细胞核显微图像,即可对是否存在细胞病变进行判断,例如是否癌细胞。
实施例2:
在实施例1的基础上,优选的方案如图3~6中,拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
如图4、图10a中所示,视野子块匹配的过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果。由此方案,通过智能识别各个图像之间的重叠区域判断子图像之间的相邻位置关系,使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列。
优选的方案如图5、图10b中,视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野。
优选的方案如图6中,块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。由此方案,根据各个子图像之间的重叠区域微调位置,以使细胞位置准确拼合,并自动提取出拼合完整的图像。
实施例3:
在实施例1~2的基础上,优选的方案如图2、图7~9中,获取单个细胞核显微图像的过程为:
Sa100、检测细胞核的特征点;
将图像缩小至多个不同比例,优选的,缩小比例为:0.3、0.15、0.08;分别提取特征点;
Sa101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;由此步骤,大幅提高识别的效率,尤其是大幅提高医师的诊断效率。
本例中设定,如果特征点的距离不超过细胞的半径的一半,而半径的一半大于32,认为距离小于32像素的为过于相近,否则小于细胞半径的一半认为是过于相近。即cell.Center.L1DistanceTo(d.Center) < Math.Min(cell.Radius * 0.5, 32)。
Sa102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;现有技术中,均采用灰度值进行筛分,但是灰度值的方式,因为灰度通常仅有一个通道,而数值范围仅为1-255级,因此,对于有些细微的位置难以区分。而采用B通道和A通道的组合方案,则由于具有两个通道,从而能够大幅提高数值范围,提高筛分精度。
权值为B通道反相0.7,A通道0.3;
Sa103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。
Sa104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图9中所示,用户的各个特征细胞的识别图像被清晰的展示,以利于医生诊断。
实施例4:
如图1~6中,在实施例1~3的基础上,一种根据上述的用于细胞检测识别系统的方法,它包括以下步骤:
S1、获取显微图像;
S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
通过以上步骤得到基于样品的分类细胞数据。
优选的方案中,步骤S2中,拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
视野子块匹配的步骤为:
S01、输入,结果集初始化M;
S02、设置当前视野i为第一个视野;
S03、求当前视野i的所有相邻视野集合J;
S04、设置当前相邻视野j为J中的第一个视野;
S05、求视野i和视野j的可能重叠区域Ri和Rj;
S06、将模板区域Ri栅格化为模板子块集合Pi;
S07、将模板子块集合Pi按子块的动态范围降序排列;
S08、设置当前模板子块P为模板子块集合Pi中第一个;
S09、在视野J中求模板子块P的可能重叠区域s;
S10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
S11、将最佳匹配m加入结果集M;
S12、在结果集M中,找所有与m一致的匹配集合N;
S13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回S09;
若是则下一步;
S14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回S05;
若是则下一步;
S15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回S03;
若是则输出结果。
优选的方案中,视野位置拟合的步骤为:
S16、输入,初始化所有视野位置Xi、Yi;
S17、设置当前视野i为第一个视野;
S18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
S19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
S20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
S21、计算本轮视野位置和上轮视野位置偏差平均值L;
S22、比对判断,偏差平均值L小于阈值1;
若否则返回S17;
若是则下一步;
S23、视野位置归一化调整;
输出所有视野。
优选的方案中,块提取的步骤为:
S24、提取全图大小W,H;
S25、将全图按块大小,分为块的集合B;
S26、计算集合B中所有块b的位置;
S27、设置块b为集合B中的第一个块;
S28、计算与块b重叠的所有视野的集合Fb;
S29、设置视野f为Fb中的第一个视野;
S30、求视野f和块b的重叠区域Rb和Rf;
S31、拷贝Rf中图像至Rb;
S32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
S33、保存块b图像;
S34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
优选的方案中,获取单个细胞核显微图像的步骤为:
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
S102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
实施例5:
在实施例1~4的基础上,如图7~10中,如图7~10中,以某细胞病理分析实例为例:从显微扫描装置自动化获取的图像如图10a的上图中所示,各个子图像的排序并不规则,这取决于显微扫描装置自动化获取路径,在获取过程中,确保各个图像之间具有互相重叠的位置。对重叠位置的像素值进行分析,通过视野子块匹配智能算法使图像自动匹配相应的位置,根据相邻视野中的相匹配的特征点计算出平台偏移到像素偏移的二维变换矩阵的初始值,得到拼接参数。具体的是确定各个视野子块,即子图像相对于其他子图像的相邻位置。切割相邻视野的公共部分,分为多个小块,采用模板匹配,寻找公共重合区域,选取匹配阈值大于0.9的匹配块。算出所有视野的模板匹配的相互关系。如图10b中,位置匹配成功后,各个细胞的位置会出现细微的偏差,通过视野位置拟合智能算法使细胞位置准确拼合。具体的,通过模板匹配之后,可以得到每个视野像素的大致位置,通过初始的拼接参数和平台的最大位移偏差,计算出最大的像素偏差,使用最大像素偏差,过滤每个视野与相邻视野匹配关系的点,去掉偏差大于最大像素偏差的点,通过筛选后的点,再重新计算拼接参数,使用最新的拼接参数,重新计算视野的像素位置,通过不断地迭代筛选和重新计算,就可以不断更新和完善视野的图片位置,使误差更加小,拼接的效果更加完美。计算出每张视野的图片位置之后,使用扫描过程中的计算背景,通过背景图来更新每一张视野的亮度,提高医生观看每张视野图的视觉感受,就可以拼接出一张完美的玻片图片,将整个拼合后的图像作为一个块提取出来。然后根据需求,切割大图,得到想要宽度和高度的图片,因为所有视野拼接而成的大图会很大而且没有必要。
如图7中,检测细胞核的特征点;即通过SURF算法检测细胞核特征点,将图像缩小至不同的比例,分别提取特征点。初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞,即相同特征点的细胞,仅保留一个;由此步骤,大幅提高识别的效率。细分,以颜色差阈值分割;与灰度阈值分割相比,颜色差阈值分割方案能够在较大程度上提高细分精度。如图10b中所示,由于存在细胞互相重叠的情形,可以见到图像的颜色变化差异较大,容易被识别,而当图10b被转换成灰度后,则分辨难度大幅提升。图像形态学运算;腐蚀运算、膨胀运算中的一种或多种的组合;腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。腐蚀运算是使图像的边缘腐蚀掉,作用就是将目标的边缘的“毛刺”剔除掉。膨胀运算是将图像的边缘扩大。作用就是将目标图像的边缘或者是内部的凹坑填掉。使用相同次数的腐蚀与膨胀,可以使目标图像更平滑。结果如图8中所示。细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图9中所示,用户的各个特征细胞的识别图像被清晰的展示在列表中,优选的,并以阳性-阴性的顺序加以排列,以利于医生诊断,并辅助医生提高诊断效率。进一步优选的,在运算过程中,保留结果特征细胞图像的对角点坐标。例如,在运算过程中,以日志形式保留坐标运算记录,保留特征细胞图像的在拼合后图像上的坐标位置,以使医生能够根据坐标位置快速浏览原始图像,进一步优选的,能够根据坐标与子图像的对应关系快速浏览到未经处理的原始子图像,以避免智能运算抹去重要的细胞病理学图像特征,进一步确定诊断准确度。
上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本申请中的实施例及实施例中的特征在不冲突的情况下,可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进,也在本发明的保护范围之内。

Claims (10)

1.一种细胞检测识别系统,它包括显微扫描装置,显微扫描装置用于获取显微图像,其特征是:
在计算机中,将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
得到基于目标的分类细胞数据。
2.根据权利要求1所述的一种细胞检测识别系统,其特征是:拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
视野子块匹配的过程为:
Sa01、输入,结果集初始化M;
Sa02、设置当前视野i为第一个视野;
Sa03、求当前视野i的所有相邻视野集合J;
Sa04、设置当前相邻视野j为J中的第一个视野;
Sa05、求视野i和视野j的可能重叠区域Ri和Rj;
Sa06、将模板区域Ri栅格化为模板子块集合Pi;
Sa07、将模板子块集合Pi按子块的动态范围降序排列;
Sa08、设置当前模板子块P为模板子块集合Pi中第一个;
Sa09、在视野J中求模板子块P的可能重叠区域s;
Sa10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
Sa11、将最佳匹配m加入结果集M;
Sa12、在结果集M中,找所有与m一致的匹配集视野合N;
Sa13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回Sa09;
若是则下一步;
Sa14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回Sa05;
若是则下一步;
Sa15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回Sa03;
若是则输出结果。
3.根据权利要求2所述的一种细胞检测识别系统,其特征是:视野位置拟合的过程为:
Sa16、输入,初始化所有视野位置Xi、Yi;
Sa17、设置当前视野i为第一个视野;
Sa18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
Sa19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
Sa20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
Sa21、计算本轮视野位置和上轮视野位置偏差平均值L;
Sa22、比对判断,偏差平均值L小于阈值1;
若否则返回Sa17;
若是则下一步;
Sa23、视野位置归一化调整;
输出所有视野。
4.根据权利要求2所述的一种细胞检测识别系统,其特征是:
块提取的过程为:
Sa24、提取全图大小W,H;
Sa25、将全图按块大小,分为块的集合B;
Sa26、计算集合B中所有块b的位置;
Sa27、设置块b为集合B中的第一个块;
Sa28、计算与块b重叠的所有视野的集合Fb;
Sa29、设置视野f为Fb中的第一个视野;
Sa30、求视野f和块b的重叠区域Rb和Rf;
Sa31、拷贝Rf中图像至Rb;
Sa32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
Sa33、保存块b图像;
Sa34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
5.根据权利要求1所述的一种细胞检测识别系统,其特征是:获取单个细胞核显微图像的过程为:
Sa100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
Sa101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
Sa102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
Sa103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
Sa104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
6.一种根据权利要求1所述的用于细胞检测识别系统的方法,其特征是它包括以下步骤:
S1、获取显微图像;
S2、将单个样品的多个图像拼合,在拼合后的图像中根据细胞核特征进行提取,获得单个细胞核显微图像;
S3、根据已标记的细胞,利用模型训练后的人工智能程序对单个细胞核显微图像进行分类;
通过以上步骤得到基于样品的分类细胞数据。
7.根据权利要求6所述的一种用于细胞检测识别系统的方法,其特征是:步骤S2中,拼合图像的过程包括:视野子块匹配、视野位置拟合和块提取;
视野子块匹配的步骤为:
S01、输入,结果集初始化M;
S02、设置当前视野i为第一个视野;
S03、求当前视野i的所有相邻视野集合J;
S04、设置当前相邻视野j为J中的第一个视野;
S05、求视野i和视野j的可能重叠区域Ri和Rj;
S06、将模板区域Ri栅格化为模板子块集合Pi;
S07、将模板子块集合Pi按子块的动态范围降序排列;
S08、设置当前模板子块P为模板子块集合Pi中第一个;
S09、在视野J中求模板子块P的可能重叠区域s;
S10、以模板子块P为模板,s为搜索区域,进行模板匹配搜索;
S11、将最佳匹配m加入结果集M;
S12、在结果集M中,找所有与m一致的匹配集合N;
S13、比对判断,N中权值和是否大于阈值v;
若否则,设置当前模板子块P为模板子块集合Pi中下一个,并返回S09;
若是则下一步;
S14、比对判断,视野j是否视野集合J中最后一个视野;
若否则设置视野j为视野集合J中下一个视野,并返回S05;
若是则下一步;
S15、比对判断,视野i为最后一个视野;
若否则设置i为下一个视野,并返回S03;
若是则输出结果。
8.根据权利要求7所述的一种用于细胞检测识别系统的方法,其特征是:视野位置拟合的步骤为:
S16、输入,初始化所有视野位置Xi、Yi;
S17、设置当前视野i为第一个视野;
S18、在子块匹配集M中,获得包含视野i的匹配子集Mi;
S19、根据匹配子集Mi,重新计算视野i的位置Xi、Yi;
S20、判断,所有视野更新完成;
若否则设置视野i为下一个视野;
若是则下一步;
S21、计算本轮视野位置和上轮视野位置偏差平均值L;
S22、比对判断,偏差平均值L小于阈值1;
若否则返回S17;
若是则下一步;
S23、视野位置归一化调整;
输出所有视野。
9.根据权利要求7所述的一种用于细胞检测识别系统的方法,其特征是:
块提取的步骤为:
S24、提取全图大小W,H;
S25、将全图按块大小,分为块的集合B;
S26、计算集合B中所有块b的位置;
S27、设置块b为集合B中的第一个块;
S28、计算与块b重叠的所有视野的集合Fb;
S29、设置视野f为Fb中的第一个视野;
S30、求视野f和块b的重叠区域Rb和Rf;
S31、拷贝Rf中图像至Rb;
S32、判断,视野f是集合Fb中最后一个视野;
若否则设置视野f为Fb中的下一个视野,并返回Sa29;
若是则下一步;
S33、保存块b图像;
S34、判断,块b是集合B中最后一个块;
若否则设置块b为集合B中第一个块,并返回Sa28;
若是则输出结果。
10.根据权利要求6所述的一种用于细胞检测识别系统的方法,其特征是:获取单个细胞核显微图像的步骤为:
S100、检测细胞核的特征点;
将图像缩小至多个不同比例,分别提取特征点;
S101、初筛,以特征点坐标,筛选掉过于相近的特征点,减少重复提取细胞;
S102、细分,以颜色差阈值分割;
将图片转换到LAB格式,B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图;
权值为B通道反相0.7,A通道0.3;
S103、图像形态学运算;
腐蚀运算、膨胀运算中的一种或多种的组合;
S104、细筛,根据核占比参数细筛,筛选掉核占比低于0.3,细胞核半径高于150像素,低于10像素的非细胞;核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。
CN201910964437.XA 2019-10-11 2019-10-11 细胞检测识别系统及方法 Active CN110766668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964437.XA CN110766668B (zh) 2019-10-11 2019-10-11 细胞检测识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964437.XA CN110766668B (zh) 2019-10-11 2019-10-11 细胞检测识别系统及方法

Publications (2)

Publication Number Publication Date
CN110766668A true CN110766668A (zh) 2020-02-07
CN110766668B CN110766668B (zh) 2023-09-05

Family

ID=69331628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964437.XA Active CN110766668B (zh) 2019-10-11 2019-10-11 细胞检测识别系统及方法

Country Status (1)

Country Link
CN (1) CN110766668B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256717A (zh) * 2021-05-08 2021-08-13 华南师范大学 一种细胞涂片辅助分析方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810709A (zh) * 2014-02-25 2014-05-21 南京理工大学 基于血管的眼底图像与sd-oct投影图像配准方法
WO2018062595A1 (ko) * 2016-09-29 2018-04-05 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법
CN108918519A (zh) * 2018-07-05 2018-11-30 深圳辉煌耀强科技有限公司 一种细胞涂片图像获取与分析系统
CN109540771A (zh) * 2018-12-18 2019-03-29 武汉大学 一种精准分选白细胞亚型的声光微流控芯片及其分选方法
CN109636782A (zh) * 2018-11-30 2019-04-16 苏州深析智能科技有限公司 一种细胞类型分析模型训练方法、装置及分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810709A (zh) * 2014-02-25 2014-05-21 南京理工大学 基于血管的眼底图像与sd-oct投影图像配准方法
WO2018062595A1 (ko) * 2016-09-29 2018-04-05 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법
CN108918519A (zh) * 2018-07-05 2018-11-30 深圳辉煌耀强科技有限公司 一种细胞涂片图像获取与分析系统
CN109636782A (zh) * 2018-11-30 2019-04-16 苏州深析智能科技有限公司 一种细胞类型分析模型训练方法、装置及分析方法
CN109540771A (zh) * 2018-12-18 2019-03-29 武汉大学 一种精准分选白细胞亚型的声光微流控芯片及其分选方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256717A (zh) * 2021-05-08 2021-08-13 华南师范大学 一种细胞涂片辅助分析方法和系统
CN113256717B (zh) * 2021-05-08 2022-01-21 华南师范大学 一种细胞涂片辅助分析方法和系统

Also Published As

Publication number Publication date
CN110766668B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109191457B (zh) 一种病理图像质量有效性识别方法
Liu et al. Segmentation of white blood cells image using adaptive location and iteration
CN111860533A (zh) 图像的识别方法及装置、存储介质和电子装置
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN106056118A (zh) 一种用于细胞的识别计数方法
KR20080016847A (ko) 크로모겐 분리에 기초한 영상 분석 방법
US11586028B2 (en) Mobile phone-based miniature microscopic image acquisition device and image stitching and recognition methods
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN103984958A (zh) 宫颈癌细胞分割方法及系统
EP3140778B1 (en) Method and apparatus for image scoring and analysis
CN110987886B (zh) 一种全自动显微影像荧光扫描系统
CN106650812A (zh) 一种卫星遥感影像的城市水体提取方法
CN103186901A (zh) 全自动图像分割方法
CN110310291A (zh) 一种稻瘟病分级系统及其方法
CN110797097B (zh) 人工智能云诊断平台
CN111951266A (zh) 一种染色体畸变的人工智能识别分析方法
CN111126162A (zh) 一种识别图像中炎症细胞的方法、装置及存储介质
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN115272225A (zh) 一种基于对抗学习网络的带钢表面缺陷检测方法及系统
CN110766668B (zh) 细胞检测识别系统及方法
CN113129281B (zh) 一种基于深度学习的小麦茎秆截面参数检测方法
Rahmadwati et al. Computer aided decision support system for cervical cancer classification
CN114897823B (zh) 一种细胞学样本图像质量控制方法、系统及存储介质
CN110807732A (zh) 用于显微图像全景拼接系统及方法
CN114037868B (zh) 图像识别模型的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Floor 1 and 2, unit B, C and D, building B7, medical instrument Park, 818 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant after: Wuhan Lanting intelligent Medicine Co.,Ltd.

Address before: 430073 floor 1 and 2, unit B, C and D, building B7, medical instrument Park, 818 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant before: WUHAN LANDING MEDICAL HI-TECH Ltd.

GR01 Patent grant
GR01 Patent grant