CN113033389A - 一种利用高速成像装置进行图像识别的方法及系统 - Google Patents

一种利用高速成像装置进行图像识别的方法及系统 Download PDF

Info

Publication number
CN113033389A
CN113033389A CN202110310082.XA CN202110310082A CN113033389A CN 113033389 A CN113033389 A CN 113033389A CN 202110310082 A CN202110310082 A CN 202110310082A CN 113033389 A CN113033389 A CN 113033389A
Authority
CN
China
Prior art keywords
cell
cells
cell type
image
liquid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110310082.XA
Other languages
English (en)
Other versions
CN113033389B (zh
Inventor
陈宏强
龙孟平
胡涛波
孟冠雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Cancer Hospital
Tianjin Lingshi Technology Co Ltd
Original Assignee
Peking University Cancer Hospital
Tianjin Lingshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Cancer Hospital, Tianjin Lingshi Technology Co Ltd filed Critical Peking University Cancer Hospital
Priority to CN202110310082.XA priority Critical patent/CN113033389B/zh
Publication of CN113033389A publication Critical patent/CN113033389A/zh
Application granted granted Critical
Publication of CN113033389B publication Critical patent/CN113033389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开涉及一种利用高速成像装置进行图像识别方法及系统,其中方法包括:对将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;对经过重悬的细胞固定液进行移液处理以获得待检测液体;利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征确定每个细胞的多个图像特征;以及利用识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。

Description

一种利用高速成像装置进行图像识别的方法及系统
技术领域
本公开实施例图像识别技术领域,特别是涉及一种利用高速成像装置进行图像识别的方法及系统。
背景技术
液体检测装置,例如检测河水水质的水质分析仪等,是对液体中的有形成分,例如微粒,进行定性、定量分析,并提供相关信息的仪器。自动化的液体分析仪按其工作原理主要可分为电阻型或运用多项高新技术的综合运用型,采样数据经计算机处理得出液体中细胞或其他微粒的数量和粗略分类。
细胞图像识别技术是以微观成像来观察细胞的结构和形态的一门科学技术,目前主要应用在细胞的检测上。细胞图像识别因其取材方便越来越受到各临床科室重视。如何在临床细胞学中进行高速的图像识别一直是人们在探索的领域。
发明内容
为了解决上述问题,本公开利用超高速成像对临床细胞学样本进行单细胞成像,并对成像数据进行机器学习和特征提取,最终对样本中是否存在癌细胞以及癌细胞的比例做出客观精准的判断,实现细胞病理学诊断的自动化。
高速细胞成像技术是生物和医学领域的前沿技术。超高速无标记的单细胞成像可以为医学研究提供病理级别的图像信息,未来将作为推动精准医疗计划顺利实施必不可少的技术。
根据本公开的至少一个实施例,提供了一种利用高速成像装置进行图像识别的方法,所述方法包括:对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
根据本公开前述任一实施例的方法,例如,在对待处理的原始液体进行离心操作之前还包括:
确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
根据本公开前述任一实施例的方法,例如,还包括,获取每种细胞类型的图像数据库中的多个细胞图像文件;
对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;
按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;
从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;
将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。
根据本公开前述任一实施例的方法,例如,获取多种细胞类型中每种细胞类型的多个分类特征包括:
基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
根据本公开前述任一实施例的方法,例如,基于多个分类特征确定每种细胞类型的特征识别集合包括:
确定多个分类特征的关联关系,基于关联关系将多个分类特征组成每种细胞类型的特征识别集合。
根据本公开前述任一实施例的方法,例如,所述待处理的原始液体中包括与目标对象相关联的多个细胞。
根据本公开前述任一实施例的方法,例如,所述多个细胞包括多种细胞类型的细胞。
根据本公开前述任一实施例的方法,例如,所述对待处理的原始液体进行离心操作包括:
在预定温度的条件下,以预先设定的离心力,在预定时间内对待处理的原始液体进行离心操作。
根据本公开前述任一实施例的方法,例如,将去除了上清的多个细胞重悬于细胞固定液中包括:
确定细胞固定液的实际体积;
利用甲醇与乙酸按照预定比例混合制成所述实际体积的细胞固定液。
根据本公开前述任一实施例的方法,例如,所述对经过重悬的细胞固定液进行移液处理以获得待检测液体包括:
利用移液枪对对经过重悬的细胞固定液进行移液处理,以通过将多个细胞打散成单细胞状态来获得待检测液体。
根据本公开前述任一实施例的方法,例如,所述利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集包括:
利用高速成像装置以预定采集速度对待检测液体中的所有细胞进行单细胞图像采集。
根据本公开前述任一实施例的方法,例如,还包括,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
根据本公开前述任一实施例的方法,例如,所述确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
利用经过训练的卷积神经网络组件确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
根据本公开前述任一实施例的方法,例如,其中确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
确定每个细胞的多个图像特征中每个图像特征的权重值;
计算每个图像特征与特征识别集合的图像匹配度;
基于每个图像特征与特征识别集合的图像匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
根据本公开前述任一实施例的方法,例如,其中基于每个图像特征与特征识别集合的匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
对于所有细胞中的每个细胞,计算与每种细胞类型的特征匹配度:
Figure BDA0002989348260000041
其中Ci为第p个细胞与第i种细胞类型的特征匹配度,kij为第p个细胞的第j个图像特征与第i种细胞类型的图像匹配度,wj为第p个细胞的第j个图像特征的权重值,
其中1≤i≤m,1≤j≤np,m,np,i和j均为自然数,m为细胞类型的数量,np为第p个细胞的图像特征的数量。
根据本公开前述任一实施例的方法,例如,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型包括:
将与每种细胞类型的特征匹配度中的最大值所对应的细胞类型,确定为每个细胞的细胞类型。
根据本公开前述任一实施例的方法,例如,基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征包括:
在多个基础特征中选择能够进行图像特征提取的至少一个基础特征;
将能够进行图像特征提取的至少一个基础特征中的每个基础特征进行图像特征提取和/或组合,以确定每个细胞的多个图像特征。
根据本公开的至少一个实施例,提供了一种利用高速成像装置进行图像识别方法,所述方法包括:
对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;
利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型;以及
根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
根据本公开前述任一实施例的方法,例如,在对待处理的原始液体进行离心操作之前还包括:
确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
根据本公开前述任一实施例的方法,例如,还包括基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
根据本公开的至少一个实施例,提供了一种利用高速成像装置进行图像识别的系统,所述系统包括:
离心装置,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置,对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及
识别装置,确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
根据本公开前述任一实施例的系统,例如,还包括预处理装置:
预处理装置确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
预处理装置为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
预处理装置基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
根据本公开前述任一实施例的系统,例如,预处理装置获取每种细胞类型的图像数据库中的多个细胞图像文件;
预处理装置对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;
预处理装置按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;
预处理装置从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;
预处理装置将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。
根据本公开前述任一实施例的系统,例如,预处理装置获取多种细胞类型中每种细胞类型的多个分类特征包括:
预处理装置基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
根据本公开前述任一实施例的系统,例如,提取装置基于多个分类特征确定每种细胞类型的特征识别集合包括:
提取装置确定多个分类特征的关联关系,基于关联关系将多个分类特征组成每种细胞类型的特征识别集合。
根据本公开前述任一实施例的系统,例如,所述待处理的原始液体中包括与目标对象相关联的多个细胞。
根据本公开前述任一实施例的系统,例如,所述多个细胞包括多种细胞类型的细胞。
根据本公开前述任一实施例的系统,例如,所述离心装置对待处理的原始液体进行离心操作包括:
在预定温度的条件下,离心装置以预先设定的离心力,在预定时间内对待处理的原始液体进行离心操作。
根据本公开前述任一实施例的系统,例如,重悬装置将去除了上清的多个细胞重悬于细胞固定液中包括:
重悬装置确定细胞固定液的实际体积;
重悬装置利用甲醇与乙酸按照预定比例混合制成所述实际体积的细胞固定液。
根据本公开前述任一实施例的系统,例如,所述处理装置对经过重悬的细胞固定液进行移液处理以获得待检测液体包括:
处理装置利用移液枪对对经过重悬的细胞固定液进行移液处理,以通过将多个细胞打散成单细胞状态来获得待检测液体。
根据本公开前述任一实施例的系统,例如,所述采集装置利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集包括:
采集装置利用高速成像装置以预定采集速度对待检测液体中的所有细胞进行单细胞图像采集。
根据本公开前述任一实施例的系统,例如,还包括训练装置,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
根据本公开前述任一实施例的系统,例如,所述识别装置确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
识别装置利用经过训练的卷积神经网络组件确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
根据本公开前述任一实施例的系统,例如,其中识别装置确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
识别装置确定每个细胞的多个图像特征中每个图像特征的权重值;
识别装置计算每个图像特征与特征识别集合的图像匹配度;
识别装置基于每个图像特征与特征识别集合的图像匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
根据本公开前述任一实施例的系统,例如,其中识别装置基于每个图像特征与特征识别集合的匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
对于所有细胞中的每个细胞,识别装置计算与每种细胞类型的特征匹配度:
Figure BDA0002989348260000071
其中Ci为第p个细胞与第i种细胞类型的特征匹配度,kij为第p个细胞的第j个图像特征与第i种细胞类型的图像匹配度,wj为第p个细胞的第j个图像特征的权重值,
其中1≤i≤m,1≤j≤np,m,np,i和j均为自然数,m为细胞类型的数量,np为第p个细胞的图像特征的数量。
根据本公开前述任一实施例的系统,例如,识别装置基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型包括:
识别装置将与每种细胞类型的特征匹配度中的最大值所对应的细胞类型,确定为每个细胞的细胞类型。
根据本公开前述任一实施例的系统,例如,提取装置基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征包括:
提取装置在多个基础特征中选择能够进行图像特征提取的至少一个基础特征;
提取装置将能够进行图像特征提取的至少一个基础特征中的每个基础特征进行图像特征提取和/或组合,以确定每个细胞的多个图像特征。
根据本公开的至少一个实施例,提供了一种利用高速成像装置进行图像识别的系统,所述系统包括:
离心装置,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置,对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;以及
识别装置,利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
根据本公开前述任一实施例的系统,例如,还包括预处理装置:
确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
根据本公开前述任一实施例的系统,例如,还包括训练装置,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
本公开实施例的一种利用高速成像装置进行图像识别的方法及系统,通过超高速单细胞成像对临床细胞学样本进行全部细胞图像采集,并辅以机器学习图像识别的手段对图像进行自动化分析,精准报告样本中癌细胞的数量和比例,是细胞图像处理领域的发明。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。
图1示出了根据本公开实施例的液体检测装置的一种结构示意图;
图2示出了根据本公开实施例的液体检测装置另一种结构示意图;
图3示出了根据本公开实施例的液体检测装置又一种结构示意图;
图4示出了根据本公开实施例的光电探测器测量的脉冲序列示意图;
图5示出了根据本公开实施例的一种液体检测方法;
图6示出了根据本公开实施例的利用高速成像装置进行图像识别的方法的流程图;
图7示出了根据本公开实施例的利用高速成像装置进行图像识别的另一方法的流程图;
图8示出了根据本公开实施例的利用高速成像装置进行图像识别的系统的结构示意图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本上相同步骤和元素用相同的附图标记来表示,且对这些步骤和元素的重复解释将被省略。
图1示出了根据本公开实施例的高速成像装置的一种结构示意图。下面将根据图1介绍根据本公开实施例的高速成像装置。参见图1,高速成像装置100包括,脉冲光源110,时域色散器件120,第一空间色散器件130,第一物镜140,微流装置150,第二物镜160,第二空间色散器件170,光电检测装置180。
脉冲光源110,被配置为发射脉冲光。脉冲光源包括红外脉冲光源。脉冲光源110例如可以发出周期性短脉冲激光,光的波段例如是不可见光波段,例如红外波段。脉冲光源110发出的激光可以以某个频率重复进行。
时域色散器件120,被配置为将脉冲光源发出的脉冲光从频域转换到时域,形成时域展宽后的脉冲光。时域色散器件例如可以是色散光纤,光纤光栅,光栅对等。
第一空间色散器件130,被配置为改变时域展宽后的脉冲光中不同频率的光在空间的传播方向。第一空间色散器件为衍射光栅。对于前面的时域色散器件120在时域展宽的脉冲光实现在空间的映射。
第一物镜140,被配置为将第一空间色散器件130改变了传播方向的脉冲光汇聚到微流装置150。第一物镜140例如是多个光学元件的组合,物镜将光线汇聚后,其焦点在所述微流装置上,或聚焦在微流装置的一部分上,用于对微流装置该部分中的待检测液体进行照射。例如,上述焦点位于微流装置150中垂直于流动方向的方向上的横截面上,或垂直于流动方向的一段空间,那么该横截面或空间上的液体中微粒(例如,细胞)被脉冲光照射。
微流装置150,被配置为使得其中的待检测液体以预定速度流动。微流装置例如是微流控芯片,毛细管等,流动速度根据实际需要可以设置为微升/秒至毫升/秒。微流装置中的液体以一定的速度流动。在脉冲光等不可见光的照射下,一般情况下,微流装置150中的液体微粒不会吸收脉冲光。在可见光的照射下,微流装置150中的液体中微粒可以吸收部分可见光,被可见光激发而发光。在检测时,可以以微流装置150的一个横截面为单位进行检测,横截面例如可以是垂直于流动方向的一个横截面或一段空间,也可以是微流装置其他方向的截面或空间。
微流装置150中可以存储液体,例如,体液(例如,胸腹水)、河水以及工业水等任何需要检测的液体。液体中的微粒物质(例如,细胞)的吸光变化(例如吸光率)与体液中的颗粒含量成正比,例如血液中的微粒的光吸收量与血红蛋白的含量成正比。此外,液体中的微粒的光敏分子种类,含量,密度也与上述吸光变化相关。
第二物镜160,被配置为将第一物镜汇聚并经过微流装置后的光进行收集。第二物镜160例如可以是与第一物镜140相同的或不同的光学元件或光学元件的组合。在一个示例中,第一物镜和第二物镜的放大参数相同。在另一个示例中,第一物镜与第二物镜的数值孔径相同。第一物镜和第二物镜的物理参数也可以完全相同。
第二空间色散器件170,将第二物镜160收集的光在空间上进行重组。第一空间色散器件与第二空间色散器件的物理参数可以相同。
光电检测装置180,被配置为对第二空间色散器件重组的光进行成像,以通过成像图像对待检测液体中的微粒进行检测,例如,确定待检测液体中微粒的形状和/或图像。图4示出了根据本公开实施例的光电探测器测量的脉冲序列示意图。图4是对微流装置中垂直于流动方向的一维横截面上的流动微粒的进行检测得到的光谱,该光谱可以是脉冲频谱,横坐标表示时间,纵坐标表示光脉冲幅度值,也就是上述横截面上的流动颗粒随时间变化而得到的频谱变化。根据频谱的波形的变化可以检测微粒的形状和/或图像。
在一个示例中,为了使每个脉冲与成像的每一帧对应,脉冲激光器110发出脉冲的频率与光电探测器的帧频相同。也就是说,光电探测器每秒钟拍摄的图片数与脉冲激光器110发出的脉冲的频率是相同的。
本公开实施例的高速成像装置,由于使用光学器件进行成像,提高了检测速度,通过对液体中的微粒的形状进行检测或获取细胞的图像数据,有助于分辨液体中的微粒的种类和个数。
以上介绍了根据本公开实施例的一种高速成像装置,下面基于上述实施例,介绍根据本公开实施例的另一种高速成像装置,该高速成像装置是在前述实施例的基础上实现的,前述高速成像装置的任何示例或示例组合均可以应用到本实施例中。在此不再赘述。
图2示出了根据本公开实施例的另一种高速成像装置200,下面将根据图2介绍根据本公开实施例的另一种高速成像装置,该高速成像装置除了包括前述实施例的高速成像装置的部件之外,还包括以下部件。
参见图2,在一个示例中,为了对时域展宽后的脉冲光进行放大,提高信号强度,高速成像装置200可以进一步包括放大器(图中未示出)。放大器可以位于时域色散器件120和第一空间色散器件130之间,用于对时域色散器件120展宽时域后的脉冲光进行放大,并传送给第一空间色散器件。
在一个示例中,高速成像装置200还可以包括第一分光镜220。第一分光镜220可以根据光的波长进行透射或反射,例如使特定波长的光能够入射并通过第一分光镜220,而使其他波长的光被第一分光镜反射出去。例如,不可见光波段的光可以透射过所述二向色分光镜,而可见光波段的光则被二向色分光镜反射。第一分光镜220例如是二向色分光镜。第一分光镜220可以位于第二物镜160和第二空间色散器件170之间。从脉冲光源110发出的不可见光,经第二物镜收集的并经过微流装置后,可以透射过第一分光镜,入射到第二空间色散器件。
根据本公开的实施例,参见图2,高速成像装置200还可以包括第一连续波激光器210,可以发出连续的可见光,为了将可见光照射到待检测液体,激发待检测液体中的微粒产生荧光,第一连续波激光器210产生的连续可见光可以入射到第二物镜。经过第二物镜的连续可见光汇聚到微流装置上,以对微流装置内的待检测液体进行照射,从而激发待检测液体中的微粒产生光。或者,上述连续可见光汇聚到微流装置的至少一部分上,以对微流装置中该部分内的待检测液体进行照射,从而激发待检测液体中的微粒产生光。
在另一个示例中,第一连续波激光器210发出的连续可见光首先入射到前述的第一分光镜220,经第一分光镜220,可见光再反射到第二物镜。这样,反射到第二物镜的可见光通过第二物镜汇聚到微流装置上,以对微流装置内的待检测液体进行照射,从而激发待检测液体中的微粒产生光。或者,反射到第二物镜的连续可见光通过第二物镜汇聚到微流装置的至少一部分上,以对微流装置中该部分内的待检测液体进行照射,从而激发待检测液体中的微粒产生光。
在一个示例中,第一连续波激光器210入射到微流装置上的第一焦点,与脉冲光源发出的光入射到微流装置中的第二焦点在同一位置,从而可以同时对该位置的待检测液体中微粒进行形状检测以及其他属性监测。
在一个示例中,参见图2中虚线箭头所指示的路径,高速成像装置200还可以包括第一微粒检测装置240。第一微粒检测装置240用于对微流装置中待检测液体产生的光进行检测,例如,第一微粒检测装置240可以对某些波长的光进行检测,由于该特定波长的光是待检测液体中的微粒发出的光,因此根据检测结果,可以得知该部分光对应的待检测液体中微粒的特性。例如,根据发出的荧光具有不同的波长和/或方向等参数,确定微粒的特性。
参见图2,参见图2中虚线箭头所指示的路径,在一个示例中,高速成像装置200还可以包括第一带通滤波器230。带通滤波器可以使得特定波长的光通过,而其他波长的光被过滤掉。其中,微流装置中待检测液体产生的光首先入射到第一带通滤波器230,从而特定波长的光通过所述第一带通滤波器230,经过第一带通滤波器230的光进一步入射到第一微粒检测装置240,使得第一微粒检测装置240对特定波长的光进行检测,根据检测结果,获知该部分光对应的待检测液体中微粒的特性。
此外,在一个示例中,参见图2中虚线箭头所指示的路径,微流装置中的待检测液体的微粒产生的光,可以经过第二物镜160后入射到第一分光镜220,第一分光镜220进一步将待检测液体的微粒产生的光进行反射。也就是说,经过第一分光镜220的光线,其中不可见光波段的光透过第一分光镜入射到第二空间色散器件。其中的可见光波段的光无法透过第一分光镜220,而被第一分光镜220反射出去。
参见图2,在一个示例中,高速成像装置200还可以包括第一带通滤波器230以及第一微粒检测装置240。带通滤波器可以使得特定波长的光通过,而其他波长的光被过滤掉。其中,被第一分光镜220反射的光入射到第一带通滤波器230,从而特定波长的光通过所述第一带通滤波器230,经过第一带通滤波器230的光进一步入射到第一微粒检测装置240,使得第一微粒检测装置240仅对通过所述第一带通滤波器230的特定波长的光进行检测,由于该特定波长的光代表着待检测液体内微粒对某个波段的光的吸收情况,因此根据检测结果,可以得知该部分光对应的液体中微粒的特性。
在一个示例中,高速成像装置200还可以包括信号调整装置270,信号调整装置270可以调整光电探测器180上的信号以及第一微粒检测装置240上的信号,使得两种信号在时间上同步。通过信号的同步,可以检测同一时间点两种光信号的强度。
在一个示例中,参见图2,在高速成像装置200中,还可以包括第一分束器250。第一分束器可以使得特定波长的光透过,而其他波长的光不能透过。第一分束器250可以位于第一分光镜220和第一带通滤波器230之间。这样,第一分光镜220反射的光经过第一分束器250后,该反射的光中特定波长或特定频率的光,透射到第一微粒检测装置240。或者通过第一带通滤波器230到达第一微粒检测装置240。例如可以预先设定波长或频率的阈值,只有波长或频率在该预定阈值的光透过第一分束器250。
例如,从第一分光镜220反射过来的光包括待检测液体中的微粒产生的光,还可能包括第一连续光激光器投射到微流装置而被微流装置或微流装置中的待检测液体反射回来的光线,由于第一微粒检测装置240只对微粒产生的光进行检测,因此,第一分束器250可以将除了微粒产生的光之外的光阻挡在外,从而使得检测光没有噪声,提高了检测的准确性。
此外,在一个示例中,高速成像装置200还可以包括一个或多个平面镜或透镜或其他光学元件,用于调整光路,使得光线朝预定方向照射。例如,平面镜(图中未示出)可以位于连续波激光器210与第一分光镜220之间,连续波激光器210发出的连续可见光可以经平面镜入射到第一分光镜220。或者,平面镜也可以位于连续波激光器210与第一分束器250之间,连续波激光器210发出的连续可见光可以经平面镜入射到第一分束器250。
以上介绍了根据本公开另一实施例的高速成像装置,在该实施例中,高速成像装置可以通过多个辅助元件达到光路的调整,分光和滤波等功能,从而可以实现对待检测液体中的微粒产生的光进行检测,根据对产生的光的检测,可以进一步获知液体中微粒的吸光属性,根据该吸光属性可以判断微粒的颜色、数量以及大小等特性。
下面进一步介绍根据本公开实施例的又一个高速成像装置。待检测液体中往往具有多种微粒或多种细胞,每种微粒也可能具有多种属性,为了同时对多种微粒进行检测,或同时对一种微粒的多种属性进行检测,提高检测速度,图3示出了根据本公开实施例的第三种高速成像装置。第三种高速成像装置是基于前述的第一种高速成像装置和/或第二中高速成像装置的基础上进行的改进,前述任一实施例、实施例组合以及任一示例或示例组合均可以用于该第三种高速成像装置中。图3中的高速成像装置300仅就前述实施例中高速成像装置100或高速成像装置200中的第一分束器,第一连续波激光器,第一带通滤波器以及第一微粒检测装置进行了重新描绘,其他部件以及结构与前述高速成像装置100或高速成像装置200中的相同。在此不再赘述。
参见图3,在该高速成像装置300中,包括至少一个第二连续光激光器310。例如一个第二连续激光器或多个第二连续激光器。第二连续光激光器310发出的可见光的波长范围与第一连续光激光器210不同,这样,不同的连续光激光器可以发出不同波长范围的可见光,从而可以激发待检测液体中的微粒产生不同的光,检测颗粒的不同属性。当然,待检测液体中不同的微粒对不同波长的光的反应也不同,因此,多种波长的可见光的照射,也可以激发待检测液体中的不同微粒产生不同的光,从而可以有效检测待检测液体中存在的不同的微粒,以及微粒的不同属性。
此外,第一连续波激光器210和第二连续光激光器310可以同时发射激光。高速成像装置300还可以包括至少一个第二分光镜320,第二分光镜将第一连续光激光器210与第二连续光激光器310发出的光合并成一束光,并将一束光入射到第二物镜,这样,经过第二物镜的一束光汇聚到微流装置上的至少一部分,以对微流装置中该部分内的待检测液体进行照射,从而激发待检测液体中的微粒产生光。
在一个示例中,高速成像装置300还包括至少一个第三分光镜330,第三分光镜330位于第一分束器250和第一带通滤波器230之间,或者位于第一分束器250和第一微粒检测装置240之间。这样,被第一分光镜220反射的光经过第一分束器250入射到至少一个第三分光镜330,再经过至少一个第三分光镜330入射到第一微粒检测装置240或第一带通滤波器。
在一个示例中,高速成像装置300还包括至少一个第二带通滤波器340。这样,经过第三分光镜330的光可以入射到第一带通滤波器以及一个或多个第二带通滤波器上,每个第三分光镜可以与第一带通滤波器以及第二带通滤波器中的一个带通滤波器对应。如此通过多个带通滤波器,可以使得第三分光镜330的光线进行不同波长的滤波。
在一个示例中,第一带通滤波器和第二带通滤波器中任意两个之间的滤波波长参数不同。这样可以不同波长的光通过不同的带通滤波器,从而实现对多种波长的光的分流。
在一个示例中,高速成像装置300还可以包括至少一个第二微粒检测装置350,第一或第二带通滤波器中的每个带通滤波器与第一或第二微粒检测装置中的一个微粒检测装置对应,这样,经过一个带通滤波器的光入射到对应的高速成像装置,以使每个高速成像装置分别对对应波长的光进行检测,从而可以同时检测液体中微粒的多种指标。
在本公开实施例的高速成像装置中,为了光路的传输需要,本领域技术人员了解,可以设置一个或多个平面镜或透镜或其他光学元件对光路进行调整。
本公开实施例,通过设置多个连续波激光器和多个高速成像装置,可以对待检测液体中微粒进行成像(例如,获取细胞的图像数据),还可以检测液体中微粒针对不同波长的可见光产生的荧光,从而同时检测液体中一种或多种微粒的不同属性指标。
图5示出了根据本公开实施例的一种液体检测方法。参见图5,液体检测方法500可以包括以下步骤。
S501,脉冲光源发射脉冲光;S502,时域色散器件将脉冲光源发出的脉冲光从频域转换到时域,形成时域展宽后的脉冲光;S503,第一空间色散器件改变时域展宽后的脉冲光中不同频率的光在空间的传播方向;S504,第一物镜将第一空间色散器件改变了传播方向的脉冲光汇聚到微流装置;S505,微流装置使得其中的待检测液体以预定速度流动;S506,第二物镜将第一物镜汇聚并经过微流装置后的光进行收集;S507,第二空间色散器件将第二物镜收集的光在空间上进行重组;S508,光电检测装置对第二空间色散器件重组的光进行成像,以对液体中微粒进行检测。
例如,脉冲光源发射红外脉冲光。
例如,还包括,使用位于时域色散器件和第一空间色散器件之间的放大器,对时域展宽后的脉冲光进行放大,并传送给第一空间色散器件。
例如,还包括,将第一分光镜位于第二物镜和第二空间色散器件之间;其中,第二物镜收集的并经过微流装置后的光,透射过第一分光镜,入射到第二空间色散器件。
例如,还包括,第一连续波激光器发出的连续可见光入射到第二物镜;经过第二物镜的连续可见光汇聚到微流装置的至少一部分,以对微流装置中该部分内的液体进行照射,从而激发液体中的微粒产生光。
例如,第一连续波激光器发出的连续可见光入射到第一分光镜;经第一分光镜的连续可见光反射到第二物镜。
例如,还包括,液体中微粒产生的光入射到第一微粒检测装置,第一微粒检测装置对产生的光进行检测。
例如,液体中微粒产生的光入射到第一带通滤波器,经第一带通滤波器滤波后的光入射到第一微粒检测装置。
例如,微流装置液体中微粒产生的光,经过第二物镜入射到第一分光镜;第一分光镜将液体中微粒产生的光反射到第一带通滤波器。
例如,还包括,设置位于第一分光镜和第一带通滤波器之间第一分束器,其中,第一分光镜反射的光经过第一分束器,该反射的光中第一参数在预定阈值的光透过第一分束器,入射到第一带通滤波器。
例如,连续波激光器发出的连续可见光经平面镜传输到第一分光镜。
例如,还包括,设置至少一个第二连续光激光器,第二连续光激光器发出的可见光的波长范围与第一连续光激光器不同,其中,第一连续光激光器与第二连续光激光器的光入射到第二物镜;经过第二物镜的光汇聚到微流装置的至少一部分,以对微流装置中该部分内的液体进行照射,从而激发液体中的微粒产生光。
例如,至少一个第二分光镜将第一连续光激光器与至少一个第二连续光激光器的光合并成一束光,并将一束光入射到第二物镜。
例如,还包括,设置至少一个第二微粒检测装置,每个连续光激光器与第二微粒检测装置中的一个微粒检测装置对应,其中,每个微粒检测装置检测对应的连续光激光器所激发的微流装置中液体微粒产生的光。
例如,还包括,设置至少一个第二带通滤波器,第一或第二带通滤波器中的每个带通滤波器与一个微粒检测装置对应,其中,经过带通滤波器的光入射到对应的微粒检测装置,以使每个微粒检测装置分别对液体进行检测。
例如,第一带通滤波器和至少一个第二带通滤波器中任意两个之间的滤波波长参数不同。
例如,被第一分束器反射的光,入射到至少一个第三分光镜,再经过至少一个第三分光镜入射到第一带通滤波器或第二带通滤波器,每个第三分光镜与一个带通滤波器对应。
例如,第一连续波激光器和第二连续光激光器同时发射激光。
例如,脉冲激光器发出脉冲的频率与光电探测器的帧频相同。
例如,第一空间色散器件为衍射光栅。
例如,第一物镜与第二物镜的数值孔径相同。
例如,第一物镜和第二物镜的放大参数相同。
例如,第一空间色散器件与第二空间色散器件的参数相同。
例如,液体中的微粒产生的光包括,微流装置中在垂直于流动方向的方向上的横截面上的液体微粒产生的光。
例如,液体包括体液,液体中的微粒的吸光参数与体液中的血红蛋白的含量成正比。
例如,连续波激光器入射到微流装置上的第一焦点,与脉冲光源发出的光入射到微流装置中的第二焦点在同一位置。
例如,还包括,信号调整装置调整光电探测装置上的信号以及微粒检测装置上的信号,使得两种信号在时间上同步。
图6示出了根据本公开实施例的利用高速成像装置进行图像识别的方法600的流程图。参见图6,方法600可以包括以下步骤。
S601,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
S602,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
S603,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
S604,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
S605,对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及
S606,确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
例如,在对待处理的原始液体进行离心操作之前还包括:确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。待处理的原始液体例如是胸腹水。细胞类型包括:淋巴细胞、间皮细胞和癌细胞等。
例如,还包括,获取每种细胞类型的图像数据库中的多个细胞图像文件;对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。从识别特征列表中选择符合预设条件的识别特征以作为分类特征包括从识别特征列表中选择出现次数大于预定次数的识别特征作为分类特征。
例如,获取多种细胞类型中每种细胞类型的多个分类特征包括:基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
例如,基于多个分类特征确定每种细胞类型的特征识别集合包括:确定多个分类特征的关联关系,基于关联关系将多个分类特征组成每种细胞类型的特征识别集合。关联关系包括因果关系,邻接关系等。可替换地,将多个分类特征按照在识别特征列表中的出现次数的降序顺序进行字符连接/特征连接/字符串连接,以构成特征识别集合。可替换地,将多个分类特征按照在识别特征列表中的出现次数的降序顺序进行排列,以构成特征识别集合。所述特征识别集合包括按照出现次数的降序顺序或预定次序放置的多个分类特征。
例如,所述待处理的原始液体中包括与目标对象相关联的多个细胞。
例如,所述多个细胞包括多种细胞类型的细胞。
例如,所述对待处理的原始液体进行离心操作包括:在预定温度的条件下,以预先设定的离心力,在预定时间内对待处理的原始液体进行离心操作。预定温度例如是室温温度。或者预定温度是18℃、20℃、23℃、25℃或28℃等任意合理的温度。预先设定的离心力例如是2000g、2500g、3000g或3500g等任意合理的数值。预定时间例如是5分钟、6分钟、7分钟、8分钟、9分钟、10分钟等任意合理时间长度。
例如,将去除了上清的多个细胞重悬于细胞固定液中包括:确定细胞固定液的实际体积;利用甲醇与乙酸按照预定比例混合制成所述实际体积的细胞固定液。细胞固定液的实际体积例如是3ml、4ml、5ml、6ml、8ml或10ml等任意合理的体积。预定比例为3比1、2比1、4比1或任意合理的比例。
例如,所述对经过重悬的细胞固定液进行移液处理以获得待检测液体包括:利用移液枪对对经过重悬的细胞固定液进行移液处理,以通过将多个细胞打散成单细胞状态来获得待检测液体。利用移液枪对对经过重悬的细胞固定液进行移液处理包括:利用移液枪对对经过重悬的细胞固定液进行吹打15次、20次、25次等。
例如,所述利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集包括:利用高速成像装置以预定采集速度对待检测液体中的所有细胞进行单细胞图像采集。高速成像装置进行单细胞图像采集的采集速度达10,000细胞/秒。
例如,还包括,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
例如,所述确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:利用经过训练的卷积神经网络组件确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
例如,其中确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:确定每个细胞的多个图像特征中每个图像特征的权重值;计算每个图像特征与特征识别集合的图像匹配度;基于每个图像特征与特征识别集合的图像匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。优选地,特征识别集合可以是由多个分类特征构成特征内容。计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度可以是,例如,基于图像匹配方式、文本匹配方式、语义匹配方式等计算每个细胞的多个图像特征与每种细胞类型的特征内容的特征匹配度。
例如,其中基于每个图像特征与特征识别集合的匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:
对于所有细胞中的每个细胞,计算与每种细胞类型的特征匹配度:
Figure BDA0002989348260000191
其中Ci为第p个细胞与第i种细胞类型的特征匹配度,kij为第p个细胞的第j个图像特征与第i种细胞类型的图像匹配度,wj为第p个细胞的第j个图像特征的权重值,
其中1≤i≤m,1≤j≤np,m,np,i和j均为自然数,m为细胞类型的数量,np为第p个细胞的图像特征的数量。
例如,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型包括:将与每种细胞类型的特征匹配度中的最大值所对应的细胞类型,确定为每个细胞的细胞类型。
例如,基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征包括:在多个基础特征中选择能够进行图像特征提取的至少一个基础特征;将能够进行图像特征提取的至少一个基础特征中的每个基础特征进行图像特征提取和/或组合,以确定每个细胞的多个图像特征。
此外,本公开还提供了一种利用高速成像装置进行图像识别的方法。该利用高速成像装置进行图像识别的方法与前述任一实施例以及任一示例一一对应,该方法可以应用于前述任一个实施例或示例中。为了说明书的简洁,以下仅做简要描述。
图7示出了根据本公开实施例的利用高速成像装置进行图像识别的另一方法的流程图。参见图7,方法700可以包括以下步骤。S701,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
S702,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
S703,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
S704,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
S705,对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;
S706,利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型;根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
例如,在对待处理的原始液体进行离心操作之前还包括:确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
例如,还包括基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
图8示出了根据本公开实施例的利用高速成像装置进行图像识别的系统的结构示意图。
参见图8,系统包括:离心装置801,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置802,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置803,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置804,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置805,对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及
识别装置806,确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
预处理装置807,确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
训练装置808,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
预处理装置807获取每种细胞类型的图像数据库中的多个细胞图像文件;对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。预处理装置807获取多种细胞类型中每种细胞类型的多个分类特征包括:基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
提取装置805基于多个分类特征确定每种细胞类型的特征识别集合包括:确定多个分类特征的关联关系,基于关联关系将多个分类特征组成每种细胞类型的特征识别集合。
例如,所述待处理的原始液体中包括与目标对象相关联的多个细胞。
例如,所述多个细胞包括多种细胞类型的细胞。
离心装置801对待处理的原始液体进行离心操作包括:在预定温度的条件下,离心装置以预先设定的离心力,在预定时间内对待处理的原始液体进行离心操作。
重悬装置802将去除了上清的多个细胞重悬于细胞固定液中包括:确定细胞固定液的实际体积;利用甲醇与乙酸按照预定比例混合制成所述实际体积的细胞固定液。
处理装置803对经过重悬的细胞固定液进行移液处理以获得待检测液体包括:利用移液枪对对经过重悬的细胞固定液进行移液处理,以通过将多个细胞打散成单细胞状态来获得待检测液体。
采集装置804利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集包括:利用高速成像装置以预定采集速度对待检测液体中的所有细胞进行单细胞图像采集。
识别装置806确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:利用经过训练的卷积神经网络组件确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。识别装置806确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:确定每个细胞的多个图像特征中每个图像特征的权重值;计算每个图像特征与特征识别集合的图像匹配度;基于每个图像特征与特征识别集合的图像匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度。
识别装置806基于每个图像特征与特征识别集合的匹配度和权重值进行加权计算,从而计算每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度包括:对于所有细胞中的每个细胞,识别装置计算与每种细胞类型的特征匹配度:
Figure BDA0002989348260000221
其中Ci为第p个细胞与第i种细胞类型的特征匹配度,kij为第p个细胞的第j个图像特征与第i种细胞类型的图像匹配度,wj为第p个细胞的第j个图像特征的权重值,
其中1≤i≤m,1≤j≤np,m,np,i和j均为自然数,m为细胞类型的数量,np为第p个细胞的图像特征的数量。
识别装置806基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型包括:将与每种细胞类型的特征匹配度中的最大值所对应的细胞类型,确定为每个细胞的细胞类型。
提取装置805基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征包括:在多个基础特征中选择能够进行图像特征提取的至少一个基础特征;将能够进行图像特征提取的至少一个基础特征中的每个基础特征进行图像特征提取和/或组合,以确定每个细胞的多个图像特征。
可替换地,系统包括:
离心装置801,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置802,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置803,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置804,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置805,对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;以及
识别装置806,利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
预处理装置807,确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
训练装置808,基于与每种细胞类型相关联的样本集合对用于识别细胞类型的卷积神经网络组件进行训练,以获得经过训练的卷积神经网络组件。
本公开实施例的液体检测方法,由于使用光学器件进行成像,提高了检测速度,通过对待检测液体中的细胞进行成像,有助于分辨液体中的微粒的种类和个数。
本领域技术人员应该理解,可依赖于设计需求和其它因素对本公开进行各种修改、组合、部分组合和替换,只要它们在所附权利要求书及其等价物的范围内。

Claims (10)

1.一种利用高速成像装置进行图像识别的方法,所述方法包括:
对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及
确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
2.根据权利要求1所述的方法,在对待处理的原始液体进行离心操作之前还包括:
确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
3.根据权利要求2所述的方法,还包括,获取每种细胞类型的图像数据库中的多个细胞图像文件;
对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;
按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;
从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;
将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。
4.根据权利要求3所述的方法,获取多种细胞类型中每种细胞类型的多个分类特征包括:
基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
5.一种利用高速成像装置进行图像识别方法,所述方法包括:
对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;以及
利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
6.一种利用高速成像装置进行图像识别的系统,所述系统包括:
离心装置,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置,对每个细胞的图像数据进行基础特征提取,获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征,获取多种细胞类型中每种细胞类型的多个分类特征,并基于多个分类特征确定每种细胞类型的特征识别集合;以及
识别装置,确定每个细胞的多个图像特征与每种细胞类型的特征识别集合的特征匹配度,基于与每种细胞类型的特征匹配度确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
7.根据权利要求6所述的系统,还包括预处理装置:
预处理装置确定与每种细胞类型相关联的样本集合,从而获得多个样本集合,其中每个样本集合包括多个细胞图像文件,每个细胞图像文件均标注了细胞类型;
预处理装置为每个样本集合中的多个细胞图像文件构建存储结构和索引结构;
预处理装置基于存储结构和索引结构为每种细胞类型建立各自的图像数据库。
8.根据权利要求7所述的系统,预处理装置获取每种细胞类型的图像数据库中的多个细胞图像文件;
预处理装置对多个细胞图像文件中的每个细胞图像文件进行特征识别,以获得与每种细胞类型相关联的多个识别特征;
预处理装置按照每个识别特征在多个细胞图像文件中的出现次数的降序顺序对多个识别特征进行排序,以生成识别特征列表;
预处理装置从识别特征列表中选择符合预设条件的识别特征以作为分类特征,从而获取每种细胞类型的多个分类特征;
预处理装置将每种细胞类型的多个分类特征存储在特征数据库中,并利用每种细胞类型的类型标识来标识各自的多个分类特征。
9.根据权利要求8所述的系统,预处理装置获取多种细胞类型中每种细胞类型的多个分类特征包括:
预处理装置基于多种细胞类型中每种细胞类型的类型标识在特征数据库中进行检索,以获取每种细胞类型各自的多个分类特征。
10.一种利用高速成像装置进行图像识别的系统,所述系统包括:
离心装置,对待处理的原始液体进行离心操作,以获取所述待处理的原始液体中的多个细胞;
重悬装置,将经过离心操作所获取的多个细胞的上清去除,并将去除了上清的多个细胞重悬于细胞固定液中;
处理装置,对经过重悬的细胞固定液进行移液处理以获得待检测液体,其中所述待检测液体中的所有细胞处于单细胞状态;
采集装置,利用高速成像装置对待检测液体中的所有细胞进行单细胞图像采集,以获取每个细胞的图像数据;
提取装置,对每个细胞的图像数据进行特征提取,以获得每个细胞的多个基础特征并基于多个基础特征中的至少一个基础特征确定每个细胞的多个图像特征;以及
识别装置,利用用于识别细胞类型的卷积神经网络组件对每个细胞的多个图像特征进行识别,以确定每个细胞的细胞类型,根据每个细胞的细胞类型确定每种细胞类型的细胞的数量,并基于每种细胞类型的细胞的数量确定每种细胞类型的细胞的数量比例。
CN202110310082.XA 2021-03-23 2021-03-23 一种利用高速成像装置进行图像识别的方法及系统 Active CN113033389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310082.XA CN113033389B (zh) 2021-03-23 2021-03-23 一种利用高速成像装置进行图像识别的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310082.XA CN113033389B (zh) 2021-03-23 2021-03-23 一种利用高速成像装置进行图像识别的方法及系统

Publications (2)

Publication Number Publication Date
CN113033389A true CN113033389A (zh) 2021-06-25
CN113033389B CN113033389B (zh) 2022-12-16

Family

ID=76472956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310082.XA Active CN113033389B (zh) 2021-03-23 2021-03-23 一种利用高速成像装置进行图像识别的方法及系统

Country Status (1)

Country Link
CN (1) CN113033389B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588522A (zh) * 2021-08-05 2021-11-02 中国科学技术大学 基于微流控和图像识别的循环肿瘤检测与分选方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107314965A (zh) * 2017-04-26 2017-11-03 马鞍山易廷生物科技有限公司 基于流式结合icp‑ms单细胞蛋白检测的样本前处理方法
CN107490672A (zh) * 2017-07-18 2017-12-19 天津师范大学 一种快速分析甲壳动物血淋巴细胞类群和数量的方法及应用
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN109033936A (zh) * 2018-06-01 2018-12-18 齐鲁工业大学 一种宫颈脱落细胞核图像识别方法
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN111855508A (zh) * 2020-07-22 2020-10-30 天津凌视科技有限公司 液体检测装置以及液体检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107314965A (zh) * 2017-04-26 2017-11-03 马鞍山易廷生物科技有限公司 基于流式结合icp‑ms单细胞蛋白检测的样本前处理方法
CN107490672A (zh) * 2017-07-18 2017-12-19 天津师范大学 一种快速分析甲壳动物血淋巴细胞类群和数量的方法及应用
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN109033936A (zh) * 2018-06-01 2018-12-18 齐鲁工业大学 一种宫颈脱落细胞核图像识别方法
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN111855508A (zh) * 2020-07-22 2020-10-30 天津凌视科技有限公司 液体检测装置以及液体检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. C. KIMMEL 等: "Deep Convolutional and Recurrent Neural Networks for Cell Motility Discrimination and Prediction", 《IEEE/ACM TRANSACTIONS ON COMPUTATIONAL BIOLOGY AND BIOINFORMATICS》 *
MENGPING LONG 等: "A Histone Acetylation Modulator Gene Signature for Classification and Prognosis of Breast Cancer", 《MDPI》 *
袁高腾: "基于深度卷积网络的乳腺癌分类", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588522A (zh) * 2021-08-05 2021-11-02 中国科学技术大学 基于微流控和图像识别的循环肿瘤检测与分选方法及系统

Also Published As

Publication number Publication date
CN113033389B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Grégori et al. Hyperspectral cytometry at the single‐cell level using a 32‐channel photodetector
US20220082488A1 (en) Methods of forming multi-color fluorescence-based flow cytometry panel
JP6100658B2 (ja) 血球分析装置および血球分析方法
US8148101B2 (en) Method for classifying and counting bacteria in body fluids
CN106596489A (zh) 用于荧光液滴检测中荧光强度数据的处理方法
CN110226082B (zh) 具有多个强度峰值设计的流式细胞仪
He et al. In vivo cell characteristic extraction and identification by photoacoustic flow cytography
CN113033389B (zh) 一种利用高速成像装置进行图像识别的方法及系统
JP2018509610A (ja) 光検出システム及びその使用方法
US20240272061A1 (en) Flow Cytometers Including Light Collection Enhancers, And Methods of Using The Same
CN111855508A (zh) 液体检测装置以及液体检测方法
US11841314B2 (en) Method and system for characterizing particles using an angular detection in a flow cytometer
CN110530783B (zh) 用于流式细胞仪的侧向光束收集方法、装置及流式细胞仪
CN102590053A (zh) 海洋浮游生物粒径谱现场检测仪
US20240027457A1 (en) High parameter reagent panel and reagent kit for effective detection of aberrant cells in acute myeloid leukemia
JPH0222537A (ja) 細胞分折装置
SE533197C2 (sv) Avståndsdetektion av farliga ämnen såsom explosivämnen och beståndsdelar till explosivämnen
US20180106712A1 (en) Particle size determination using raman spectroscopy
CN114018896B (zh) 多场多尺度的细胞检测装置及方法
US20230143882A1 (en) Systems and method for measuring pathogens and biomarkers in fluids
US20240027448A1 (en) B cell monitoring reagent panel and reagent kit for analyzing b cell subsets in anti-cd20 treated autoimmune patients
US20240337581A1 (en) Methods and aparatus for a twenty-five-color fluorescence-based assay and flow cytometry panel
CN212321446U (zh) 一种双波长激光共焦拉曼探头及拉曼光谱仪
US20240210397A1 (en) High parameter flow cytometric assay to identify human myeloid derived suppressive cells
US20240027447A1 (en) Methods and aparatus for a mouse surface and intracellular flow cytometry immunophenotyping kit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant