CN115880689A - 细胞识别的方法、装置和系统 - Google Patents
细胞识别的方法、装置和系统 Download PDFInfo
- Publication number
- CN115880689A CN115880689A CN202111127053.6A CN202111127053A CN115880689A CN 115880689 A CN115880689 A CN 115880689A CN 202111127053 A CN202111127053 A CN 202111127053A CN 115880689 A CN115880689 A CN 115880689A
- Authority
- CN
- China
- Prior art keywords
- cell
- information
- cells
- traction
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005859 cell recognition Effects 0.000 claims abstract description 39
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims description 13
- 238000012876 topography Methods 0.000 claims description 7
- 210000004027 cell Anatomy 0.000 description 632
- 230000000670 limiting effect Effects 0.000 description 29
- 239000013598 vector Substances 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010868 cell confinement Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000007637 random forest analysis Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 210000002865 immune cell Anatomy 0.000 description 3
- 230000010415 tropism Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 229940044683 chemotherapy drug Drugs 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012174 single-cell RNA sequencing Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
为解决细胞识别的问题,发明人提供了一种细胞识别的方法,包括如下步骤:获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。发明人同时提供了实现上述技术方案的细胞识别的装置以及细胞识别的系统,具有高通量、高分辨率、能实时测量分析活体单细胞的特点。
Description
技术领域
本发明涉及细胞分析与鉴定领域,尤其涉及一种细胞识别的方法、装置和系统。
背景技术
目前流行的单细胞层面的定量分析技术为单细胞测序技术(scRNA-seq), 其特点在于对单细胞转录组进行定量分析。但缺点在于其相当于对单细胞做了快照,是侵入损毁型的方法,无法对相同的一个细胞进行实时检测。其它方法例如免疫荧光,需要对细胞进行染色,难免对细胞造成影响或损害,过程昂贵且复杂。
发明内容
为此,需要提供一种具有高通量、高分辨率特点,并且能实时测量分析活体单细胞的技术,来解决细胞识别的问题,以进一步帮助科研、药物开发及临床应用。
为实现上述目的,发明人提供了一种细胞识别的方法,包括如下步骤:
获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;
对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;
以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。
进一步地,所述的细胞识别的方法中,所述细胞牵引力信息还包括该点细胞牵引力的方向。
进一步地,所述的细胞识别的方法中,所述细胞牵引力信息还包括该点细胞牵引力的大小或方向在一定时间间隔内的变化。
进一步地,所述的细胞识别的方法中,所述细胞信息还包括细胞形貌信息。
进一步地,所述的细胞识别的方法中,所述细胞信息是在对细胞进行细胞限定操作下获取的。
发明人同时提供了一种细胞识别的装置,包括信息获取单元、预处理单元、学习单元和识别单元;
所述信息获取单元用于获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;
所述预处理单元用于对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;
所述学习单元用于以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型;
所述识别单元用于将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。
进一步地,所述的细胞识别的装置中,所述细胞牵引力信息还包括该点细胞牵引力的方向。
进一步地,所述的细胞识别的装置中,所述细胞牵引力信息还包括该点细胞牵引力的大小或方向在一定时间间隔内的变化。
进一步地,所述的细胞识别的装置中,所述细胞信息还包括细胞形貌信息。
进一步地,所述的细胞识别的装置中,所述细胞信息是在对细胞进行细胞限定操作下获取的。
发明人同时还提供了一种细胞识别的系统,包括细胞力学传感器和如上技术方案所述的细胞识别装置。
进一步地,所述的细胞识别的系统中,还包括细胞形貌信息获取装置,用于获取细胞形貌信息。
进一步地,所述的细胞识别的系统中,所述细胞形貌信息获取装置包括显微照相机或显微摄像机。
进一步地,所述的细胞识别的系统中,还包括细胞限定装置,用于对细胞进行细胞限定操作。
区别于现有技术,上述技术方案具有如下优点:本发明利用细胞力学传感器获取细胞力学信息用于细胞识别,这种细胞识别不仅包括细胞的类型,也包括细胞的状态;而且本技术对活细胞无创无影响,具有实时、高通量、高分辨率的显著优势,可基于对每个单细胞的牵引力进行测量,进而识别不同类型细胞,并可进一步用于侦测细胞力受化疗药物的影响,甚至细胞分选,用于生物医药、医疗方面的都具有很大的应用价值。
附图说明
图1为本发明第四实施例中对某点位位移信息标量化处理的示意图;
图2为本发明第五实施例扩展实施方式中所述将建立的细胞特征模型用于未知细胞或未知细胞表现型的识别的结果图A;
图3为本发明第五实施例扩展实施方式中所述将建立的细胞特征模型用于未知细胞或未知细胞表现型的识别的结果图B;
图4为本发明第十二实施例所述细胞识别的装置的结构示意图;
图5为本发明第十八实施例所述细胞识别的系统的结构示意图。
附图标记说明:
1 信息获取单元
2 预处理单元
3 学习单元
4 识别单元
10-细胞力学传感器
20-细胞识别的装置
30-细胞形貌信息获取装置
40-细胞限定装置
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
第一实施例
一种细胞识别的方法(仅细胞牵引力大小,无标签),包括如下步骤:
S1、获取细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小,具体为:使用细胞力学传感器对多个细胞进行细胞信息采集,其中包括对各个细胞的多点进行细胞牵引力大小信息采集,从而获取多个细胞中的多点细胞牵引力大小数据;
S2、对获取的细胞牵引力大小信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P的二维特征矩阵(Feature matrix),其中N为细胞数目,P为细胞特征数目,此处P=1,即细胞特征为细胞牵引力大小;
S3、以上述的结构化细胞信息作为输入数据,利用无监督机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的聚类。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第二实施例
一种细胞识别的方法(仅细胞牵引力大小,有标签),包括如下步骤:
S1、获取若干种已知细胞类型或已知细胞状态的细胞的细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小,具体包括:使用细胞力学传感器对上述若干种细胞进行信息采集,其中包括对各个细胞的多点进行细胞牵引力大小信息采集,从而获取多个细胞中的多点细胞牵引力大小数据;
S2、对获取的细胞牵引力大小信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵(Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目,此处P=1,即细胞特征为:细胞牵引力大小;
S3、以上述的结构化细胞信息作为输入数据,利用有监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息对所述细胞特征模型进行训练,例如,本实施例采用随机森林(Random Forest,RF)算法进行显著特征的提取以及估计模型参数,然后应用于新的细胞,估计新细胞对应的标签,即将所述细胞特征模型应用于未知类型或未知状态的细胞的分类(即识别,本发明所述的“识别”应理解为广义的识别,既包括“分类”,即判定细胞的类型或细胞的状态;也包括“聚类”,即虽然不知具体的细胞状态或类型,但将可能具有相同或相似性质的、可能为相同或相似类型或状态的细胞进行聚类)。而其他实施方式中,还可能采取支持向量机(Support Vector Machine,SVM)或深度学习等机器学习的算法/思路完成相应的模型建立和训练学习工作。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第三实施例
一种细胞识别的方法(仅细胞牵引力大小,部分数据有标签、部分数据无标签),包括如下步骤:
S1、获取多个细胞的细胞信息,其中部分细胞为若干种已知细胞类型或已知细胞状态的细胞,其余细胞为未知细胞类型或未知细胞状态的细胞;所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小。本步骤具体包括:使用细胞力学传感器对上述若干种细胞进行信息采集,其中包括对各个细胞的多点进行细胞牵引力大小信息采集,从而获取多个细胞中的多点细胞牵引力大小数据;
S2、对获取的细胞牵引力大小信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵(Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目,此处P=1,即细胞特征为:细胞牵引力大小;
S3、以上述的结构化细胞信息作为输入数据,利用半监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息(同时包括有标签和无标签的细胞)对所述细胞特征模型进行训练,然后将所述细胞特征模型应用于未知类型或未知状态的细胞的分类/聚类。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第四实施例
一种细胞识别的方法(细胞牵引力的大小和方向,无标签),包括如下步骤:
S1、获取细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小和方向,具体包括:使用细胞力学传感器 (本实施例中为纳米微柱传感器)对多个细胞进行细胞信息采集,其中包括对各个细胞的多点进行细胞牵引力大小和方向的信息采集,从而获取多个细胞中的多点细胞牵引力大小及方向数据;
S2、对获取的细胞牵引力大小和方向的信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵 (Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目,此处P=2,即细胞特征为:细胞牵引力大小、细胞牵引力方向;
S3、以上述的结构化细胞信息作为输入数据,利用无监督机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的聚类。
具体地,本实施例中的S2步骤对细胞信息做大致如下的处理:假设在一个细胞内共取到n个点的细胞牵引力向量数据(大小和方向),这些点位为:(i,i∈{1,2,...n}),分别对应两个二维坐标以及/>其中t0和tn分别对应纳米微柱初始以及位移后的点位。这样一来,/>即为每个坐标点上力的方向。此外,每个坐标点位上还应有一个标量信息,即力的大小d。如此即可通过已有数据估计出细胞轴方向以及中心点坐标、并以此为基准将每个细胞整理为一个长度相同的向量。例如,基于每个细胞中的各点位,中心点可以被计算为:/>细胞轴的计算方式为寻找距离最远的两点(x1,y1) 以及(x2,y2),通过如下公式来得到细胞轴:/>α=y2-βx2,y=α+βx。
请参见图1,图1为本发明第四实施例中对某点位位移信息标量化处理的示意图,图中每个点代表一个点位,各点位颜色深度由浅至深表示力由小到大。在获得每个细胞的细胞轴之后,可进一步对每个点位量化处理:计算每个点的位移矢量与细胞轴夹角为θ。每个点位可以继而与力的大小(标量)相结合,如将力的大小d视为权重,从而将各点位处理为一个标量si=θi*di。如此一来,每个细胞的细胞信息都可以被整理为一个向量z=(s1,...sn)。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小或细胞牵引力方向信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;细胞牵引力向量在细胞内的分布情况;等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第五实施例
一种细胞识别的方法(细胞牵引力的大小和方向,有标签),包括如下步骤:
S1、获取若干种已知细胞类型或已知细胞状态的细胞的细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小和方向,具体包括:使用细胞力学传感器对上述若干种细胞进行信息采集,其中包括对各个细胞的多点进行细胞牵引力大小信息采集,从而获取多个细胞中的多点细胞牵引力大小数据;
S2、对获取的细胞牵引力大小信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵(Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目,此处P=2,即细胞特征为:细胞牵引力大小、细胞牵引力方向;
S3、以上述的结构化细胞信息作为输入数据,利用有监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息对所述细胞特征模型进行训练,然后将所述细胞特征模型应用于未知类型或未知状态的细胞的分类。例如,本实施例采用随机森林(RandomForest,RF)算法进行显著特征的提取以及估计模型参数,然后应用于新的细胞,估计新细胞对应的标签,即将所述细胞特征模型应用于未知类型或未知状态的细胞的分类。而其他实施方式中,还可能采取支持向量机(Support Vector Machine,SVM)或深度学习等机器学习的算法/思路完成相应的模型建立和训练学习工作。
请参见图2和图3,图2和图3分别为本发明第五实施例扩展实施方式中所述将建立的细胞特征模型用于未知细胞或未知细胞表现型的识别的结果图A以及结果图B,图A中不同行代表不同细胞类型,不同列代表不同样本,图中黑点为采用随机森林所算法提取的前50个显著特征,或者可以称为显著点位,此处的点位是指一个细胞中的某个位置,从不同的位置获取的细胞牵引力信息不同。而图B则展示了利用前50显著特征 (显著点位)对三种不同的细胞类型的显著区分效果。基于有标签数据学习到的显著特征可对数据降维可视化。后续亦可经由聚类算法,基于降维数据,对细胞进行分类和识别。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小或细胞牵引力方向信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;细胞牵引力向量在细胞内的分布情况等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第六实施例
一种细胞识别的方法(细胞牵引力大小和方向,部分数据有标签、部分数据无标签),包括如下步骤:
S1、获取多个细胞的细胞信息,其中部分细胞为若干种已知细胞类型或已知细胞状态的细胞,其余细胞为未知细胞类型或未知细胞状态的细胞;所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的大小。具体包括:使用细胞力学传感器对上述若干种细胞进行信息采集,其中包括对各个细胞的多点进行细胞牵引力大小信息采集,从而获取多个细胞中的多点细胞牵引力大小数据;
S2、对获取的细胞牵引力大小信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵(Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目,此处P=2,即细胞特征为:细胞牵引力大小、细胞牵引力方向;
S3、以上述的结构化细胞信息作为输入数据,利用半监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息对所述细胞特征模型进行训练,然后将所述细胞特征模型应用于未知类型或未知状态的细胞的分类。
在另外一些与本实施例类似的实施方式里,可以以如下的方式进行优化或改进:对单个细胞而言,对其获取的多点细胞牵引力大小或细胞牵引力方向信息做进一步的信息处理,例如计算出:单位面积细胞牵引力大小的平均值;细胞牵引力大小在细胞内的分布情况;细胞牵引力向量在细胞内的分布情况;等维度的信息,可以此作为新的细胞特征,添加入步骤S2中所述的二维特征矩阵,即扩充P的内容,然后经由后续的机器学习来获知哪种特征能够更好的将不同类型或状态的细胞区别开来。
第七实施例
一种细胞识别的方法(细胞牵引力向量的瞬间值、细胞牵引力向量在一定时间间隔内的变化情况,无标签),包括如下步骤:
S1、获取细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的向量的瞬时值和该点细胞牵引力向量在一定时间间隔内的变化情况;具体包括:使用细胞力学传感器对多个细胞进行细胞信息采集,其中包括对各个细胞的多点进行细胞牵引力大小和方向的信息采集,从而获取多个细胞中的多点细胞牵引力大小及方向数据;
S2、对获取的细胞牵引力大小和方向的信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵 (Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目。
S3、以上述的结构化细胞信息作为输入数据,利用无监督机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的聚类。
本实施方式中,由于获取的不仅是细胞内某个点位的细胞牵引力向量的瞬时值,还包括了其在一定时间间隔内的间隔情况,因此所获取的单个细胞的力学数据实际上可以类比为图像(瞬时值)或者视频(时间维度内的变化情况),如此一来,如果将当前细胞覆盖下的点阵类比为图像中的像素点,而将各点位所记录的信息(力的大小、方向等多个细胞特征)可以类比为像素点所对应的色彩,就可以在后续机器学习中借鉴图像和视频数据处理领域的机器学习算法,例如的采取广泛应用在图像识别当中的机器学习,更确切点说,深度学习(deep learning)中的卷积神经网络(Convolutional Neural Network,CNN)来对数据建模分析。
第八实施例
一种细胞识别的方法(细胞牵引力向量的瞬间值、细胞牵引力向量在一定时间间隔内的变化情况,有标签),包括如下步骤:
S1、获取若干种已知细胞类型或已知细胞状态的细胞的细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的向量的瞬时值和该点细胞牵引力向量在一定时间间隔内的变化情况;具体包括:使用细胞力学传感器对多个细胞进行细胞信息采集,其中包括对各个细胞的多点进行细胞牵引力大小和方向的信息采集,从而获取多个细胞中的多点细胞牵引力大小及方向数据;
S2、对获取的细胞牵引力大小和方向的信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵 (Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目。
S3、以上述的结构化细胞信息作为输入数据,利用有监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息对所述细胞特征模型进行训练,然后将所述细胞特征模型应用于未知类型或未知状态的细胞的分类(即识别,本发明所述的“识别”应理解为广义的识别,既包括“分类”,即判定细胞的类型或细胞的状态;也包括“聚类”,即虽然不知具体的细胞状态或类型,但将可能具有相同或相似性质的、可能为相同或相似类型或状态的细胞进行聚类)。例如,本实施例采用随机森林 (Random Forest,RF)算法进行显著特征的提取以及估计模型参数,然后应用于新的细胞,估计新细胞对应的标签,即将所述细胞特征模型应用于未知类型或未知状态的细胞的分类。而其他实施方式中,还可能采取支持向量机(Support Vector Machine,SVM)或深度学习等机器学习的算法/思路完成相应的模型建立和训练学习工作。
本实施方式中,由于获取的不仅是细胞内某个点位的细胞牵引力向量的瞬时值,还包括了其在一定时间间隔内的间隔情况,因此所获取的单个细胞的力学数据实际上可以类比为图像(瞬时值)或者视频(一定时间维度内的多个瞬时值),如此一来,如果将当前细胞覆盖下的点阵类比为图像中的像素点,而将各点位所记录的信息(力的大小、方向等多种细胞特征)可以类比为像素点所对应的色彩,就可以在后续机器学习中借鉴图像和视频数据处理领域的机器学习算法,例如的采取广泛应用在图像识别当中的机器学习,更确切点说,深度学习(deep learning) 中的卷积神经网络(Convolutional Neural Network,CNN)来对数据建模分析。
第九实施例
一种细胞识别的方法(细胞牵引力向量的瞬间值、细胞牵引力向量在一定时间间隔内的变化情况,部分数据有标签,部分数据无标签),包括如下步骤:
S1、获取若干种已知细胞类型或已知细胞状态的细胞的细胞信息,所述细胞信息为基于细胞力学传感器获取的细胞中某点的细胞牵引力的向量的瞬时值和该点细胞牵引力向量在一定时间间隔内的变化情况;具体包括:使用细胞力学传感器对多个细胞进行细胞信息采集,其中包括对各个细胞的多点进行细胞牵引力大小和方向、并在一定时间范围内持续进行该信息采集,从而获取多个细胞中的多点细胞牵引力大小及方向数据,以及所述多点的细胞牵引力向量在一定时间间隔内的变化信息;
S2、对获取的细胞牵引力大小和方向的信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息,此时结构化细胞信息可以视为一个MN×P特征矩阵 (Feature matrix)的二维矩阵,其中N为细胞数目,P为细胞特征数目。
S3、以上述的结构化细胞信息作为输入数据,利用半监督机器学习建立细胞特征模型并利用大量细胞的结构化细胞信息对所述细胞特征模型进行训练,然后将所述细胞特征模型应用于未知类型或未知状态的细胞的分类/聚类。
本实施方式中,由于获取的不仅是细胞内某个点位的细胞牵引力向量的瞬时值,还包括了其在一定时间间隔内的间隔情况,因此所获取的单个细胞的力学数据实际上可以类比为图像(瞬时值)或者视频(一定时间维度内的多个瞬时值),如此一来,如果将当前细胞覆盖下的点阵类比为图像中的像素点,而将各点位所记录的信息(力的大小、方向等多种细胞特征)可以类比为像素点所对应的色彩,就可以在后续机器学习中借鉴图像和视频数据处理领域的机器学习算法,例如的采取广泛应用在图像识别当中的机器学习,更确切点说,深度学习(deep learning) 中的卷积神经网络(Convolutional Neural Network,CNN)来对数据建模分析。
第十实施例
一种细胞识别的方法,其与第一至第九实施例的区别在于,所述细胞信息还包括细胞形貌信息,所述细胞形貌信息由显微照相机或显微摄像机获取(当需要对一定时间间隔内的信息进行连续采集时)。此时,数据预处理步骤中的细胞特征还包括细胞形貌信息或经由对细胞形貌信息做进一步处理或分析所得出的进一步信息,包括:细胞尺寸、细胞形状、细胞核尺寸、细胞核形状、细胞颜色中的一种或若干种。
第十一实施例
一种细胞识别的方法,其与第一至第十实施例的区别在于,所述细胞信息是在对细胞进行限制的前提下采集的。对细胞进行形态限制的方法包括物理方法,如在若干个细胞力学传感器周围建立起可包绕一定区域(面积)的限制墙,这种限制墙的高度高于其内的细胞力学传感器的高度,故可以视为一种细胞限定装置,由于其设立了一定的空间区域,所以只有相应大小的细胞可以落入其中与所述细胞力学传感器接触,也可以认为只有相应个数(大部分情况下,该限制墙可容纳1个细胞落入其中)。在特殊情况下,该限制墙还可以通过挤压作用让进入其中的细胞在一定程度上适应为限制墙所包围的横截面的形状,从而达到一定的细胞形态限定效果。
与不对细胞进行限制之下进行本发明所述的细胞识别的方案相比,对细胞进行限制(个数限制或形态限制)后,首先能够减少细胞间的接触,使绝大多数细胞都处于单细胞状态;其次能够减少细胞大小、形状这一维度,即对细胞特征数目进行了降维工作,能够一定程度上降低分析过程的难度;再者,利用特定的细胞形状也能控制细胞的分化状态,例如免疫细胞可被形态限定在M1状态,在特定的场景下运用能够得到更有价值的结果。
当然,若不对细胞进行形态限制,则将使细胞处在自然状态,能够减少外来干预对细胞的影响;并且,也必须在不加形态限制的时候才能对细胞进行边缘检测从而得到细胞形态,向性等特征,从而协助对细胞的辨识与预测。简言之,本实施方式所述的细胞限制方案在特定技术场景下运用有其独到优势。
第十二实施例
一种细胞识别的装置,包括信息获取单元1、预处理单元2、学习单元3和识别单元4;
所述信息获取单元1用于获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;
所述预处理单元2用于对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;
所述学习单元3用于以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型;
所述识别单元4用于将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。
本实施方式所述的细胞识别装置可用于实现如第一至第三实施例所述的细胞识别方法技术方案。
第十三实施例
一种细胞识别的装置,其与第十二实施例不同之处在于,所述信息获取单元1所获取的细胞牵引力信息还包括该点细胞牵引力的方向。本实施方式所述的细胞识别装置可用于实现如第四至第六实施例所述的细胞识别方法技术方案。
第十四实施例
一种细胞识别的装置,其与第十二、第十三实施例不同之处在于,所述信息获取单元1所获取的细胞牵引力信息还包括该点细胞牵引力的大小或方向在一定时间间隔内的变化。本实施方式所述的细胞识别装置可用于实现如第七至第九实施例所述的细胞识别方法技术方案。
第十五实施例
一种细胞识别的装置,其与第十二至第十四实施例不同之处在于,所述信息获取单元1所获取的细胞牵引力信息还包括还包括细胞形貌信息。本实施方式所述的细胞识别装置可用于实现如第十实施例所述的细胞识别方法技术方案。
第十六实施例
一种细胞识别的装置,其与第十二至第十五实施例不同之处在于,所述细胞信息是在对细胞进行细胞限定操作下获取的。对细胞进行形态限制的方法包括物理方法,如在若干个细胞力学传感器周围建立起可包绕一定区域(面积)的限制墙,这种限制墙的高度高于其内的细胞力学传感器的高度,故可以视为一种细胞限定装置,由于其设立了一定的空间区域,所以只有相应大小的细胞可以落入其中与所述细胞力学传感器接触,也可以认为只有相应个数(大部分情况下,该限制墙可容纳1个细胞落入其中)。在特殊情况下,该限制墙还可以通过挤压作用让进入其中的细胞在一定程度上适应为限制墙所包围的横截面的形状,从而达到一定的细胞形态限定效果。
与不对细胞进行限制之下进行本发明所述的细胞识别的方案相比,对细胞进行限制(个数限制或形态限制)后,首先能够减少细胞间的接触,使绝大多数细胞都处于单细胞状态;其次能够减少细胞大小、形状这一维度,即对细胞特征数目进行了降维工作,能够一定程度上降低分析过程的难度;再者,利用特定的细胞形状也能控制细胞的分化状态,例如免疫细胞可被形态限定在M1状态,在特定的场景下运用能够得到更有价值的结果。
当然,若不对细胞进行形态限制,则将使细胞处在自然状态,能够减少外来干预对细胞的影响;并且,也必须在不加形态限制的时候才能对细胞进行边缘检测从而得到细胞形态,向性等特征,从而协助对细胞的辨识与预测。简言之,本实施方式所述的细胞限制方案在特定技术场景下运用有其独到优势。
与不对细胞进行限制之下进行本发明所述的细胞识别的方案相比,对细胞进行限制(个数限制或形态限制)后,首先能够减少细胞间的接触,使绝大多数细胞都处于单细胞状态;其次能够减少细胞大小、形状这一维度,即对细胞特征数目进行了降维工作,能够一定程度上降低分析过程的难度;再者,利用特定的细胞形状也能控制细胞的分化状态,例如免疫细胞可被形态限定在M1状态,在特定的场景下运用能够得到更有价值的结果。
当然,若不对细胞进行限制,则将使细胞处在自然状态,能够减少外来干预对细胞的影响;并且,也必须在不加形态限制的时候才能对细胞进行边缘检测从而得到细胞形态,向性等特征,从而协助对细胞的辨识与预测。简言之,本实施方式所述的细胞限制方案在特定技术场景下运用有其独到优势。
本实施方式所述的细胞识别装置可用于实现如第十一实施例所述的细胞识别方法技术方案。
第十七实施例
一种细胞识别的系统,包括细胞力学传感器10和细胞识别的装置20。所述细胞识别的装置为上述第十二至第十六实施例里描述的细胞识别装置,用于实现上述第一至第九实施例所描述的细胞识别方法所述的技术方案。
本实施方式中的细胞力学传感器10为纳米微柱阵列,其他实施方式中还可以采取任意能够获取细胞牵引力信息的设备作为细胞力学传感器。
第十八实施例
一种细胞识别的系统,其与第十七实施例不同之处在于,还包括细胞形貌信息获取装置30,用于获取细胞形貌信息。本实施例所述的细胞形貌信息获取装置30为显微照相机,其他实施方式中,所述细胞形貌信息获取装置30还可以是显微摄像机或其他能够获取细胞形貌信息的设备。本实施例所述的细胞识别系统可用于实现上述第十实施例所描述的细胞识别方法所述的技术方案。
第十八实施例
一种细胞识别的系统,其与第十七、第十八实施例不同之处在于,还包括细胞限定装置40,用于对细胞进行细胞限定操作。本实施方式中细胞限定装置40具体为如下结构:在若干个细胞力学传感器周围建立起可包绕一定区域(面积)的限制墙,这种限制墙的高度高于其内的细胞力学传感器的高度,故可以视为一种细胞限定装置,由于其设立了一定的空间区域,所以只有相应大小的细胞可以落入其中与所述细胞力学传感器接触,也可以认为只有相应个数(大部分情况下,该限制墙可容纳1 个细胞落入其中)。在特殊情况下,该限制墙还可以通过挤压作用让进入其中的细胞在一定程度上适应为限制墙所包围的横截面的形状,从而达到一定的细胞形态限定效果。本实施例所述的细胞识别系统可用于实现上述第十一实施例所描述的细胞识别方法所述的技术方案。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。
Claims (14)
1.一种细胞识别的方法,其特征在于,包括如下步骤:
获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;
对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;
以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型,并将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。
2.如权利要求1所述的细胞识别的方法,其特征在于,所述细胞牵引力信息还包括该点细胞牵引力的方向。
3.如权利要求1所述的细胞识别的方法,其特征在于,所述细胞牵引力信息还包括该点细胞牵引力的大小或方向在一定时间间隔内的变化。
4.如权利要求1所述的细胞识别的方法,其特征在于,所述细胞信息还包括细胞形貌信息。
5.如权利要求1所述的细胞识别的方法,其特征在于,所述细胞信息是在对细胞进行细胞限定操作下获取的。
6.一种细胞识别的装置,其特征在于,包括信息获取单元、预处理单元、学习单元和识别单元;
所述信息获取单元用于获取细胞信息,所述细胞信息包括基于细胞力学传感器获取的细胞中某点的细胞牵引力信息,所述细胞牵引力信息包括该点细胞牵引力的大小;
所述预处理单元用于对细胞信息做预处理,形成结构化细胞信息;所述结构化细胞信息包括细胞数目、细胞特征数目和各细胞特征的特征信息;
所述学习单元用于以结构化细胞信息作为输入数据,利用有监督、无监督或半监督的机器学习建立细胞特征模型;
所述识别单元用于将所述细胞特征模型应用于未知类型或未知状态的细胞的分类或聚类。
7.如权利要求6所述的细胞识别的装置,其特征在于,所述细胞牵引力信息还包括该点细胞牵引力的方向。
8.如权利要求6所述的细胞识别的装置,其特征在于,所述细胞牵引力信息还包括该点细胞牵引力的大小或方向在一定时间间隔内的变化。
9.如权利要求6所述的细胞识别的装置,其特征在于,所述细胞信息还包括细胞形貌信息。
10.如权利要求6所述的细胞识别的装置,其特征在于,所述细胞信息是在对细胞进行细胞限定操作下获取的。
11.一种细胞识别的系统,其特征在于,包括细胞力学传感器和如权利要求6-10中任一项所述的细胞识别装置。
12.如权利要求11所述的细胞识别的系统,其特征在于,还包括细胞形貌信息获取装置,用于获取细胞形貌信息。
13.如权利要求12所述的细胞识别的系统,其特征在于,所述细胞形貌信息获取装置包括显微照相机或显微摄像机。
14.如权利要求11所述的细胞识别的系统,其特征在于,还包括细胞限定装置,用于对细胞进行细胞限定操作。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127053.6A CN115880689A (zh) | 2021-09-26 | 2021-09-26 | 细胞识别的方法、装置和系统 |
PCT/CN2022/121340 WO2023046167A1 (zh) | 2021-09-26 | 2022-09-26 | 一种细胞识别的方法、装置和系统 |
CN202280064594.5A CN118076981A (zh) | 2021-09-26 | 2022-09-26 | 一种细胞识别的方法、装置和系统 |
EP22872210.4A EP4407571A1 (en) | 2021-09-26 | 2022-09-26 | Cell recognition method, apparatus, and system |
AU2022350581A AU2022350581A1 (en) | 2021-09-26 | 2022-09-26 | Method, device, and system for cell identification |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127053.6A CN115880689A (zh) | 2021-09-26 | 2021-09-26 | 细胞识别的方法、装置和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880689A true CN115880689A (zh) | 2023-03-31 |
Family
ID=85720149
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111127053.6A Pending CN115880689A (zh) | 2021-09-26 | 2021-09-26 | 细胞识别的方法、装置和系统 |
CN202280064594.5A Pending CN118076981A (zh) | 2021-09-26 | 2022-09-26 | 一种细胞识别的方法、装置和系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280064594.5A Pending CN118076981A (zh) | 2021-09-26 | 2022-09-26 | 一种细胞识别的方法、装置和系统 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4407571A1 (zh) |
CN (2) | CN115880689A (zh) |
AU (1) | AU2022350581A1 (zh) |
WO (1) | WO2023046167A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108374035B (zh) * | 2014-10-14 | 2020-04-07 | 厦门大学 | 细胞牵引力显微镜检测HeLa细胞对于诺考达唑应答的方法 |
CN106404915B (zh) * | 2016-08-29 | 2019-02-19 | 湖南农业大学 | 一种细胞牵引力的实时与定量测定方法 |
CN110647874B (zh) * | 2019-11-28 | 2020-08-28 | 北京小蝇科技有限责任公司 | 一种端到端的血细胞识别模型构造方法及应用 |
CN111666895B (zh) * | 2020-06-08 | 2023-05-26 | 上海市同济医院 | 基于深度学习的神经干细胞分化方向预测系统及方法 |
-
2021
- 2021-09-26 CN CN202111127053.6A patent/CN115880689A/zh active Pending
-
2022
- 2022-09-26 EP EP22872210.4A patent/EP4407571A1/en active Pending
- 2022-09-26 CN CN202280064594.5A patent/CN118076981A/zh active Pending
- 2022-09-26 AU AU2022350581A patent/AU2022350581A1/en active Pending
- 2022-09-26 WO PCT/CN2022/121340 patent/WO2023046167A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023046167A1 (zh) | 2023-03-30 |
EP4407571A1 (en) | 2024-07-31 |
CN118076981A (zh) | 2024-05-24 |
AU2022350581A1 (en) | 2024-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kaur et al. | A comprehensive review of object detection with deep learning | |
Crawford et al. | Spatially invariant unsupervised object detection with convolutional neural networks | |
Roscher et al. | Automated image analysis framework for high-throughput determination of grapevine berry sizes using conditional random fields | |
Kwaśniewska et al. | Deep features class activation map for thermal face detection and tracking | |
Gao et al. | Describing ultrasound video content using deep convolutional neural networks | |
Grundmann et al. | 3D shape context and distance transform for action recognition | |
Li et al. | An analysis of pre-training on object detection | |
CN101794372B (zh) | 基于频域分析的步态特征表示及识别方法 | |
Zhang et al. | Unified detection method of aluminium profile surface defects: Common and rare defect categories | |
Wittenberg et al. | Computer aided detection of polyps in whitelight-colonoscopy images using deep neural networks | |
Garg et al. | Validation of random dataset using an efficient CNN model trained on MNIST handwritten dataset | |
Jiang et al. | Social behavioral phenotyping of Drosophila with a 2D–3D hybrid CNN framework | |
Rumetshofer et al. | Human-level protein localization with convolutional neural networks | |
Sahoo et al. | DeReFNet: Dual-stream Dense Residual Fusion Network for static hand gesture recognition | |
Gu et al. | AYOLOv5: Improved YOLOv5 based on attention mechanism for blood cell detection | |
Tyas et al. | The classification of abnormal red blood cell on the minor thalassemia case using artificial neural network and convolutional neural network | |
CN114187546B (zh) | 组合性动作识别方法及系统 | |
Gurunathan et al. | Plant leaf diseases detection using KNN classifier | |
Zhang et al. | A novel concavity based method for automatic segmentation of touching cells in microfluidic chips | |
Li et al. | Foldover features for dynamic object behaviour description in microscopic videos | |
CN103077383A (zh) | 基于时空梯度特征的分部位的人体运动识别方法 | |
CN115880689A (zh) | 细胞识别的方法、装置和系统 | |
Mahmudi et al. | Face Skin Disease Detection with Textural Feature Extraction | |
Malhotra et al. | Approaching bio cellular classification for malaria infected cells using machine learning and then deep learning to compare & analyze K-nearest neighbours and deep CNNs | |
Dixit et al. | Comparative study on image detection using variants of cnn and yolo |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |