CN116129193A - 一种类器官生长预测方法、系统及设备 - Google Patents
一种类器官生长预测方法、系统及设备 Download PDFInfo
- Publication number
- CN116129193A CN116129193A CN202310169999.1A CN202310169999A CN116129193A CN 116129193 A CN116129193 A CN 116129193A CN 202310169999 A CN202310169999 A CN 202310169999A CN 116129193 A CN116129193 A CN 116129193A
- Authority
- CN
- China
- Prior art keywords
- organoid
- growth
- neural network
- image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002220 organoid Anatomy 0.000 title claims abstract description 586
- 230000012010 growth Effects 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 95
- 230000000877 morphologic effect Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 206010033128 Ovarian cancer Diseases 0.000 description 37
- 206010061535 Ovarian neoplasm Diseases 0.000 description 37
- 230000004927 fusion Effects 0.000 description 24
- 239000010410 layer Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000011160 research Methods 0.000 description 10
- 238000011282 treatment Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000000879 optical micrograph Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000021368 organ growth Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 206010004593 Bile duct cancer Diseases 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 208000026900 bile duct neoplasm Diseases 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 208000006990 cholangiocarcinoma Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000007877 drug screening Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及一种类器官生长预测方法、系统及设备。包括：获取类器官图像序列；将类器官图像序列输入到构建好的神经网络预测模型，得到第一分类结果；对类器官图像序列分割得到类器官特征集，基于类器官特征集进行分类，得到第二分类结果；融合第一分类结果和第二分类结果，得到失败或成功的类器官生长预测结果。本发明旨在基于单个或多个时间生长点构建的神经网络预测模型，同时通过提取包括类器官形态特征和图像纹理特征的类器官特征集，融合得到预测结果，发掘其在类器官图像序列中的分析能力和潜在应用价值。
Description
技术领域
本发明涉及医学图像分析技术领域，具体涉及一种类器官生长预测方法、系统、设备、计算机可读存储介质及其应用。
背景技术
类器官是来源于多种类型干细胞通过自组织方式而组成的三维结构，其能够模拟原生器官结构和功能，更有助于人类疾病的建模、药物筛选以及体外替代组织或器官的再生。类器官目前在结直肠癌、乳腺癌等肿瘤中已得到较为广泛的应用，而对于一些演化复杂与异质性高的肿瘤类器官，如卵巢癌类器官的构建及培养体系虽也在体外成功建立，但其构建较结直肠癌类器官等更加困难，生长较缓慢、造模成功率较低、成本高，限制了其在精准治疗中的广泛应用。
尽管已有大量研究将人工智能用于医学领域，但将人工智能与肿瘤类器官结合的研究仍然相对较少，现有少量研究主要集中在类器官识别与分型、药物反应预测、基因组学研究等方面。目前仍缺乏人工智能用于预测肿瘤类器官生长状态的研究。因此，若能开发出一种预测模型能在培养早期阶段预测类器官最终生长情况，提前终止有较大可能失败的类器官的培养，以提高肿瘤类器官构建效率、降低培养成本、提升研究效率，推动其向癌临床治疗的快速转化。
发明内容
本申请的目的在于，针对上述问题本申请实施例提供一种类器官生长预测方法、系统、设备、计算机可读存储介质及其应用，其旨在基于单个时间点和/或多个时间点的类器官图像序列构建的神经网络预测模型进行预测第一分类结果，同时通过提取类器官特征集进行综合预测类器官生长状态，有效解决在培养早期阶段无法预测类器官发生发展问题，对探索其在精准治疗中的应用和制定个性化治疗策略意义重大。
根据本申请的第一方面，本申请提供了一种类器官生长预测方法，其包括：获取类器官图像序列；将所述类器官图像序列输入到构建好的神经网络预测模型，得到第一分类结果，所述第一分类结果包括类器官生长成功或失败的结果；对所述类器官图像序列分割得到类器官特征集，基于类器官特征集进行分类，得到第二分类结果，所述第二分类结果包括类器官生长成功或失败的结果，所述类器官特征集包括类器官形态特征和图像纹理特征中的任意一种或几种；融合第一分类结果和第二分类结果，得到失败或成功的类器官生长预测结果。
进一步，获取的类器官图像序列包括早期、中期和后期类器官图像序列。
在一些可选的实施方案中，类器官图像由从类器官出现的平面开始直到类器官消失的平面进行拍摄及合成得到。
在一些实施例中，所述神经网络预测模型的构建过程包括：
获取待预测类器官图像序列；
将待预测类器官图像序列输入由神经网络模型构建的神经网络预测模型，通过前向传播得到第一分类结果，将第一分类结果与实际分类标签比较得到损失值，根据损失值反向传播更新神经网络模型结构、权重，如此反复前向传播和反向传播优化神经网络模型，得到训练好的神经网络预测模型。
进一步，所述神经网络预测模型基于单个时间点和/或多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测。
在一些可选的实施例中，所述时间点包括类器官生长早期、中期、后期；优选的，所述时间点包括类器官生长早期、晚期，所述晚期包括中期和后期。
基于单个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测，是指基于类器官生长早期、中期、后期中的任意一个类器官图像序列进行模型构建和类器官生长成功或失败的预测。基于多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测，是指基于类器官生长早期、中期、后期中的任意几个类器官图像序列的组合进行模型构建和类器官生长预测。
在一些优选的实施例中，所述神经网络预测模型包括早期类器官预测模型和晚期类器官预测模型，所述早期类器官预测模型基于高倍的类器官图像序列进行模型构建和结果预测，所述晚期类器官预测模型基于低倍的类器官图像序列进行模型构建和结果预测。
进一步，所述神经网络模型采用下列模型中的任意一种或几种：卷积神经网络、全连接神经网络、生成对抗网络、残差网络、注意力模型、循环神经网络、长短期记忆网络、Hopfield网络和玻尔兹曼机。
再进一步，所述神经网络模型基于卷积神经网络和循环神经网络组合构建。
在一些实施例中，所述分割采用下列深度学习模型中的任意一种或几种实现：U-Net++、FCN、SegNet、PSPNet、DeepLab v1/v2/v3/v3+、YOLO、SSD、Faster R-CNN、Mask R-CNN、NanoDet、Simple Multi-dataset Detection。
进一步，所述分割通过构建好的神经网络识别模型实现，所述神经网络识别模型的构建过程包括：
S1：获取待预测类器官图像序列及其真实分类和位置标注图像；
S2：将所述待预测类器官图像序列中的训练样本输入到选择的深度学习模型得到预测的类器官类别和单个类器官位置信息；
S3：计算预测的类器官类别和单个类器官位置信息与真实分类标注图像中真实类别和位置信息之间的损失值，根据损失值修正网络参数并优化模型，得到构建好的神经网络识别模型。
再进一步，所述真实分类标注图像包括通过标注软件得到记录类器官坐标和最小外接正方形大小信息的标注信息。
在一实施方案中，所述类器官特征集包括类器官形态特征和图像纹理特征。
进一步，所述类器官形态特征包括下列特征中的任意一种或几种：类器官的数量、面积、平均面积、周长、离心率、凸性、紧凑性、欧拉数、主轴长度、短轴长度和Zernike矩特征。
再进一步，所述类器官的数量基于类器官图像序列中的图像经构建好的神经网络识别模型检测得到类器官数量，当检测到超过设定阈值的细胞团为类器官时，剔除单细胞等非类器官的干扰，然后计算得到类器官数量。
再进一步，优选的，所述平均面积的计算：
其中，Sm为类器官图像序列中第m个图像的类器官平均面积，Apixel为第m个图像中每个像素对应实际面积，nmi为第m个图像第i个类器官所占像素个数，km为第m个图像的类器官数量。
再进一步，所述离心率的计算：
其中，e为类器官的离心率，c为与该类器官拥有相同二阶中心矩的椭圆的焦距，a为与该类器官拥有相同二阶中心矩的椭圆的主轴长。
再进一步，所述凸性的计算：
其中，Solidity为类器官的凸性，SCA对应最小凸多边形面积。
再进一步，所述紧凑性的计算公式如下：
其中，Compactness为类器官的紧凑性，Cm为类器官的周长。
再进一步，所述欧拉数的计算公式如下：
EulerNumber＝No-Nh
其中，EulerNumber为类器官的欧拉数，No为1，Nh为类器官的空洞数。
再进一步，所述形状系数FormFactor的计算公式如下：
再进一步，所述限度的计算公式如下：
其中，Extent为类器官的限度，SBA为类器官最小外接矩阵面积。
再进一步，所述Zernike矩特征以分割得到的类器官图像的形心为原点，将像素坐标映射到单位圆内，通过计算Zernike多项式的系数得到Zernike矩特征。其中，低阶矩特征向量描述的类器官整体形状，高阶描述类器官的细节。
更进一步，在一个优选的实施例中，所述Zernike矩特征通过检索标签矩阵格式下的每个类器官并测量每个类器官得到，标签矩阵中的每个数字对应一个类器官，当一些类器官被丢弃时，标签矩阵将被转换成二进制，再重新制作一个标签矩阵图像，本操作是采用压缩的标签矩阵作为一种优化后的处理细节。
进一步，所述图像纹理特征包括图像强度特征、灰度共生矩阵特征、局部二值模式特征、颜色特征、Tamura纹理特征和Gabor特征。
再进一步，所述图像强度特征包括下列特征中的任意一种或几种：综合强度、平均强度、标准强度、最大强度、最小强度、综合边缘强度、平均边缘强度、标准边缘强度、最大边缘强度、最小边缘强度、质量位移。
再进一步，所述灰度共生矩阵特征包括角二阶矩、对比度、相关性、方差、反差矩、平均和、方差和、熵和、熵、差异方差、差异熵、信息测度1、信息测度2。
再进一步，所述Tamura纹理特征包含粗糙度、对比度、方向度、线性度、规整度和粗略度。
再进一步，所述颜色特征包含颜色直方图、颜色集、颜色矩、颜色聚合向量。
进一步，所述对所述类器官图像序列分割得到类器官特征集还包括通过对所述类器官图像序列分割得到单个类器官，然后基于单个类器官进行特征提取，得到类器官特征集。
在一个实施例中，基于类器官特征集进行分类，具体通过机器学习的方法对类器官特征集进行筛选统计和分类预测得到第二分类结果，所述第二分类结果包括类器官生长成功或失败的结果。
进一步，在一个实施例中，基于得到的第一分类结果和第二分类结果进行融合，得到失败或成功的类器官生长预测结果。其中，所述融合通过早期融合和/或晚期融合方法实现。
根据本申请的第二方面，本申请提供了一种类器官生长预测系统，所述系统包括计算机程序，所述计算机程序被执行时，实现上述类器官生长预测方法。
进一步，所述系统还包括获取模块、第一分类模块、第二分类模块和输出模块。
再进一步，所述获取模块用于获取类器官图像序列。
再进一步，所述第一分类模块用于将所述类器官图像序列输入到构建好的神经网络预测模型，得到第一分类结果，所述第一分类结果包括类器官生长成功或失败的结果。
再进一步，所述第二分类模块用于对所述类器官图像序列分割得到类器官特征集，基于类器官特征集进行分类，得到第二分类结果，所述第二分类结果包括类器官生长成功或失败的结果，所述类器官特征集包括类器官形态特征和图像纹理特征中的任意一种或几种。
再进一步，所述输出模块用于融合第一分类结果和第二分类结果，得到失败或成功的类器官生长预测结果。
根据本申请的第三方面，本申请一实施例提供了一种类器官生长预测设备，其包括：存储器和/或处理器；所述存储器用于存储进行类器官生长预测分析的程序指令；所述处理器用于调用程序指令，当程序指令被执行时，实现上述类器官生长预测方法。
根据本申请的第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有进行类器官生长预测分析的计算机程序，当所述计算机程序被处理器执行时，实现上述类器官生长预测方法。
在一些实施例中，本申请提供的一种计算机可读存储介质，存储有根据上述神经网络预测模型的构建方法构建进行类器官生长预测的神经网络预测模型预测的计算机程序，和/或根据上述神经网络识别模型的构建方法构建模型进行分割得到类器官特征集，基于类器官特征集分类预测得到第二分类结果。
上述的设备或系统在对类器官生长情况的智能分类预测中的应用；可选的，所述类器官包括卵巢癌类器官、肺癌类器官、肠癌类器官、胆管癌类器官、肝癌类器官、乳腺癌类器官、胃癌类器官、脑胶质瘤类器官、胰腺癌类器官、肠道类器官、肺类器官、胆管类器官、血管类器官、心脏类器官、类脑类器官。
上述的设备或系统在提升对类器官生长预测判断的准确性、全面性有潜在的指导意义；
上述的设备或系统在辅助解决类器官构建问题上，有望提高类器官构建效率、降低培养成本、提升研究效率，为个性化治疗决策提供更充分和精细化支持，特别是在预测如卵巢癌类器官这样的培养早期阶段类器官生长状况方面；
上述的设备或系统在辅助进行类器官生长分析的应用，能够推动其向肿瘤癌临床治疗的快速转化，特别是类器官生长预测在精准治疗中的广泛应用，对类器官图像序列分析结果深化研究具有积极推动作用。
本发明基于人工智能技术进行类器官生长状态预测，通过多个时间序列的类器官图像和类器官特征集进行分类预测，兼顾了局部及全局特征，可以有效辅助医生准确、全面、快速判断类器官发生发展状况，有效解决培养早期阶段无法预测类器官生长状况问题，能够提高造模成功率、降低成本，具有很强的创新性，对探索其在精准治疗中的应用和制定个性化治疗策略意义重大。
本申请的优点：
1.本申请创新性的公开一种类器官生长预测方法，基于单个时间生长点或多个时间生长点的类器官图像序列构建的神经网络预测模型进行预测第一分类结果，纵向动态综合分析预测不同时期类器官的未来生长状态，同时通过提取包括类器官形态特征和图像纹理特征的类器官特征集进行综合预测类器官生长状态，均衡全局信息和局部信息，实现类器官的深度分类预测，客观提高数据分析的精度和深度；
2.本申请创新性的通过获取单个时间生长点或多个时间生长点的类器官特征集，同时综合考虑了高低倍显微镜下的显著性效益特征进行分类预测，其中，所述类器官特征集包括基本形状参数(如类器官数量和平均面积的计算)和Zernike矩特征在内的类器官形态特征以及考虑全局的图像纹理特征，是一种有效均衡类器官特征和图像纹理特征的措施，突出特征细节，时效明显；
3.本申请创造性的公开了结合人工智能技术进行单个或多个时间生长点的类器官特征学习和分类预测，为评估类器官发生发展状态提供准确信息，有效辅助医生准确快速判断类器官构建成败，提高类器官构建效率、降低培养成本、提升研究效率，推动其向临床治疗的快速转化，使得本申请在应用于与类器官图像序列数据有关的辅助分析更有利，特别是在肿瘤精准治疗中的广泛应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种类器官生长预测方法流程示意图；
图2是本发明实施例提供的一种神经网络预测模型的构建过程示意图；
图3是本发明实施例提供的一种神经网络识别模型的构建方法流程示意图；
图4是本发明实施例提供的基于神经网络识别模型的生长预测过程示意图；
图5是本发明实施例提供的一种类器官生长预测系统模块连接示意图；
图6是本发明实施例提供的一种进行类器官生长预测设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种类器官生长预测方法、一种类器官生长预测系统、一种类器官生长预测设备、计算机可读存储介质及其应用。其中，进行类器官生长预测方法实现的相应训练装置可以集成在计算机设备中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、个人计算机等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容发布网络(Content Delivery Network，简称CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
请参阅图1，图1是本发明实施例提供的类器官生长预测方法流程示意图。
具体地，如图1所示的包括以下操作：
S101：获取类器官图像序列。
在一个实施例中，获取类器官图像序列还包括对获取的类器官图像序列进行预处理。预处理包括但不限于图像增强和自适应均衡，其中，自适应均衡主要是为均衡全局信息，对获取的类器官图像序列中存在的局部过明、过暗区域进行调整，以增强图像细节，同时尽可能消除背景噪声，以解决全局性问题。
在一个实施例中，获取的类器官图像序列包括由光学显微镜获取的N天M组类器官图像序列，其中，N的取值范围为类器官生长时间，N的值通过平衡模型预测精确度与预测时间确定。优选的，N天M组类器官图像序列采用显微镜的景深合成功能，由从类器官出现的平面开始直到类器官消失的平面进行拍摄及合成得到，具体的合成可以通过Z轴叠加得到。
S102：将类器官图像序列输入到构建好的神经网络预测模型，得到第一分类结果。
进一步，第一分类结果包括类器官生长成功或失败的结果。
在一些实施例中，神经网络预测模型基于单个时间点和/或多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测。可选的，时间点包括类器官生长早期、中期、后期；优选的，时间点包括类器官生长早期、晚期，其中，晚期包括类器官生长的中期和后期。
进一步，时间点对应的是类器官生长时间内的光学显微镜图像序列，具体的，时间点的值由神经网络预测模型训练效果确定。基于单个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测，是指基于类器官生长早期、中期、后期中的任意一个类器官图像序列进行模型构建和类器官生长成功或失败的预测。基于多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测是指基于类器官生长早期、中期、后期中的任意几个类器官图像序列的组合进行模型构建和类器官生长成功或失败的预测。
再进一步，在一些实施例中，在神经网络预测模型构建中，待预测类器官图像序列包括早期类器官图像序列(其类器官生长时间点的范围为0-4天)、中期类器官图像序列(其类器官生长时间点的范围为5-9天)；后期类器官图像序列(其类器官生长时间点的范围为10-14天)；对应的晚期类器官图像序列中类器官生长时间点的范围为5-14天，即中期和后期类器官图像序列的生长时间的和；优选的，晚期类器官图像序列中类器官生长时间点的范围还可以为0-14天，即晚期类器官图像序列包括早期、中期和后期。
在一些具体的实施例中，待预测类器官图像序列中包含的早期类器官图像序列的生长时间点包括但不限于0-4天，例如，也可以为0-5天；待预测类器官图像序列中包含的中期类器官图像序列的生长时间点包括但不限于5-9天，例如，也可以为4-10天；待预测类器官图像序列中包含的后期类器官图像序列的生长时间点包括但不限于10-14天，例如，也可以为8-14天；对应的晚期类器官图像序列的生长时间点包括但不限于5-14天，例如，也可以为0-14天；在此，不做特定性约束。
再进一步，在一个实施例中，基于类器官生长时间点的早期、中期、后期的图像序列是基于目镜为10X，物镜分别为4X、10X放大倍数的光学显微镜由从类器官出现的平面开始直到类器官消失的平面进行拍摄及合成得到，即实际放大倍数为40倍和100倍。具体的，合成可以通过Z轴叠加分别得到。
在一个具体实施例中，神经网络预测模型包括早期类器官预测模型和晚期类器官预测模型，早期类器官预测模型基于单个或多个高倍的早期类器官图像序列进行模型构建和结果预测，晚期类器官预测模型基于单个或多个低倍的类器官图像序列进行模型构建和结果预测。
在一些可选的实施方案中，晚期类器官预测模型基于单个或多个低倍的晚期类器官图像序列，和/或高倍的早期类器官图像序列进行模型构建和结果预测。
进一步，高倍的类器官图像序列包括基于10X目镜、10X物镜的光学显微镜从类器官出现的平面开始拍摄及合成，直到类器官消失的平面，通过Z轴叠加得到。
再进一步，低倍的类器官图像序列包括基于10X目镜、4X物镜的光学显微镜从类器官出现的平面开始拍摄及合成，直到类器官消失的平面，通过Z轴叠加得到。
在一个实施例中，神经网络预测模型包括早期类器官预测模型、中期类器官预测模型、后期类器官预测模型，早期类器官预测模型基于高倍的类器官图像序列进行模型构建和结果预测，中期类器官预测模型、后期类器官预测模型分别基于低倍和/或高倍的类器官图像序列进行模型构建和结果预测。
进一步，在早期类器官预测模型构建中，基于单个或多个类器官生长早期时间点的类器官图像序列进行预测早期类器官生长状况。在中期类器官预测模型构建中，基于单个类器官生长中期时间点的类器官图像序列或多个类器官生长中期时间点的类器官图像序列，或基于类器官生长早期和中期时间点的类器官图像序列进行预测类器官生长状况。在后期类器官预测模型构建中，基于单个类器官生长后期时间点的类器官图像序列或多个类器官生长后期时间点的类器官图像序列，或基于类器官生长后期、中期和/或早期时间点的类器官图像序列进行预测类器官生长状况。
在一个具体实施例中，神经网络预测模型的构建过程包括：
获取待预测类器官图像序列；
将待预测类器官图像序列输入由神经网络模型构建的神经网络预测模型，通过前向传播得到第一分类结果，将第一分类结果与实际分类标签比较得到损失值，根据损失值反向传播更新神经网络模型结构、权重，如此反复前向传播和反向传播优化神经网络模型，得到训练好的神经网络预测模型。
进一步，可选的，神经网络模型采用下列模型中的任意一种或几种：卷积神经网络、全连接神经网络、生成对抗网络、残差网络、注意力模型、循环神经网络、长短期记忆网络、Hopfield网络和玻尔兹曼机。
优选的，神经网络模型采用卷积神经网络和循环神经网络组合方式构建。
卷积神经网络利用卷积和池化层来降低图像的维度，其卷积层是可训练的，但参数明显少于标准的隐藏层，能够突出图像的重要部分，并向前传播每个重要部分，在处理图像、视频、语音和音频方面取得了突破。
全连接神经网络包括输入层、隐藏层和输出层，在每个连接过程中，来自前一层的信号被乘以一个权重，增加一个偏置，通过非线性激活函数的多次复合，实现输入空间到输出空间的复杂映射。
生成对抗网络是一种专门设计用于生成图像的网络，由一个鉴别器和一个生成器组成。鉴别器的任务是区分真实图像和生成图像，生成器的任务是生成足够逼真的图像，以至于鉴别器无法区分图像是否真实。
残差网络的主要贡献是发现了“退化现象”，并针对退化现象发明了“快捷连接”(或者跳过连接)，极大的消除了深度过大的神经网络训练困难问题。
注意力模型被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，主要包括全局及局部注意力、硬注意力及软注意力和自我注意力模型。
循环神经网络，最初在文本和语音等顺序数据的处理上较为普遍，后被广泛用于医学图像处理、疾病诊断与预后、药物研究和基因组信息挖掘等。
长短期记忆网络是为解决循环神经网络在学习上下文信息出现的梯度消失、爆炸问题而设计，结构中加入内存块，每个模块包含循环连接的内存单元和门。
Hopfield网络是一种单层互相全连接的反馈型神经网络，网络中的每个神经元既是输入也是输出，每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时接收所有其它神经元传递的信息。
玻尔兹曼机是一种随机生成的Hopfield网络，其样本分布遵循玻尔兹曼分布(也称吉布斯分布)，即描述一定温度下微观粒子运动速度的概率分布。
在一个更为具体的卵巢癌类器官生长预测实施例中，其神经网络预测模型的构建方法，其包括：
获取待预测卵巢癌类器官图像序列；
将待预测卵巢癌类器官图像序列输入由神经网络模型构建的神经网络预测模型，通过前向传播得到第一分类结果，将第一分类结果与实际分类标签比较得到损失值，根据损失值反向传播更新神经网络模型结构、权重，如此反复前向传播和反向传播优化神经网络模型，得到训练好的神经网络预测模型。
进一步，获取待预测卵巢癌类器官图像序列还包括对获取的待预测卵巢癌类器官图像序列中的训练样本进行预处理。可选的，预处理包括对训练样本进行去噪、滤波、自适应均衡、灰度变换和图像增强。其中，对训练样本进行图像增强的方式包括水平翻转、垂直翻转、旋转、弹性形变，以扩充数据集，以增加神经网络预测模型的泛化性和鲁棒性。
再进一步，训练样本是卵巢癌类器官十四天内第n天的包含真实成功或失败标签的光学显微镜图像序列，n的取值由神经网络预测模型训练效果确定。
更进一步，第一分类结果包括卵巢癌类器官生长成功或失败的结果。具体的，对应早期、中期、后期卵巢癌类器官的生长状态。在神经网络预测模型构建中，对于早期卵巢癌类器官基于单个或多个卵巢癌类器官生长早期时间点构建模型进行预测卵巢癌类器官生长状况；对于中期卵巢癌类器官基于单个或多个卵巢癌类器官生长中期时间点，或基于类器官生长早期和中期时间点的卵巢癌类器官图像序列进行预测卵巢癌类器官生长状况；对于后期卵巢癌类器官基于单个或多个卵巢癌类器官生长后期时间点构建模型进行预测类器官生长状况，或基于卵巢癌类器官生长后期、中期和/或早期时间点的类器官图像序列进行预测卵巢癌类器官生长状况。
在一个实施例中，基于单个或多个时间点构建的神经网络预测模型，对目镜为10X，物镜为4X的光学显微镜下获取的卵巢癌类器官图像序列进行模型预测分别得到早期、中期、后期卵巢癌类器官的生长状态(成功或失败)，其中，早期卵巢癌类器官的AUC(AreaUnder Curve，即ROC曲线下与坐标轴围成的面积)为0.69，准确率0.68；中期卵巢癌类器官的AUC为0.78、0.79，准确率0.66、0.7；后期卵巢癌类器官的AUC为0.88、0.86、0.9，准确率为0.81、0.86、0.83。
在一个实施例中，基于单个或多个时间点构建的神经网络预测模型，对10x光学显微镜获取的卵巢癌类器官图像序列进行模型预测得到早期、中期、后期卵巢癌类器官的生长状态(成功或失败)，其中，早期卵巢癌类器官的AUC为0.76，准确率0.69；中期卵巢癌类器官的AUC为0.65、0.73，准确率0.63、0.59；后期卵巢癌类器官的AUC为0.72、0.61、0.78，准确率为0.64、0.59、0.67。
在一个具体实施例中，神经网络预测模型采用如图2所示的神经网络预测模型的构建过程构建得到。
如图2所示，基于上述神经网络预测模型的构建方法进行模型构建过程包括：将获取的待预测类器官图像序列依次输入到卷积神经网络(ConvolutionalNeural Networks,CNN)、Flatten层、循环神经网络和全连接层，预测输出第一分类结果，即通过获取多个时间点类器官的生长特征，纵向动态综合分析，预测输出卵巢癌类器官的未来生长状态(失败或成功)。
进一步，Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡，在本申请中，主要是用来从卷积神经网络输出层到循环神经网络输入层的组合式过渡，用以对类器官生长特征的学习。
S103：对类器官图像序列分割得到类器官特征集，基于类器官特征集统计结果进行分类，得到第二分类结果。
进一步，对类器官图像序列分割得到类器官特征集还包括通过对类器官图像序列分割得到单个类器官，然后基于单个类器官进行特征提取，得到类器官特征集。其中，特征提取的方法可以基于传统的机器学习方法或者深度学习方法得到，也可以基于分割软件得到。具体的，深度学习方法包括SSD MobileNet，分割软件包括PyRadiomics、3D Slicer、LIFEx、SERA(the StandardizedEnvironment for Radiomics Analysis)、MITK(theMedical Imaging InteractionToolkit)、CaPTk(Cancer Imaging Phenomics Toolkit)、MATLAB library。
在一个实施例中，分割采用下列模型中的任意一种或几种实现：U-Net++、FCN、SegNet、PSPNet、DeepLab v1/v2/v3/v3+、YOLO、SSD、Faster R-CNN、Mask R-CNN、NanoDet、Simple Multi-dataset Detection。
U-Net++在U-Net基础上增加了重新设计的跳跃路径，以弥补编码器和解码器子路径特征映射之间的语义差别，通过在编码器和解码器之间加入Denseblock和卷积层来提高分割精度。
FCN是语义分割领域全卷积网络的开山之作，其主要思路是将图像分类的网络改良成语义分割的网络，通过将分类器(全连接层)变成上采样层来恢复。
SegNet的主干网络是2个VGG16，通过去掉全连接层(13层)形成对应的编码器-解码器架构，最核心的是提出了通过最大池化的索引来上采样的方法，从而免去了学习上采样的需要，在推理阶段节省了内存。
PSPNet提出了金字塔池化模块，该模型带有空洞卷积，其金字塔池化融合了四个比例的特征，同时结合了多尺寸信息。
DeepLab v1/v2/v3/v3+是DeepLab系列模型，也是一系列语义分割算法，DeepLabv1使用空洞卷积扩大感受野和条件随机场细化边界，DeepLab v2加了atrous spatialpyramid pooling(ASPP)，DeepLab v3在原ASPP加了image-levelfeature，没有使用CRF，提出的mutil-grid改进了级联网络性能，DeepLab v3+加了一个解码器模块，其主干网络用Aligned Xception(其中有深度可分解卷积)。
YOLO是一种实时目标检测算法，是第一个平衡所提供检测质量和速度的算法，对输入图像以特征编码形式检测，有一个或多个产生模型预测的输出层。
SSD是一种单次检测深度神经网络，同时结合了YOLO的回归思想和FasterR-CNN的anchors机制提取不同宽高比尺寸的多尺度目标特征。
Faster R-CNN由用于生成区域候选框的深度卷积神经网络和使用生成区域候选框的Fast R-CNN的检测头两部分组成。
Mask R-CNN综合了Faster R-CNN以及FCN算法的优点，也是双阶段实例分割算法中的后起之秀，该算法网络模型匠心独运，目标图像的分割精度高。
NanoDet是一个速度超快和轻量级的移动端Anchor-free目标检测模型，也是一个兼顾精度、速度和体积的检测模型。
Simple Multi-dataset Detection是一种通过“构建统一标签空间”来集成训练多个数据集的目标检测模型。
在一个具体的实施例中，对卵巢癌类器官图像序列分割得到卵巢癌类器官特征集通过构建好的神经网络识别模型实现。
进一步，对卵巢癌类器官图像序列分割得到类器官特征集还包括通过对卵巢癌类器官图像序列分割得到单个类器官，然后基于单个类器官进行特征提取，得到卵巢癌类器官特征集。
如图3所示，神经网络识别模型的构建包括以下步骤：
S301：获取待预测类器官图像序列及其真实分类标注图像。
进一步，真实分类标注图像是指包含待预测类器官图像序列所对应的真实生长状态标签信息的图像。真实生长状态标签信息可以通过标注软件得到记录类器官坐标和最小外接正方形大小信息，也可以以标注文档形式存在。
S302：将所述待预测类器官图像序列中的训练样本输入到选择的深度学习模型得到预测的类器官类别和单个类器官位置信息。
S303：计算预测的类器官类别和单个类器官位置信息与真实分类标注图像中真实类别和位置信息之间的损失值，根据损失值修正网络参数并优化模型，得到构建好的神经网络识别模型。
进一步，神经网络识别模型的评估和验证，通过接收者操作特征曲线、总体准确度、灵敏度、特异性和F1分数用于评估和比较模型在分类预测中的性能。
在一个具体实施例中，如图4所示是基于神经网络识别模型的生长预测过程，首先将获取的类器官图像序列输入神经网络识别模型，依次完成类器官识别结果、类器官特征集、特征筛选统计、分类结果输出，最终得到成功或失败的类器官生长预测结果。
进一步，在一些实施例中，通过对所述类器官图像序列分割得到单个类器官，基于单个类器官进行特征提取，得到类器官特征集。其中，类器官特征集包括类器官形态特征和图像纹理特征中的任意一种或几种。
进一步，类器官形态特征包括下列特征中的任意一种或几种：类器官的数量、面积、平均面积、周长、离心率、凸性、紧凑性、欧拉数、主轴长度、短轴长度和Zernike矩特征。
在一个实施例中，类器官形态特征包括类器官的数量、平均面积、面积、周长、离心率、凸性、紧凑性、欧拉数、主轴长度、短轴长度和Zernike矩特征。
再进一步，类器官的数量基于类器官图像序列中的图像经构建好的神经网络识别模型检测得到类器官数量，当检测到超过设定阈值的细胞团为类器官时，剔除单细胞等非类器官的干扰，然后计算得到类器官的数量。
再进一步，平均面积的计算：
其中，Sm为类器官图像序列中第m个图像的类器官平均面积，Apixel为第m个图像中每个像素对应实际面积，nmi为第m个图像第i个类器官所占像素个数，km为第m个图像的类器官数量。
再进一步，离心率的计算：
其中，e为类器官的离心率，c为与该类器官拥有相同二阶中心矩的椭圆的焦距，a为与该类器官拥有相同二阶中心矩的椭圆的主轴长。
再进一步，凸性的计算：
其中，Solidity为类器官的凸性，SCA对应最小凸多边形面积。
再进一步，紧凑性的计算公式如下：
其中，Compactness为类器官的紧凑性，Cm为类器官的周长。
再进一步，欧拉数的计算公式如下：
EulerNumber＝No-Nh
其中，EulerNumber为类器官的欧拉数，No为1，Nh为类器官的空洞数。
再进一步，形状系数FormFactor的计算公式如下：
再进一步，限度的计算公式如下：
其中，Extent为类器官的限度，SBA为类器官最小外接矩阵面积。
再进一步，Zernike矩特征以分割得到的类器官图像的形心为原点，将像素坐标映射到单位圆内，通过计算Zernike多项式的系数得到Zernike矩特征。其中，低阶矩特征向量描述的类器官整体形状，高阶描述类器官的细节。
优选的，Zernike矩特征通过检索标签矩阵格式下的每个类器官并测量每个类器官得到，标签矩阵中的每个数字对应一个类器官，当一些类器官被丢弃时，将标签矩阵转换成二进制，再重新制作一个标签矩阵图像得到。具体的，Zernike矩特征以标签矩阵形式在数据库和相应原始数据库中检索类器官图像序列中的类器官并对类器官图像序列中的每个类器官进行测量得到，重新制作一个标签矩阵图像的操作目的是采用压缩的标签矩阵作为一种优化后的处理细节。
进一步，图像纹理特征包括图像强度特征、灰度共生矩阵特征、局部二值模式特征、颜色特征、Tamura纹理特征和Gabor特征。其中，图像强度特征包括下列特征中的任意一种或几种：综合强度、平均强度、标准强度、最大强度、最小强度、综合边缘强度、平均边缘强度、标准边缘强度、最大边缘强度、最小边缘强度、质量位移。灰度共生矩阵特征包括角二阶矩、对比度、相关性、方差、反差矩、平均和、方差和、熵和、熵、差异方差、差异熵、信息测度1、信息测度2。颜色特征包含颜色直方图、颜色集、颜色矩、颜色聚合向量。Tamura纹理特征包含粗糙度、对比度、方向度、线性度、规整度和粗略度。
在一个实施例中，基于类器官特征集进行分类，具体通过机器学习的方法对类器官特征集进行筛选统计和分类预测得到第二分类结果。
进一步，第二分类结果包括类器官生长成功或失败的结果。
S104：融合第一分类结果和第二分类结果，得到失败或成功的类器官生长预测结果。
进一步，融合第一分类结果和第二分类结果通过早期融合和/或晚期融合方法进行融合，得到失败或成功的类器官生长预测结果。其中，早期融合基于特征进行融合，即在提取进行第一分类结果和第二分类结果预测所对应的特征表示立即集成分类特征；晚期融合也叫决策级融合，基于决策进行融合，即在第一分类结果和第二分类结果输出之后执行集成，旨在解决不同类器官图像序列数据源之间的时间同步问题，主要采用规则来确定不同模型输出结果的组合，即规则融合。具体的规则融合方法包括最大值融合、平均值融合、贝叶斯规则融合以及集成学习等。
将上述方法用于类器官生长预测是可行性的，表明通过纵向动态综合分析预测不同时期类器官的未来生长状态，考虑不同时间点类器官生长的高低倍光学显微镜下的显著性效益特征，通过提取的类器官形态特征和图像纹理特征，来均衡全局信息和局部信息，实现类器官生长的深度分类预测，更有效地辅助医生快速判断类器官构建成败，提升对类器官生长预测判断的准确性、全面性，有望提高类器官构建效率、降低培养成本、提升研究效率，推动其向临床治疗的快速转化，使得本申请在应用于与类器官图像序列数据有关的类器官的发生发展的辅助分析方面更有利。
本发明实施例提供的一种类器官生长预测系统，其包括计算机程序，当计算机程序被执行时，实现上述类器官生长预测方法。
进一步，如图5所示的是本发明一实施例提供的一类器官生长预测系统模块连接示意图，主要包括获取模块、第一分类模块、第二分类模块和输出模块。其中，第一分类模块、第二分类模块可以看成一个分类模块。具体地：
S501：获取模块，用于获取类器官图像序列。
进一步，获取的类器官图像序列包括由光学显微镜获取的N天M组类器官图像序列，其中，N的取值范围为类器官生长时间，N的值通过平衡模型预测精确度与预测时间确定。优选的，N天M组的光学显微镜图像序列采用显微镜的景深合成功能，从类器官出现的平面开始直到类器官消失的平面进行拍摄及合成得到，具体的合成操作通过Z轴叠加得到。
在一个实施例中，获取类器官图像序列还包括对获取的类器官图像序列进行预处理。预处理包括但不限于图像增强和自适应均衡，其中，自适应均衡主要是为均衡全局信息，对获取的类器官图像序列中存在的局部过明、过暗区域进行调整，以增强图像细节，同时尽可能消除背景噪声，以解决全局性问题。
S502：第一分类模块，用于将类器官图像序列输入构建好的神经网络预测模型，得到第一分类结果。
进一步，第一分类结果包括类器官生长成功或失败的结果。
在一些实施例中，神经网络预测模型基于单个时间点和/或多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测。可选的，多个时间点包括类器官生长早期、中期、后期；优选的，多个时间点包括类器官生长早期、晚期，其中，晚期包括中期和后期。
进一步，时间点对应的是类器官生长时间内的光学显微镜图像序列，具体的，时间点的值由神经网络预测模型训练效果确定。
再进一步，在一些实施例中，在神经网络预测模型的构建过程中，待预测类器官图像序列包括早期类器官图像序列(其类器官生长时间点的范围为0-4天)、中期类器官图像序列(其类器官生长时间点的范围为5-9天)；后期类器官图像序列(其类器官生长时间点的范围为10-14天)；对应的晚期类器官图像序列中类器官生长时间点的范围为5-14天，即中期和后期类器官图像序列的生长时间的和；优选的，晚期类器官图像序列中类器官生长时间点的范围还可以为0-14天，即晚期类器官图像序列包括早期、中期和后期。
在一些具体的实施例中，待预测类器官图像序列中包含的早期类器官图像序列的生长时间点包括但不限于0-4天，例如，也可以为0-5天；待预测类器官图像序列中包含的中期类器官图像序列的生长时间点包括但不限于5-9天，例如，也可以为4-10天；待预测类器官图像序列中包含的后期类器官图像序列的生长时间点包括但不限于10-14天，例如，也可以为8-14天；对应的晚期类器官图像序列的生长时间点包括但不限于5-14天，例如，也可以为0-14天；在此，不做特定性约束。
再进一步，在一个实施例中，基于多个时间点的类器官生长早期、中期、后期的图像序列是基于目镜为10X，物镜分别为4X、10X放大倍数的光学显微镜由从类器官出现的平面开始直到类器官消失的平面进行拍摄及合成得到，即实际放大倍数为40倍和100倍。具体的，合成可以通过Z轴叠加分别得到。
在一个实施例中，神经网络预测模型包括早期类器官预测模型和晚期类器官预测模型，早期类器官预测模型基于高倍的类器官图像序列进行模型构建和结果预测，晚期类器官预测模型基于低倍的类器官图像序列进行模型构建和结果预测。
在一个实施例中，神经网络预测模型包括早期类器官预测模型、中期类器官预测模型、后期类器官预测模型，早期类器官预测模型基于高倍的早期类器官图像序列进行模型构建和结果预测，中期类器官预测模型、晚期类器官预测模型分别基于低倍和/或高倍的类器官图像序列进行模型构建和结果预测。
具体的，中期类器官预测模型、晚期类器官预测模型分别基于单个或多个低倍和/或高倍的类器官图像序列进行模型构建和结果预测。
在一些可选的实施方案中，晚期类器官预测模型基于单个或多个低倍的晚期类器官图像序列，和/或高倍的早期类器官图像序列进行模型构建和结果预测。
在一个具体实施例中，神经网络预测模型的构建过程包括：
获取待预测类器官图像序列；
将待预测类器官图像序列输入由神经网络模型构建的神经网络预测模型，通过前向传播得到第一分类结果，将第一分类结果与实际分类标签比较得到损失值，根据损失值反向传播更新神经网络模型结构、权重，如此反复前向传播和反向传播优化神经网络模型，得到训练好的神经网络预测模型。
进一步，神经网络模型采用下列深度学习模型中的任意一种或几种：卷积神经网络、全连接神经网络、生成对抗网络、残差网络、注意力模型、循环神经网络、长短期记忆网络、Hopfield网络和玻尔兹曼机。
S503：第二分类模块，用于将类器官图像序列分割得到类器官特征集，基于类器官特征集统计结果进行分类，得到第二分类结果。
进一步，第二分类结果包括类器官生长成功或失败的结果。
进一步，在一个实施例中，分割采用下列模型中的任意一种或几种实现：U-Net++、FCN、SegNet、PSPNet、DeepLab v1/v2/v3/v3+、YOLO、SSD、Faster R-CNN、Mask R-CNN、NanoDet、Simple Multi-dataset Detection。
进一步，将类器官图像序列分割得到类器官特征集还包括通过对类器官图像序列分割得到单个类器官，然后基于单个类器官进行特征提取，得到类器官特征集。
进一步，在一些实施例中，类器官特征集包括类器官形态特征和图像纹理特征中的任意一种或几种。
进一步，类器官形态特征包括类器官的数量、平均面积、面积、周长、离心率、凸性、紧凑性、欧拉数、主轴长度、短轴长度和Zernike矩特征。
进一步，优选的，类器官的数量基于类器官图像序列中的图像经构建好的神经网络识别模型检测得到类器官数量，当检测到超过设定阈值的细胞团为类器官时，剔除单细胞等非类器官的干扰，然后计算得到类器官数量。
再进一步，优选的，平均面积的计算：
其中，Sm为类器官图像序列中第m个图像的类器官平均面积，Apixel为第m个图像中每个像素对应实际面积，nmi为第m个图像第i个类器官所占像素个数，km为第m个图像的类器官数量。
再进一步，Zernike矩特征以标签矩阵形式在数据库和相应的原始数据库中检索类器官灰度图像并对图像序列中的每个类器官进行测量得到，标签矩阵中的每个数字对应一个类器官，当一些类器官被丢弃时，标签矩阵将被转换成二进制，重新成为一个标签矩阵图像。
进一步，图像纹理特征包括图像强度特征、灰度共生矩阵特征、局部二值模式特征、颜色特征、Tamura纹理特征和Gabor特征。其中，图像强度特征包括下列特征中的任意一种或几种：综合强度、平均强度、标准强度、最大强度、最小强度、综合边缘强度、平均边缘强度、标准边缘强度、最大边缘强度、最小边缘强度、质量位移。其中，灰度共生矩阵特征包括角二阶矩、对比度、相关性、方差、反差矩、平均和、方差和、熵和、熵、差异方差、差异熵、信息测度1、信息测度2。
S504：输出模块，用于融合第一分类结果和第二分类结果，得到预测结果。
进一步，对第一分类结果和第二分类结果进行融合，可以通过早期融合和/或晚期融合方法实现，得到失败或成功的类器官生长预测结果。其中，早期融合基于特征进行融合，即在提取进行第一分类结果和第二分类结果预测所对应的特征表示立即集成分类特征；晚期融合也叫决策级融合，基于决策进行融合，即在第一分类结果和第二分类结果输出之后执行集成，旨在解决不同类器官图像序列数据源之间的时间同步问题，主要采用规则来确定不同模型输出结果的组合，即规则融合，如：最大值融合、平均值融合、贝叶斯规则融合以及集成学习等规则融合方法。
图6是本发明实施例提供的一种类器官生长预测设备示意图，其包括：存储器和/或处理器；还包括输入装置和输出装置。其中，设备中的存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接。
图6所示的以总线连接方式为例；其中，存储器用于存储进行类器官生长预测分析的程序指令；处理器用于调用程序指令，当程序指令被执行时，实现上述的类器官生长预测方法。
进一步，在一个具体实施例中，当类器官生长预测设备中的程序指令被执行时，用于执行实现上述的类器官生长预测方法或采用上述神经网络预测模型的构建方法构建进行类器官生长预测的神经网络预测模型得到第一分类结果，和/或采用上述神经网络识别模型的构建方法构建进行类器官生长预测的神经网络识别模型进行分割得到类器官特征集，基于类器官特征集分类预测得到第二分类结果。
在一些实施例中，存储器可以理解为程序的任何保存设备，处理器可以理解为程序的使用设备。
本发明提供的一种计算机可读存储介质，其上存储有进行类器官生长预测的计算机程序，计算机程序被处理器执行时，实现上述类器官生长预测方法或采用上述神经网络预测模型的构建方法构建进行类器官生长预测的神经网络预测模型预测得到第一分类结果，和/或采用上述神经网络识别模型的构建方法构建神经网络识别模型进行辅助预测类器官生长状况，进而得到第二分类结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；再例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，也可以是电性、机械或其它形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。具体根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成模块既可以采用硬件形式实现，也可以采用软件功能模块形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。上述计算机程序或者方法的执行主体应为一台计算机装置，具体也可以为手机、服务器、工控机、单片机和智能家电处理器等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来完成相关的硬件指令，其程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种类器官生长预测方法，其特征在于，所述方法包括：
获取类器官图像序列；
将所述类器官图像序列输入到构建好的神经网络预测模型，得到第一分类结果，所述第一分类结果包括类器官生长成功或失败的结果；
对所述类器官图像序列分割得到类器官特征集，基于类器官特征集进行分类，得到第二分类结果，所述第二分类结果包括类器官生长成功或失败的结果，所述类器官特征集包括类器官形态特征和图像纹理特征中的任意一种或几种；融合第一分类结果和第二分类结果，得到失败或成功的类器官生长预测结果。
2.根据权利要求1所述的类器官生长预测方法，其特征在于，所述神经网络预测模型的构建过程包括：
获取待预测类器官图像序列；
将待预测类器官图像序列输入由神经网络模型构建的神经网络预测模型，通过前向传播得到第一分类结果，将第一分类结果与实际分类标签比较得到损失值，根据损失值反向传播更新神经网络模型结构、权重，如此反复前向传播和反向传播优化神经网络模型，得到训练好的神经网络预测模型；
可选的，所述神经网络模型采用下列模型中的任意一种或几种：卷积神经网络、全连接神经网络、生成对抗网络、残差网络、注意力模型、循环神经网络、长短期记忆网络、Hopfield网络和玻尔兹曼机；
优选的，所述神经网络模型采用卷积神经网络和循环神经网络组合方式构建。
3.根据权利要求1所述的类器官生长预测方法，其特征在于，所述神经网络预测模型基于单个时间点和/或多个时间点对待预测类器官图像序列进行模型构建和类器官生长成功或失败的预测；
可选的，所述时间点包括类器官生长早期、中期、后期；
优选的，所述时间点包括类器官生长早期、晚期；
优选的，所述神经网络预测模型包括早期类器官预测模型和晚期类器官预测模型，所述早期类器官预测模型基于高倍的类器官图像序列进行模型构建和结果预测，所述晚期类器官预测模型基于低倍的类器官图像序列进行模型构建和结果预测。
4.根据权利要求1所述的类器官生长预测方法，其特征在于，所述类器官形态特征包括下列特征中的任意一种或几种：类器官的数量、面积、平均面积、周长、离心率、凸性、紧凑性、欧拉数、主轴长度、短轴长度和Zernike矩特征；
优选的，所述类器官的数量基于类器官图像序列中的图像经构建好的神经网络识别模型检测得到，当检测到超过设定阈值的细胞团为类器官时，剔除单细胞等非类器官的干扰，然后计算得到类器官的数量；
优选的，所述平均面积的计算：
其中，Sm为类器官图像序列中第m个图像的类器官平均面积，Apixel为第m个图像中每个像素对应实际面积，nmi为第m个图像第i个类器官所占像素个数，km为第m个图像的类器官的数量；
优选的，所述离心率的计算：
其中，e为类器官的离心率，c为与该类器官拥有相同二阶中心矩的椭圆的焦距，a为与该类器官拥有相同二阶中心矩的椭圆的主轴长；
优选的，所述凸性Solidity的计算：
其中，Solidity为类器官的凸性，SCA为对应类器官的最小凸多边形面积；
进一步，所述紧凑性的计算公式如下：
其中，Compactness为类器官的紧凑性，Cm为类器官的周长；
进一步，所述欧拉数的计算公式如下：
EulerNumber＝No-Nh
其中，EulerNumber为类器官的欧拉数，No为1，Nh为类器官的空洞数；
进一步，所述形状系数FormFactor的计算公式如下：
进一步，所述限度的计算公式如下：
其中，Extent为类器官的限度，SBA为类器官最小外接矩阵面积；
所述Zernike矩特征以分割得到的类器官图像的形心为原点，将图像像素坐标映射到单位圆内，通过计算Zernike多项式的系数作为Zernike矩特征；
优选的，所述Zernike矩特征通过检索标签矩阵格式下的每个类器官并测量每个类器官得到，标签矩阵中的每个数字对应一个类器官，当一些类器官被丢弃时，将标签矩阵转换成二进制，再重新制作一个标签矩阵图像得到。
5.根据权利要求1所述的类器官生长预测方法，其特征在于，所述图像纹理特征包括图像强度特征、灰度共生矩阵特征、局部二值模式特征、颜色特征、Tamura纹理特征和Gabor特征；可选的，所述图像强度特征包括下列特征中的任意一种或几种：综合强度、平均强度、标准强度、最大强度、最小强度、综合边缘强度、平均边缘强度、标准边缘强度、最大边缘强度、最小边缘强度、质量位移；可选的，所述灰度共生矩阵特征包括角二阶矩、对比度、相关性、方差、反差矩、平均和、方差和、熵和、熵、差异方差、差异熵、信息测度1、信息测度2。
6.根据权利要求1所述的类器官生长预测方法，其特征在于，所述分割采用下列深度学习模型中的任意一种或几种实现：U-Net++、FCN、SegNet、PSPNet、DeepLabv1/v2/v3/v3+、YOLO、SSD、FasterR-CNN、MaskR-CNN、NanoDet、SimpleMulti-datasetDetection；
所述分割通过构建好的神经网络识别模型实现，优选的，所述神经网络识别模型的构建方法包括以下步骤：
S1：获取待预测类器官图像序列及其真实分类标注图像；
S2：将所述待预测类器官图像序列中的训练样本输入到选择的深度学习模型得到预测的类器官类别和单个类器官位置信息；
S3：计算预测的类器官类别和单个类器官位置信息与真实分类标注图像中真实类别和位置信息之间的损失值，根据损失值修正网络参数并优化模型，得到构建好的神经网络识别模型；
可选的，所述真实分类标注图像包含通过标注软件得到记录类器官坐标和最小外接正方形大小信息的标注信息。
7.根据权利要求1所述的类器官生长预测方法，其特征在于，所述对所述类器官图像序列分割得到类器官特征集还包括通过对所述类器官图像序列分割得到单个类器官，然后基于单个类器官进行特征提取，得到类器官特征集。
8.一种类器官生长预测系统，其特征在于，所述系统包括计算机程序，当所述计算机程序被执行时，实现权利要求1-7所述的类器官生长预测方法。
9.一种类器官生长预测设备，其特征在于，所述设备包括：
存储器和/或处理器；
所述存储器用于存储进行类器官生长预测分析的程序指令；所述处理器用于调用程序指令，当程序指令被执行时，实现权利要求1-7所述的类器官生长预测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有进行类器官生长预测分析的计算机程序，当所述计算机程序被处理器执行时，实现权利要求1-7任意一项所述的类器官生长预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169999.1A CN116129193A (zh) | 2023-02-27 | 2023-02-27 | 一种类器官生长预测方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169999.1A CN116129193A (zh) | 2023-02-27 | 2023-02-27 | 一种类器官生长预测方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116129193A true CN116129193A (zh) | 2023-05-16 |
Family
ID=86310074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310169999.1A Pending CN116129193A (zh) | 2023-02-27 | 2023-02-27 | 一种类器官生长预测方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129193A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437310A (zh) * | 2023-12-21 | 2024-01-23 | 天津市第五中心医院 | 一种类器官培养图像压缩方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110573609A (zh) * | 2017-04-25 | 2019-12-13 | Imba-莫利库尔生物技术研究所 | 双分化或多分化类器官 |
| CN114529898A (zh) * | 2022-01-07 | 2022-05-24 | 杭州海兰时生物科技有限责任公司 | 一种基于人工智能的大数据类器官图像识别的方法 |
| CN115243636A (zh) * | 2019-12-30 | 2022-10-25 | 西拉格国际有限公司 | 关联可视化数据和供电外科器械数据的外科系统 |
| WO2023285461A1 (en) * | 2021-07-12 | 2023-01-19 | Leibniz-Institut Für Virologie | Quantifying and analyzing organoids from digital images |
| US20230036156A1 (en) * | 2021-07-29 | 2023-02-02 | Tempus Labs, Inc. | Platform For Co-Culture Imaging To Characterize In Vitro Efficacy Of Heterotypic Effector Cellular Therapies In Cancer |
| CN115700799A (zh) * | 2021-07-14 | 2023-02-07 | 厦门大学 | 基于深度学习的类器官质量控制方法、存储介质 |
-
2023
- 2023-02-27 CN CN202310169999.1A patent/CN116129193A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110573609A (zh) * | 2017-04-25 | 2019-12-13 | Imba-莫利库尔生物技术研究所 | 双分化或多分化类器官 |
| CN115243636A (zh) * | 2019-12-30 | 2022-10-25 | 西拉格国际有限公司 | 关联可视化数据和供电外科器械数据的外科系统 |
| WO2023285461A1 (en) * | 2021-07-12 | 2023-01-19 | Leibniz-Institut Für Virologie | Quantifying and analyzing organoids from digital images |
| CN115700799A (zh) * | 2021-07-14 | 2023-02-07 | 厦门大学 | 基于深度学习的类器官质量控制方法、存储介质 |
| US20230036156A1 (en) * | 2021-07-29 | 2023-02-02 | Tempus Labs, Inc. | Platform For Co-Culture Imaging To Characterize In Vitro Efficacy Of Heterotypic Effector Cellular Therapies In Cancer |
| CN114529898A (zh) * | 2022-01-07 | 2022-05-24 | 杭州海兰时生物科技有限责任公司 | 一种基于人工智能的大数据类器官图像识别的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437310A (zh) * | 2023-12-21 | 2024-01-23 | 天津市第五中心医院 | 一种类器官培养图像压缩方法 |
| CN117437310B (zh) * | 2023-12-21 | 2024-02-27 | 天津市第五中心医院 | 一种类器官培养图像压缩方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | Ms RED: A novel multi-scale residual encoding and decoding network for skin lesion segmentation | |
| CN108062753B (zh) | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 | |
| US20220036135A1 (en) | Method and apparatus for determining image to be labeled and model training method and apparatus | |
| CN111191660B (zh) | 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法 | |
| CN106408001B (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
| JP2022538866A (ja) | 画像前処理のためのシステム及び方法 | |
| WO2020133636A1 (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN112052886A (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| Fan et al. | Evolutionary neural architecture search for retinal vessel segmentation | |
| WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
| Zhao et al. | Predicting tongue motion in unlabeled ultrasound videos using convolutional LSTM neural networks | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN116129193A (zh) | 一种类器官生长预测方法、系统及设备 | |
| Yilmaz et al. | Benchmarking of lightweight deep learning architectures for skin cancer classification using ISIC 2017 dataset | |
| Zhu et al. | Lad-net: A novel light weight model for early apple leaf pests and diseases classification | |
| CN115879508A (zh) | 一种数据处理方法及相关装置 | |
| CN116502129A (zh) | 一种知识与数据协同驱动的不平衡临床数据分类系统 | |
| Akilandasowmya et al. | Skin cancer diagnosis: Leveraging deep hidden features and ensemble classifiers for early detection and classification | |
| CN110867225A (zh) | 字符级临床概念提取命名实体识别方法及系统 | |
| Tian et al. | Gesture image recognition method based on DC-Res2Net and a feature fusion attention module | |
| CN114119669A (zh) | 一种基于Shuffle注意力的图匹配目标跟踪方法与系统 | |
| CN113656563A (zh) | 一种神经网络搜索方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |