CN112966774A - 一种基于图片Bert的组织病理图片分类方法 - Google Patents

一种基于图片Bert的组织病理图片分类方法 Download PDF

Info

Publication number
CN112966774A
CN112966774A CN202110315844.5A CN202110315844A CN112966774A CN 112966774 A CN112966774 A CN 112966774A CN 202110315844 A CN202110315844 A CN 202110315844A CN 112966774 A CN112966774 A CN 112966774A
Authority
CN
China
Prior art keywords
picture
bert
image
pictures
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110315844.5A
Other languages
English (en)
Other versions
CN112966774B (zh
Inventor
何勇军
赵晶
秦健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Jizhitong Intelligent Technology Co ltd
Original Assignee
Heilongjiang Jizhitong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Jizhitong Intelligent Technology Co ltd filed Critical Heilongjiang Jizhitong Intelligent Technology Co ltd
Priority to CN202110315844.5A priority Critical patent/CN112966774B/zh
Priority claimed from CN202110315844.5A external-priority patent/CN112966774B/zh
Publication of CN112966774A publication Critical patent/CN112966774A/zh
Application granted granted Critical
Publication of CN112966774B publication Critical patent/CN112966774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图片Bert的组织病理图片分类方法，本发明涉及组织病理检测中，对于正常与异常组织切片的分类问题。通过深度神经网络对于组织病理图片进行分类，可以有效地减少病理医生的工作量，提高诊断的准确性和效率。异常组织分类依赖于组织切片的局部和全局特征，传统的图片分类网络受模型大小和计算能力的限制，只能处理较小的图片，也难以结合全局特征进行分类。同时在对分类模型进行训练时，需要大量的标注数据，数据获取困难。针对以上问题，提出了一种基于图片Bert的组织病理学图片分类方法。试验结果表明，该方法能够有效地利用无标注信息进行训练，并结合全局特征对小图像进行编码，有效地提高了分类效果。该方法主要应用于组织病理图片分类。

Description

一种基于图片Bert的组织病理图片分类方法
技术领域
本发明设计一种基于图片Bert的组织病理图片分类方法。
背景技术
根据世界卫生组织(WHO)国际癌症研究机构(IARC)的最新报告，据估计，全球患癌症的人数正在快速增加，仅2018年一年，就有1810万新增患者，死亡人数达到960万。在本世纪末，癌症将是世界上的第一大“杀手”。而癌症在世界范围内发病率呈上升趋势，癌症的检测技术更加重要，只有早期发现、早期治疗，才能有效提高癌症的生存率。通过在可疑部位进行穿刺，获取活体组织进行检验，是癌症诊断的金标准，适合最后定诊。常规病理诊断全靠医生判断，工作量很大，同时由于医生的水平不同，容易造成误诊和漏诊。用计算机辅助医生进行病理诊断显得尤为重要，利用人工智能技术对癌症可能发生的部位进行筛选，由医生进行人工鉴别，可以有效地提高医生的工作效率，减少误、漏诊的发生。
组织学影像分类的目的是筛选出异常的组织学影像。医师对组织病理学的判断大多是通过多张组织病理切片的全景扫描图片，结合图片的整体特征和组织的局部特征进行综合判断。由于受到硬件和训练数据的限制，深度学习常常无法处理全景扫描图片，只能先对图片进行裁剪，然后利用小图片进行训练和判断，这样就导致小图片丢失了大图片的整体特征。而且深度学习模型的训练需要大量的标注数据，数据的标注需要专业人员花费大量的时间，这使得深度学习模型由于缺乏训练数据而表现不佳。针对上述问题，提出了一种基于图片Bert的组织病理学图片分类方法。
发明内容
本发明的目的是为了解决少量标记数据下的组织病理分类问题，提出一种基于图片Bert的组织病理图片分类方法。
上述发明目的主要是通过以下技术方案实现的：
S1.准备图片Bert训练集数据，具体步骤如下：
首先收集大量的组织病理全景图片，之后将全局图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片。
S2.构建图片Bert模型，具体步骤如下：
图片Bert模型结构与Bert模型结构基本一致，但将网络的输入项、输出项设置为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块xp，输入图片处理要求为
Figure BDA0002991416030000021
补丁图片块的处理要求为
Figure BDA0002991416030000022
其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，
Figure BDA0002991416030000023
N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：
Figure BDA0002991416030000024
其中，Z0表示小图片的编码，
Figure BDA0002991416030000025
表示输入的补丁图片块，N代表补丁图片块的数目，Xcls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入图片的图片特征编码，E表示对补丁图片块的线性变换操作，Epos表示补丁图片块位置信息，D表示图片Bert的编码长度；
在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：
Figure BDA0002991416030000026
其中，Y表示图片Bert模型的整体输入，Z0,Z1,…,Zm表示多张输入图片的编码，m表示输入图片的总张数，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码。
S3.训练图片Bert模型，具体步骤如下：
为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏一定比例的输入信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，p的概率为真实相邻小图片，(1-p)的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型，具体步骤如下：
使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，依次添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；用未标注数据训练出的图片Bert具有丰富的组织病理知识，并具有很强的信息编码能力，对小图进行编码可以使其包含更多的先验知识，而用图片Bert构造的分类模型，可以利用少量的标记数据进行迁移学习，取得较好的分类效果。
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别，具体步骤如下：
首先对组织病理图片进行处理，得到长宽分别为W和H的C通道图片；基于图片Bert的组织病理图片分类模型同时对多张组织病理图片进行分类，根据模型输入要求，选择m张图片输入模型；如果待分类的图片数目少于m个，则使用空白图片进行填充；最后便可以通过模型的全连接层输出得到m张图片的类别。
发明效果
提出一种基于图片Bert的组织病理图片分类方法。传统的图片分类深度模型的效果受标记数据质量和数量的影响较大，不能通过无标注数据来优化；本发明借助于大量未标注的组织病理图片训练图片Bert模型，可以获得较多的组织病理图片知识；基于训练完成的图片Bert模型建立的组织病理图片分类模型，包含了较多的先验知识，通过少量的分类标记数据进行迁移学习可以获得较好的分类效果，从而能够更有效地利用数据，达到更好的分类效果。
与现有的人工判断相比，不但效率高，效果可靠，而且速度快，预测结果稳定。使用本发明可更好地辅助医师诊断，减轻医师的工作量。
附图说明
图1是算法总体算法的主要步骤图；
图2是图片Bert的网络示意图；
图3基于图片Bert的组织病理图片分类网络示意图。
具体实施方法
具体实施方式一：
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图一所示本文提供预训练模型的组织病理图片分类方法，包含预训练模型图片Bert训练和细胞分类任务迁移。
所述模型训练步骤包含：
S1.准备图片Bert训练集数据；
S2.构建图片Bert模型；
S3.训练图片Bert模型；
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别。
本发明实施例在图片Bert训练阶段使用大量的无标注数据进行训练，通过训练学习如何取提取图片中的特征信息并对其进行编码；图片Bert在对于图片进行编码的时候，不仅要考虑图片本身的特点，而且要考虑组织病理全景扫描图的全局特征，以及小图片周围环境的双重信息；使用图片Bert的编码进行分类可以有效提高分类的准确性。
下面对本发明实施例进行详细的说明：
应用本发明算法实现组织病理图片分类具体实现如下：
如图一所示算法主要包含图片Bert训练和训练基于图片Bert构建的组织病理分类模型；训练图片Bert模型包含步骤：
S1.准备图片Bert训练集数据：
选择组织病理图片的全景扫描图片1000张，每一张全景扫描图片都按照从左到右，从上到下的路径切割为512*512大小的小图片，切割至大图边缘时，大小不足512则使用白色区域将其填补为512*512大小的图片。
S2.构建图片Bert模型：
构建图片Bert，结构如图二所示，利用小图片训练图片Bert；将小图片继续切割为16张小补丁，为了处理这些小补丁，我们将小图片
Figure BDA0002991416030000051
进行线性变化为小补丁
Figure BDA0002991416030000052
设置BERT输入的编码为固定的128维数据，小图片的编码过程如公式3所示：
Figure BDA0002991416030000053
其中，Z0表示小图片的编码，
Figure BDA0002991416030000054
表示输入的补丁图片块，每一个小图片由16张补丁构成，Xcls表示在每一张输入小图片编码的开始位置手动添加的可学习标记位，模型训练完成后，该位置输出为输入图片的图片特征编码，E表示对补丁图片块进行展开的线性变换，Epos表示补丁图片块位置信息；图片Bert的训练过程需要一次输入多张小图片，本发明中每次输入4张小图片，输入参数如公式4所示：
Figure BDA0002991416030000055
其中，Y表示图片Bert模型的输入，Z0,Z1,Z2,Z3表示四张小图片的编码，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码。
S3.训练图片Bert模型；
为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏15％的输入图片信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，50％的概率为真实相邻小图片，50％的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；
使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；利用少量的标记数据进行迁移学习，最后得到组织病理图片分类模型。
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别；
首先将组织病理处理为长宽都是512像素的3通道图片；基于图片Bert的组织病理图片分类模型同时对4个组织病理图片进行分类，根据模型输入要求，选择4个图片输入模型；如果分类图片的数目少于4个，则用空白图片填充；最后通过模型的全连接层输出得到4个图片的类别。

Claims (6)

1.一种基于图片Bert的组织病理图片分类方法，其特征在于，包含如下步骤：
S1.准备图片Bert训练集数据；
S2.构建图片Bert模型；
S3.训练图片Bert模型；
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别。
2.如权利要求1所述一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S1中准备图片Bert训练集数据，具体为：
首先收集大量的组织病理全景图片，之后将全局图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片。
3.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S2构建图片Bert模型具体步骤如下：
图片Bert模型结构与Bert模型结构基本一致，但网络的输入项、输出项均为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块xp，输入图片处理要求为
Figure FDA0002991416020000011
补丁图片块的处理要求为
Figure FDA0002991416020000012
其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，
Figure FDA0002991416020000013
N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：
Figure FDA0002991416020000014
其中，Z0表示小图片的编码，
Figure FDA0002991416020000015
表示输入的补丁图片块，N代表补丁图片块的数目，Xcls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入小图片的特征编码，E表示对补丁图片块的线性变换操作，Epos表示补丁图片块位置信息，D表示图片Bert的编码长度；
在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：
Figure FDA0002991416020000016
其中，Y表示图片Bert模型的整体输入，Z0,Z1,…,Zm表示多张输入图片的编码，m表示输入图片的总张数，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码。
4.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S3训练图片Bert模型具体步骤如下：
为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏一定比例的输入信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，p的概率为真实相邻小图片，(1-p)的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。
5.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型，具体步骤如下：
使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，依次添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；用未标注数据训练出的图片Bert具有丰富的组织病理知识，并具有很强的信息编码能力，对小图进行编码可以使其包含更多的先验知识，而用图片Bert构造的分类模型，可以利用少量的标记数据进行迁移学习，取得较好的分类效果。
6.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别，具体步骤如下：
首先对组织病理图片进行处理，得到长宽分别为W和H的C通道图片；基于图片Bert的组织病理图片分类模型同时对多张组织病理图片进行分类，根据模型输入要求，选择m张图片输入模型；如果待分类的图片数目少于m个，则使用空白图片进行填充；最后便可以通过模型的全连接层输出得到m张图片的类别。
CN202110315844.5A 2021-03-24 一种基于图片Bert的组织病理图片分类方法 Active CN112966774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110315844.5A CN112966774B (zh) 2021-03-24 一种基于图片Bert的组织病理图片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110315844.5A CN112966774B (zh) 2021-03-24 一种基于图片Bert的组织病理图片分类方法

Publications (2)

Publication Number Publication Date
CN112966774A true CN112966774A (zh) 2021-06-15
CN112966774B CN112966774B (zh) 2024-05-31

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399465A (zh) * 2021-12-08 2022-04-26 紫东信息科技(苏州)有限公司 良恶性溃疡识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
WO2020211275A1 (zh) * 2019-04-18 2020-10-22 五邑大学 基于预训练模型与微调技术的医疗文本关系抽取方法
US20200334809A1 (en) * 2019-04-16 2020-10-22 Covera Health Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
CN112101029A (zh) * 2020-08-18 2020-12-18 淮阴工学院 一种基于bert模型的高校导师推荐管理方法
CN112200598A (zh) * 2020-09-08 2021-01-08 北京数美时代科技有限公司 图片广告识别方法、装置、计算机设备
US10916242B1 (en) * 2019-08-07 2021-02-09 Nanjing Silicon Intelligence Technology Co., Ltd. Intent recognition method based on deep learning network
WO2021022816A1 (zh) * 2019-08-07 2021-02-11 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法
CN112487206A (zh) * 2020-12-09 2021-03-12 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334809A1 (en) * 2019-04-16 2020-10-22 Covera Health Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers
WO2020211275A1 (zh) * 2019-04-18 2020-10-22 五邑大学 基于预训练模型与微调技术的医疗文本关系抽取方法
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
US10916242B1 (en) * 2019-08-07 2021-02-09 Nanjing Silicon Intelligence Technology Co., Ltd. Intent recognition method based on deep learning network
WO2021022816A1 (zh) * 2019-08-07 2021-02-11 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法
CN112101029A (zh) * 2020-08-18 2020-12-18 淮阴工学院 一种基于bert模型的高校导师推荐管理方法
CN112200598A (zh) * 2020-09-08 2021-01-08 北京数美时代科技有限公司 图片广告识别方法、装置、计算机设备
CN112487206A (zh) * 2020-12-09 2021-03-12 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANGBO HU ET AL.: ""A MULTIMODAL FUSION FRAMEWORK FOR BRAND RECOGNITION FROM PRODUCT IMAGE AND CONTEXT"", 《IEEE》, pages 1 - 4 *
范涛 等: ""基于深度学习的多模态融合网民情感识别研究"", 《信息资源管理学报》, pages 39 - 48 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399465A (zh) * 2021-12-08 2022-04-26 紫东信息科技(苏州)有限公司 良恶性溃疡识别方法及系统

Similar Documents

Publication Publication Date Title
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
Malinverni et al. Hybrid object-based approach for land use/land cover mapping using high spatial resolution imagery
CN110276402B (zh) 一种基于深度学习语义边界增强的盐体识别方法
CN110111895A (zh) 一种鼻咽癌远端转移预测模型的建立方法
CN110097974A (zh) 一种基于深度学习算法的鼻咽癌远端转移预测系统
CN109063754A (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN110807139A (zh) 图片识别方法、装置、计算机可读存储介质和计算机设备
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN108898092A (zh) 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN111784711A (zh) 一种基于深度学习的肺部病理图像分类与分割方法
CN109800756A (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115954100A (zh) 胃癌病理图像智能辅助诊断系统
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
CN114565593B (zh) 基于半监督和注意力的全视野数字图像分类与检测方法
CN112966774A (zh) 一种基于图片Bert的组织病理图片分类方法
CN112966774B (zh) 一种基于图片Bert的组织病理图片分类方法
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN115205624A (zh) 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant