CN112966774B - 一种基于图片Bert的组织病理图片分类方法 - Google Patents
一种基于图片Bert的组织病理图片分类方法 Download PDFInfo
- Publication number
- CN112966774B CN112966774B CN202110315844.5A CN202110315844A CN112966774B CN 112966774 B CN112966774 B CN 112966774B CN 202110315844 A CN202110315844 A CN 202110315844A CN 112966774 B CN112966774 B CN 112966774B
- Authority
- CN
- China
- Prior art keywords
- picture
- bert
- pictures
- small
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000000873 masking effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 5
- 238000013508 migration Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 239000012633 leachable Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于图片Bert的组织病理图片分类方法，本发明涉及组织病理检测中，对于正常与异常组织切片的分类问题。通过深度神经网络对于组织病理图片进行分类，可以有效地减少病理医生的工作量，提高诊断的准确性和效率。异常组织分类依赖于组织切片的局部和全局特征，传统的图片分类网络受模型大小和计算能力的限制，只能处理较小的图片，也难以结合全局特征进行分类。同时在对分类模型进行训练时，需要大量的标注数据，数据获取困难。针对以上问题，提出了一种基于图片Bert的组织病理学图片分类方法。试验结果表明，该方法能够有效地利用无标注信息进行训练，并结合全局特征对小图像进行编码，有效地提高了分类效果。该方法主要应用于组织病理图片分类。
Description
技术领域
本发明设计一种基于图片Bert的组织病理图片分类方法。
背景技术
根据世界卫生组织(WHO)国际癌症研究机构(IARC)的最新报告，据估计，全球患癌症的人数正在快速增加，仅2018年一年，就有1810万新增患者，死亡人数达到960万。在本世纪末，癌症将是世界上的第一大“杀手”。而癌症在世界范围内发病率呈上升趋势，癌症的检测技术更加重要，只有早期发现、早期治疗，才能有效提高癌症的生存率。通过在可疑部位进行穿刺，获取活体组织进行检验，是癌症诊断的金标准，适合最后定诊。常规病理诊断全靠医生判断，工作量很大，同时由于医生的水平不同，容易造成误诊和漏诊。用计算机辅助医生进行病理诊断显得尤为重要，利用人工智能技术对癌症可能发生的部位进行筛选，由医生进行人工鉴别，可以有效地提高医生的工作效率，减少误、漏诊的发生。
组织学影像分类的目的是筛选出异常的组织学影像。医师对组织病理学的判断大多是通过多张组织病理切片的全景扫描图片，结合图片的整体特征和组织的局部特征进行综合判断。由于受到硬件和训练数据的限制，深度学习常常无法处理全景扫描图片，只能先对图片进行裁剪，然后利用小图片进行训练和判断，这样就导致小图片丢失了大图片的整体特征。而且深度学习模型的训练需要大量的标注数据，数据的标注需要专业人员花费大量的时间，这使得深度学习模型由于缺乏训练数据而表现不佳。针对上述问题，提出了一种基于图片Bert的组织病理学图片分类方法。
发明内容
本发明的目的是为了解决少量标记数据下的组织病理分类问题，提出一种基于图片Bert的组织病理图片分类方法。
上述发明目的主要是通过以下技术方案实现的：
S1.准备图片Bert训练集数据，具体步骤如下：
首先收集大量的组织病理全景图片，之后将全局图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片。
S2.构建图片Bert模型，具体步骤如下：
图片Bert模型结构与Bert模型结构基本一致，但将网络的输入项、输出项设置为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块xp，输入图片处理要求为补丁图片块的处理要求为其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，/>N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：
其中，Z0表示小图片的编码，表示输入的补丁图片块，N代表补丁图片块的数目，Xcls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入图片的图片特征编码，E表示对补丁图片块的线性变换操作，Epos表示补丁图片块位置信息，D表示图片Bert的编码长度；
在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：
其中，Y表示图片Bert模型的整体输入，Z0,Z1,…,Zm表示多张输入图片的编码，m表示输入图片的总张数，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码。
S3.训练图片Bert模型，具体步骤如下：
为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏一定比例的输入信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，p的概率为真实相邻小图片，(1-p)的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型，具体步骤如下：
使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，依次添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；用未标注数据训练出的图片Bert具有丰富的组织病理知识，并具有很强的信息编码能力，对小图进行编码可以使其包含更多的先验知识，而用图片Bert构造的分类模型，可以利用少量的标记数据进行迁移学习，取得较好的分类效果。
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别，具体步骤如下：
首先对组织病理图片进行处理，得到长宽分别为W和H的C通道图片；基于图片Bert的组织病理图片分类模型同时对多张组织病理图片进行分类，根据模型输入要求，选择m张图片输入模型；如果待分类的图片数目少于m个，则使用空白图片进行填充；最后便可以通过模型的全连接层输出得到m张图片的类别。
发明效果
提出一种基于图片Bert的组织病理图片分类方法。传统的图片分类深度模型的效果受标记数据质量和数量的影响较大，不能通过无标注数据来优化；本发明借助于大量未标注的组织病理图片训练图片Bert模型，可以获得较多的组织病理图片知识；基于训练完成的图片Bert模型建立的组织病理图片分类模型，包含了较多的先验知识，通过少量的分类标记数据进行迁移学习可以获得较好的分类效果，从而能够更有效地利用数据，达到更好的分类效果。
与现有的人工判断相比，不但效率高，效果可靠，而且速度快，预测结果稳定。使用本发明可更好地辅助医师诊断，减轻医师的工作量。
附图说明
图1是算法总体算法的主要步骤图；
图2是图片Bert的网络示意图；
图3基于图片Bert的组织病理图片分类网络示意图。
具体实施方法
具体实施方式一：
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图一所示本文提供预训练模型的组织病理图片分类方法，包含预训练模型图片Bert训练和细胞分类任务迁移。
所述模型训练步骤包含：
S1.准备图片Bert训练集数据；
S2.构建图片Bert模型；
S3.训练图片Bert模型；
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别。
本发明实施例在图片Bert训练阶段使用大量的无标注数据进行训练，通过训练学习如何取提取图片中的特征信息并对其进行编码；图片Bert在对于图片进行编码的时候，不仅要考虑图片本身的特点，而且要考虑组织病理全景扫描图的全局特征，以及小图片周围环境的双重信息；使用图片Bert的编码进行分类可以有效提高分类的准确性。
下面对本发明实施例进行详细的说明：
应用本发明算法实现组织病理图片分类具体实现如下：
如图一所示算法主要包含图片Bert训练和训练基于图片Bert构建的组织病理分类模型；训练图片Bert模型包含步骤：
S1.准备图片Bert训练集数据：
选择组织病理图片的全景扫描图片1000张，每一张全景扫描图片都按照从左到右，从上到下的路径切割为512*512大小的小图片，切割至大图边缘时，大小不足512则使用白色区域将其填补为512*512大小的图片。
S2.构建图片Bert模型：
构建图片Bert，结构如图二所示，利用小图片训练图片Bert；将小图片继续切割为16张小补丁，为了处理这些小补丁，我们将小图片进行线性变化为小补丁/>设置BERT输入的编码为固定的128维数据，小图片的编码过程如公式3所示：
其中，Z0表示小图片的编码，表示输入的补丁图片块，每一个小图片由16张补丁构成，Xcls表示在每一张输入小图片编码的开始位置手动添加的可学习标记位，模型训练完成后，该位置输出为输入图片的图片特征编码，E表示对补丁图片块进行展开的线性变换，Epos表示补丁图片块位置信息；图片Bert的训练过程需要一次输入多张小图片，本发明中每次输入4张小图片，输入参数如公式4所示：
其中，Y表示图片Bert模型的输入，Z0,Z1,Z2,Z3表示四张小图片的编码，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码。
S3.训练图片Bert模型；
为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏15％的输入图片信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，50％的概率为真实相邻小图片，50％的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；
使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；利用少量的标记数据进行迁移学习，最后得到组织病理图片分类模型。
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别；
首先将组织病理处理为长宽都是512像素的3通道图片；基于图片Bert的组织病理图片分类模型同时对4个组织病理图片进行分类，根据模型输入要求，选择4个图片输入模型；如果分类图片的数目少于4个，则用空白图片填充；最后通过模型的全连接层输出得到4个图片的类别。
Claims (1)
1.一种基于图片Bert的组织病理图片分类方法，其特征在于，包含如下步骤：
S1.准备图片Bert训练集数据，首先收集大量的组织病理全景图片，之后将全景图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片；
S2.构建图片Bert模型，图片Bert模型结构与Bert模型结构基本一致，但网络的输入项、输出项均为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块xp，输入图片处理要求为补丁图片块的处理要求为/>其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，/>N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：
其中，Z0表示小图片的编码，表示输入的补丁图片块，N代表补丁图片块的数目，Xcls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入小图片的特征编码，E表示对补丁图片块的线性变换操作，Epos表示补丁图片块位置信息，D表示图片Bert的编码长度；
在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：
其中，Y表示图片Bert模型的整体输入，Z0,Z1,...,Zm表示多张输入图片的编码，m表示输入图片的总张数，Eseg表示一组区分码，每一张输入图片对应其唯一的区分码；
S3.训练图片Bert模型，为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：
训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏一定比例的输入信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；
训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，p的概率为真实相邻小图片，(1-p)的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息；
S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；首先使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，依次添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；用未标注数据训练出的图片Bert具有丰富的组织病理知识，并具有很强的信息编码能力，对小图进行编码可以使其包含更多的先验知识，而用图片Bert构造的分类模型，可以利用少量的标记数据进行迁移学习，取得较好的分类效果；
S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别；首先对组织病理图片进行处理，得到长宽分别为W和H的C通道图片，基于图片Bert的组织病理图片分类模型同时对多张组织病理图片进行分类，根据模型输入要求，选择m张图片输入模型；如果待分类的图片数目少于m个，则使用空白图片进行填充；最后便可以通过模型的全连接层输出得到m张图片的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315844.5A CN112966774B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图片Bert的组织病理图片分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315844.5A CN112966774B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图片Bert的组织病理图片分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112966774A CN112966774A (zh) | 2021-06-15 |
| CN112966774B true CN112966774B (zh) | 2024-05-31 |
Family
ID=76278448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110315844.5A Active CN112966774B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图片Bert的组织病理图片分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966774B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399465B (zh) * | 2021-12-08 | 2022-11-25 | 紫东信息科技(苏州)有限公司 | 良恶性溃疡识别方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647632A (zh) * | 2019-08-06 | 2020-01-03 | 上海孚典智能科技有限公司 | 基于机器学习的图像与文本映射技术 |
| WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
| CN112101029A (zh) * | 2020-08-18 | 2020-12-18 | 淮阴工学院 | 一种基于bert模型的高校导师推荐管理方法 |
| CN112200598A (zh) * | 2020-09-08 | 2021-01-08 | 北京数美时代科技有限公司 | 图片广告识别方法、装置、计算机设备 |
| US10916242B1 (en) * | 2019-08-07 | 2021-02-09 | Nanjing Silicon Intelligence Technology Co., Ltd. | Intent recognition method based on deep learning network |
| WO2021022816A1 (zh) * | 2019-08-07 | 2021-02-11 | 南京硅基智能科技有限公司 | 一种基于深度学习网络的意图识别方法 |
| CN112488234A (zh) * | 2020-12-10 | 2021-03-12 | 武汉大学 | 一种基于注意力池化的端到端组织病理图像分类方法 |
| CN112487206A (zh) * | 2020-12-09 | 2021-03-12 | 中国电子科技集团公司第三十研究所 | 一种自动构建数据集的实体关系抽取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423538B2 (en) * | 2019-04-16 | 2022-08-23 | Covera Health | Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers |
-
2021
- 2021-03-24 CN CN202110315844.5A patent/CN112966774B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020211275A1 (zh) * | 2019-04-18 | 2020-10-22 | 五邑大学 | 基于预训练模型与微调技术的医疗文本关系抽取方法 |
| CN110647632A (zh) * | 2019-08-06 | 2020-01-03 | 上海孚典智能科技有限公司 | 基于机器学习的图像与文本映射技术 |
| US10916242B1 (en) * | 2019-08-07 | 2021-02-09 | Nanjing Silicon Intelligence Technology Co., Ltd. | Intent recognition method based on deep learning network |
| WO2021022816A1 (zh) * | 2019-08-07 | 2021-02-11 | 南京硅基智能科技有限公司 | 一种基于深度学习网络的意图识别方法 |
| CN112101029A (zh) * | 2020-08-18 | 2020-12-18 | 淮阴工学院 | 一种基于bert模型的高校导师推荐管理方法 |
| CN112200598A (zh) * | 2020-09-08 | 2021-01-08 | 北京数美时代科技有限公司 | 图片广告识别方法、装置、计算机设备 |
| CN112487206A (zh) * | 2020-12-09 | 2021-03-12 | 中国电子科技集团公司第三十研究所 | 一种自动构建数据集的实体关系抽取方法 |
| CN112488234A (zh) * | 2020-12-10 | 2021-03-12 | 武汉大学 | 一种基于注意力池化的端到端组织病理图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| "A MULTIMODAL FUSION FRAMEWORK FOR BRAND RECOGNITION FROM PRODUCT IMAGE AND CONTEXT";Changbo Hu et al.;《IEEE》;第1-4页 * |
| "基于深度学习的多模态融合网民情感识别研究";范涛 等;《信息资源管理学报》;第39-48页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112966774A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276402B (zh) | 一种基于深度学习语义边界增强的盐体识别方法 | |
| CN112687327B (zh) | 一种基于多任务和多模态的癌症生存分析系统 | |
| CN107016665A (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN108305253B (zh) | 一种基于多倍率深度学习的病理图像分类方法 | |
| CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
| CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
| CN110880000A (zh) | 图片文字定位方法、装置、计算机设备和存储介质 | |
| CN112017192A (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及系统 | |
| CN111160205A (zh) | 一种交通场景嵌入式多类目标端对端统一检测方法 | |
| CN113313680B (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| CN113378736B (zh) | 基于变换一致性正则化的遥感影像半监督语义分割方法 | |
| CN111784711A (zh) | 一种基于深度学习的肺部病理图像分类与分割方法 | |
| Osterloff et al. | A computer vision approach for monitoring the spatial and temporal shrimp distribution at the LoVe observatory | |
| CN111127360A (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
| CN113538435A (zh) | 一种基于深度学习的胰腺癌病理图像分类方法及系统 | |
| CN112966774B (zh) | 一种基于图片Bert的组织病理图片分类方法 | |
| CN114782967B (zh) | 一种基于代码可视化学习的软件缺陷预测方法 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN114387610A (zh) | 一种基于增强特征金字塔网络的任意形状场景文本检测方法 | |
| CN112784806A (zh) | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 | |
| CN111666977B (zh) | 一种单色图像的阴影检测方法 | |
| CN114565593B (zh) | 基于半监督和注意力的全视野数字图像分类与检测方法 | |
| Osterloff et al. | Polyp activity estimation and monitoring for cold water corals with a deep learning approach | |
| CN116152741A (zh) | 一种基于深度学习算法的矿下人员检测方法 | |
| CN116071645A (zh) | 高分辨率遥感影像建筑物变化检测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |