CN110458904B - 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 - Google Patents
胶囊式内窥镜图像的生成方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN110458904B CN110458904B CN201910719838.9A CN201910719838A CN110458904B CN 110458904 B CN110458904 B CN 110458904B CN 201910719838 A CN201910719838 A CN 201910719838A CN 110458904 B CN110458904 B CN 110458904B
- Authority
- CN
- China
- Prior art keywords
- capsule
- encoder
- endoscopic image
- type
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000002775 capsule Substances 0.000 title claims description 14
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 8
- 230000008485 antagonism Effects 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000011160 research Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000003903 intestinal lesions Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本申请实施例公开了胶囊式内窥镜图像的生成方法、装置及计算机存储介质。其中，该方法可以包括以下步骤：利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器‑生成对抗网络模型进行训练；利用训练后的所述变分自编码器‑生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。通过利用本申请实施例提供的技术方案，可以辅助医生进行诊断，提高其诊断结果的准确性，并且可以有助于在临床研究中确保正常图像和病变图像的数据样本的平衡。
Description
技术领域
本申请涉及医学数据处理技术领域，特别涉及胶囊式内窥镜图像的生成方法、装置及计算机存储介质。
背景技术
本部分的描述仅提供与本申请公开相关的背景信息，而不构成现有技术。
胶囊式内窥镜检查是诊断肠道病变的一种有效手段，其主要是利用胶囊式内窥镜拍摄肠道图像，使得医生可以根据其所拍摄的肠道图像来确定患者的肠道是否出现病变。
目前，在通过胶囊式内窥镜检查获得大量图像之后，医生需要手动核查这些图像才能作出准确判断，这增大了医生的工作负担，并且可能会造成错诊或漏检。因此，为了更好地辅助医生进行诊断，通常通过构建深度学习模型并利用所构建的深度学习模型进行训练来获得病变区域图像。然而，构建深度学习模型需要大量且平衡的正常图像和病变图像的数据样本，但是目前胶囊式内窥镜通常以固定的帧速率拍摄图像，并且没有任何适应性控制来使其关注特定区域。因此，胶囊式内窥镜可能不会拍摄肠道内出现明显病变的区域的图像，甚至可能在很多情况下完全错过病变区域。因此，利用胶囊式内窥镜采集的图像具有较大的不确定性，有可能会出现很多重复的图像。另外，在特定情况下，采集特定区域的足够图像需要多轮冗长且复杂的程序，因此，很难确保所采集的正常图像和病变图像的数据样本的平衡，这可能会造成临床数据集中的阳性和阴性样本之间的严重不对称，从而使得构建深度学习训练模型变得比较困难。
发明内容
本申请实施例的目的是提供一种胶囊式内窥镜图像的生成方法、装置及计算机存储介质，以解决现有技术中存在的至少一种问题。
为了解决上述技术问题，本申请实施例提供了一种胶囊式内窥镜图像的生成方法，该方法可以包括以下步骤：
S1：利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；
S2：利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
可选地，所述变分自编码器-生成对抗网络模型包括编码器、解码/生成器和判别器，相应地，所述步骤S1包括以下子步骤：
S11：调用所述编码器对所述第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示；
S12：调用所述解码/生成器根据所生成的所述潜在表示来获得第二胶囊式内窥镜图像样本，所述第二胶囊式内窥镜图像样本包括与多份所述原始图像数据对应的多份生成图像数据；
S13：调用所述判别器对所述第一胶囊式内窥镜图像样本和所述第二胶囊式内窥镜图像样本进行判别处理；
S14：根据所述判别器输出的判别概率来训练所述编码器和所述解码/生成器直至所述判别器输出的判别概率达到预设阈值。
可选地，每份所述生成图像数据均包括变分自编码器中的解码器通过对所述潜在表示进行解码处理而得到的图像数据以及生成对抗网络中的生成器通过对所述潜在表示进行生成处理而得到的图像数据。
可选地，所述子步骤S14包括：
将所述判别概率与所述预设阈值进行对比；
当对比出所述判别概率与所述预设阈值不一致时，调整所述编码器和所述解码/生成器的网络参数，并且重复所述子步骤S11至S13，直至所述判别器输出的判别概率达到所述预设阈值。
可选地，调整所述编码器和所述解码/生成器的网络参数包括：
分别计算所述判别概率与所述第一胶囊式内窥镜图像样本的第一初始权重和所述第二胶囊式内窥镜图像样本的第二初始权重之间的差值；
根据所述判别概率与所述第一初始权重之间的差值调整所述编码器的网络参数以及根据所述判别概率与所述第二初始权重之间的差值调整所述解码/生成器的网络参数。
可选地，所述预设阈值为0.4～0.6。
本申请实施例还提供了一种胶囊式内窥镜图像的生成装置，该装置可以包括：
训练单元，其被配置为利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；
生成单元，其被配置为利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
可选地，所述变分自编码器-生成对抗网络模型包括编码器、解码/生成器和判别器，相应地，所述训练单元包括：
第一调用子单元，其被配置为调用所述编码器对所述第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示；
第二调用子单元，其被配置为调用所述解码/生成器根据所生成的所述潜在表示来获得第二胶囊式内窥镜图像样本；
第三调用子单元，其被配置为调用所述判别器对所述第一胶囊式内窥镜图像样本和所述第二胶囊式内窥镜图像样本进行判别处理；
训练子单元，其被配置为根据所述判别器输出的判别概率来训练所述编码器和所述解码/生成器直至所述判别器输出的判别概率达到预设阈值。
可选地，所述训练子单元具体被配置为：
对所述判别概率与所述预设阈值进行对比；
当对比出所述判别概率与所述预设阈值不一致时，调整所述编码器和所述解码/生成器的网络参数，并且控制所述第一调用子单元、所述第二调用子单元和所述第三调用子单元进行对应的操作，直至所述判别器输出的判别概率达到所述预设阈值。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质上存储有程序指令，所述程序指令被执行时实现以下功能：
利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；
利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
由以上本申请实施例提供的技术方案可见，本申请实施例通过利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像，可以辅助医生进行诊断，提高其诊断结果的准确性，并且可以有助于在临床研究中确保正常图像和病变图像的数据样本的平衡，从而易于构建深度学习训练模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种胶囊式内窥镜图像的生成方法的流程图；
图2是本申请实施例提供的一种胶囊式内窥镜图像的生成方法中步骤S1的流程图；
图3是利用本申请实施例提供的一种胶囊式内窥镜图像的生成方法生成图像的实例图；
图4是本申请实施例提供的一种胶囊式内窥镜图像的生成装置的结构图；
图5是本申请实施例提供的一种胶囊式内窥镜图像的生成装置中的训练单元的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于解释说明本申请的一部分实施例，而不是全部的实施例，并不希望限制本申请的范围或权利要求书。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本申请保护的范围。
需要说明的是，当元件被称为“设置在”另一个元件上，它可以直接设置在另一个元件上或者也可以存在居中的元件。当元件被称为“连接/耦合”至另一个元件，它可以是直接连接/耦合至另一个元件或者可能同时存在居中元件。本文所使用的术语“连接/耦合”可以包括电气和/或机械物理连接/耦合。本文所使用的术语“包括/包含”指特征、步骤或元件的存在，但并不排除一个或更多个其它特征、步骤或元件的存在或添加。本文所使用的术语“和/或”包括一个或多个相关所列项目的任意的和所有的组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体实施例的目的，而并不是旨在限制本申请。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的和区别类似的生物，两者之间并不存在先后顺序，也不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面结合附图对本申请实施例提供的胶囊式内窥镜图像的生成方法、装置及计算机存储介质进行详细的描述。
如图1所示，本申请实施例提供了一种胶囊式内窥镜图像的生成方法，其可以包括以下步骤：
S1：利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练。
第一胶囊式内窥镜图像样本可以包括大量(例如，1000个)的真实的胶囊式内窥镜图像的原始图像数据，并且其中，一份原始图像数据对应一个真实的胶囊式内窥镜图像。每个胶囊式内窥镜图像均可以是指利用胶囊式内窥镜对人、狗、猫等动物进行检查所获得的图像。
变分自编码器(Variational Autoencoder，简称VAE)是一种神经网络架构，其可以通过利用学习的表示来更好地度量数据在空间上的相似性，其主要包括编码器和解码器。其中，编码器主要是将数据分布的高级表征映射到数据的低级表征，并且可以包括两个全连接层和一个修正线性单元(Rectified Linear Unit,ReLU)层，这两个全连接层的输出神经元个数可以分别为400个和20个；解码器主要是吸收数据的低级表征并且输出同样数据的高级表征，其可以包括两个全连接层、ReLU层和Sigmoid(S形函数)层。生成对抗网络(Generative Adversarial Network，简称GAN)是一种深度学习架构，其可以包括相互连接的生成器和判别器。VAE-GAN模型可以包括VAE中的编码器、GAN中的判别器、以及将VAE和GAN中的解码器和生成器的功能结合在一起的解码/生成器。
在获取目标对象的第一胶囊式内窥镜图像样本之后，可以利用第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练。具体地，如图2的所示，该步骤可以包括以下子步骤：
S11：调用编码器对第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示。
潜在表示可以是指图像数据在神经网络的隐藏层中的表示方式。该潜在表示可以服从均匀分布或高斯分布等，其通常表示为向量的形式。
在获取到第一胶囊式内窥镜图像样本之后，可以调用编码器对第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示。具体地，可以调用编码器将原始图像数据在潜在空间中进行图像特征(例如，图像的均值和方差特征)的表征，然后可以将该表征描述为相关的分布函数(例如，高斯分布)，接着可以根据所描述的分布函数进行随机采样，以得到潜在空间中的多个采样点，从而形成潜在表示。所得到的潜在表示与原始图像数据之间的关系可以表示如下：
Z～Enc(X)＝q(Z|X) (1)
其中，Z为潜在表示；X为原始图像数据，其可以表示为{X1,X2,...,Xn}，n为数据数量；Enc(X)表示对X进行编码；q(Z|X)为分布函数，其具体形式可以根据实际需要来确定。例如，当Z服从高斯分布时，Z～N(μ,σ2)。S12：调用解码/生成器根据所生成的潜在表示生成第二胶囊式内窥镜图像样本。
S12：调用解码/生成器根据所生成的潜在表示来获得第二胶囊式内窥镜图像样本。
在调用编码器对第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码之后，都可以调用解码/生成器根据编码器得到的潜在表示来获得与第一胶囊式内窥镜图像样本中的多份原始图像数据对应的多份生成图像数据。具体地，针对每个胶囊式内窥镜图像，都可以调用解码/生成器利用与编码方法对应的解码方法(例如，高斯分布变换的逆变换)将潜在空间中的采样点映射回原始输入图像，从而达到重构生成图像的目的。
所得到的所有生成图像数据构成第二胶囊式内窥镜图像样本。每份生成图像数据可以包括两部分：一部分是VAE中的解码器通过对潜在表示进行解码处理而得到的图像数据，还有一部分是GAN中的生成器通过对潜在表示进行生成处理而得到的图像数据。
S13：调用判别器对第一胶囊式内窥镜图像样本和第二胶囊式内窥镜图像样本进行判别处理。
在调用解码/生成器生成与第一胶囊式内窥镜图像样本中的原始图像数据对应的图像数据之后，可以调用判别器对第一胶囊式内窥镜图像样本中的原始图像数据以及第二胶囊式内窥镜图像样本中对应的生成图像数据进行判别处理，并且根据判别处理结果输出对应的判别概率。
在判别器中，可以预先定义第一胶囊式内窥镜图像样本的第一初始权重为1或0，相应地，可以预先定义第二胶囊式内窥镜图像样本的第二初始权重为0或1。在接收到第一胶囊式内窥镜图像样本和第二胶囊式内窥镜图像样本之后，可以通过比较这两个样本之间的差异来实现判别处理，并且根据比较结果输出对应的判别概率。例如，第二胶囊式内窥镜图像样本中的生成图像数据与第一胶囊式内窥镜图像样本中的原始图像数据差异较大，其可以输出为0.3的判别概率。
S14：根据所判别器输出的判别概率来训练编码器和解码/生成器直至判别器输出的判别概率达到预设阈值。
在判别器输出判别概率之后，可以将判别概率与预设阈值进行对比，当对比出判别概率与预设阈值不一致时，可以调整编码器和解码/生成器的网络参数，并且重复上述子步骤S11至S13，直至判别器输出的判别概率达到或非常接近预设阈值，从而完成对变分自编码器-生成对抗网络模型的训练。
其中，调整编码器和解码/生成器的网络参数具体可以包括：分别计算判别概率与第一初始权重和第二初始权重之间的差值，并且可以根据判别概率与第一初始权重之间的差值调整编码器的网络参数以及根据判别概率与第二初始权重之间的差值调整解码/生成器的网络参数。
编码器、解码/生成器和判别器的最终网络参数可以通过对所构建的损失函数进行最优化求解来确定。损失函数可以表示如下：
LVAE-GAN＝DKL(q(Z|X)||p(Z))-Eq(Z|X)[logp(Dis(X)|Z)]+LGAN (2)
LGAN＝log(Dis(X))+log(1-Dis(G(Z))) (3)
其中，LVAE-GAN为VAE-GAN模型的损失函数；LGAN为GAN的损失函数；DKL(·)为KL散度，一般可以用来衡量两个分布的相似情况，可以在生成图像数据时确定其大小；|Eq(Z|X)[·]表示均方误差函数，其通过对原始图像数据与生成图像数据进行均方误差计算来确定；p(Z)表示用于对Z进行解码的函数；Dis(X)表示判别器判断X是否真实的概率；Dis(G(Z))表示判别器判断生成图像数据是否真实的概率。
在本申请的实施例中，可以根据实际需求来设置预设阈值，预设阈值可以为0.4～0.6，优选地为0.5。
S2：利用训练后的变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
在利用第一胶囊式内窥镜图像样本对训练后的变分自编码器-生成对抗网络模型进行训练后，可以将待测胶囊式内窥镜图像数据输入到训练后的变分自编码器-生成对抗网络模型中进行处理以生成胶囊式内窥镜图像。
在接收到待测胶囊式内窥镜图像数据之后，可以调用训练后的编码器对待测胶囊式内窥镜图像数据进行编码处理以生成包含原始图像特征的潜在表示，然后可以调用训练后的解码/生成器根据所生成的潜在表示生成对应的胶囊式内窥镜图像。
关于如何调用编码器和解码/生成器生成胶囊式内窥镜图像的具体过程，可以参照步骤S1中的相关描述，在此不再赘叙。
图3示出了利用训练后的变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理后生成的胶囊式内窥镜图像。从图3可以看出，生成的胶囊式内窥镜图像与原始胶囊式内窥镜图像在结构上十分相似。由此可见，通过本申请实施例提供的方法可以提高生成图像的精度，从而可以更好地辅助医生进行诊断。
通过上述描述可以看出，本申请实施例通过利用包含解码器、解码/生成器和判别器的变分自编码器-生成对抗网络模型对第一胶囊式内窥镜图像样本进行训练，并且利用训练后的变分自编码器-生成对抗网络模型来生成胶囊式内窥镜图像，所生成的胶囊式内窥镜图像可以用于临床研究以确保正常图像和病变图像的数据样本的平衡，这可以有助于后续构建用于研究与训练的深度学习训练模型，并且可以辅助医生进行诊断，提高其诊断结果的准确性。
本申请实施例还提供了一种胶囊式内窥镜图像的生成装置，如图4和图5所示，该生成装置可以包括：
训练单元100，其可以被配置为利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；以及
生成单元200，其可以被配置为利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
在本申请的实施例中，该变分自编码器-生成对抗网络模型可以包括编码器、解码/生成器和判别器，相应地，训练单元100可以包括：
第一调用子单元110，其可以被配置为调用编码器对第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示；
第二调用子单元120，其可以被配置为调用解码/生成器根据所生成的潜在表示来获得第二胶囊式内窥镜图像样本；
第三调用子单元130，其可以被配置为调用判别器对第一胶囊式内窥镜图像样本和第二胶囊式内窥镜图像样本进行判别处理；
训练子单元140，其被配置为根据判别器输出的判别概率来训练编码器和解码/生成器直至判别器输出的判别概率达到预设阈值。训练子单元140具体可以被配置为：将判别概率与预设阈值进行对比；当对比出判别概率与预设阈值不一致时，调整编码器和解码/生成器的网络参数，并且控制第一调用子单元、第二调用子单元和第三调用子单元进行对应的操作(即，控制第一调用子单元调用编码器对第一胶囊式内窥镜图像样本中的每份原始图像数据进行重新编码以生成新的潜在表示，然后控制第二调用子单元调用解码/生成器根据所生成的新的潜在表示来生成新的第二胶囊式内窥镜图像样本，再控制调用判别器对第一胶囊式内窥镜图像样本和新的第二胶囊式内窥镜图像样本进行判别处理)，重复上述过程，直至判别器输出的判别概率达到预设阈值。
关于各个单元的具体描述，可以参照上面方法实施例中对步骤S1和S2的描述，在此不再赘叙。
该装置可以是服务器、电子设备等，也可以是能够基于神经网络进行数据处理的任意装置，在此并不限制。另外，需要说明的是，上述装置中各单元所实现的功能也可以由计算机中的处理器根据存储器中所存储的程序指令来执行。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质上存储有程序指令，该程序指令被执行时可以实现以下功能：利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；以及利用训练后的变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
上述程序指令可以由处理器执行，也可以由其他处理装置执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储介质、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述实施例阐明的装置、单元等，具体可以由计算机芯片和/或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个计算机芯片中实现。
虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。另外，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例是为便于该技术领域的普通技术人员能够理解和使用本申请而描述的。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本申请不限于上述实施例，本领域技术人员根据本申请的揭示，不脱离本申请范畴所做出的改进和修改都应该在本申请的保护范围之内。
Claims (5)
1.一种胶囊式内窥镜图像的生成方法，其特征在于，所述方法包括以下步骤：
S1：利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练，所述变分自编码器-生成对抗网络模型包括编码器、解码/生成器和判别器，所述步骤S1包括以下子步骤：S11：调用所述编码器对所述第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示；S12：调用所述解码/生成器根据所生成的所述潜在表示来获得第二胶囊式内窥镜图像样本，所述第二胶囊式内窥镜图像样本包括与多份所述原始图像数据对应的多份生成图像数据；S13：调用所述判别器对所述第一胶囊式内窥镜图像样本和所述第二胶囊式内窥镜图像样本进行判别处理；S14：根据所述判别器输出的判别概率来训练所述编码器和所述解码/生成器直至所述判别器输出的判别概率达到预设阈值，包括：将所述判别概率与所述预设阈值进行对比，当对比出所述判别概率与所述预设阈值不一致时，调整所述编码器和所述解码/生成器的网络参数，并且重复所述子步骤S11至S13，直至所述判别器输出的判别概率达到所述预设阈值；
S2：利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像；
所述调整所述编码器和所述解码/生成器的网络参数包括：
分别计算所述判别概率与所述第一胶囊式内窥镜图像样本的第一初始权重和所述第二胶囊式内窥镜图像样本的第二初始权重之间的差值；
根据所述判别概率与所述第一初始权重之间的差值调整所述编码器的网络参数以及根据所述判别概率与所述第二初始权重之间的差值调整所述解码/生成器的网络参数。
2.根据权利要求1所述的方法，其特征在于，每份所述生成图像数据均包括变分自编码器中的解码器通过对所述潜在表示进行解码处理而得到的图像数据以及生成对抗网络中的生成器通过对所述潜在表示进行生成处理而得到的图像数据。
3.根据权利要求1所述的方法，其特征在于，所述预设阈值为0.4～0.6。
4.一种胶囊式内窥镜图像的生成装置，其特征在于，所述装置包括：
训练单元，其被配置为利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练，所述变分自编码器-生成对抗网络模型包括编码器、解码/生成器和判别器，所述训练单元包括：第一调用子单元，其被配置为调用所述编码器对所述第一胶囊式内窥镜图像样本中的每份原始图像数据进行编码以生成包含原始图像特征的潜在表示；第二调用子单元，其被配置为调用所述解码/生成器根据所生成的所述潜在表示来获得第二胶囊式内窥镜图像样本；第三调用子单元，其被配置为调用所述判别器对所述第一胶囊式内窥镜图像样本和所述第二胶囊式内窥镜图像样本进行判别处理；训练子单元，其被配置为根据所述判别器输出的判别概率来训练所述编码器和所述解码/生成器直至所述判别器输出的判别概率达到预设阈值，所述训练子单元具体被配置为：将所述判别概率与所述预设阈值进行对比；当对比出所述判别概率与所述预设阈值不一致时，调整所述编码器和所述解码/生成器的网络参数，并且控制所述第一调用子单元、所述第二调用子单元和所述第三调用子单元进行对应的操作，直至所述判别器输出的判别概率达到所述预设阈值；
生成单元，其被配置为利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像；
所述调整所述编码器和所述解码/生成器的网络参数包括：
分别计算所述判别概率与所述第一胶囊式内窥镜图像样本的第一初始权重和所述第二胶囊式内窥镜图像样本的第二初始权重之间的差值；
根据所述判别概率与所述第一初始权重之间的差值调整所述编码器的网络参数以及根据所述判别概率与所述第二初始权重之间的差值调整所述解码/生成器的网络参数。
5.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有程序指令，所述程序指令被执行时实现以下功能如权利要求1～3任一项所述的胶囊式内窥镜图像的生成方法，包括：
利用所获取的第一胶囊式内窥镜图像样本对所构建的变分自编码器-生成对抗网络模型进行训练；
利用训练后的所述变分自编码器-生成对抗网络模型对待测胶囊式内窥镜图像数据进行处理以生成胶囊式内窥镜图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910719838.9A CN110458904B (zh) | 2019-08-06 | 2019-08-06 | 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910719838.9A CN110458904B (zh) | 2019-08-06 | 2019-08-06 | 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458904A CN110458904A (zh) | 2019-11-15 |
| CN110458904B true CN110458904B (zh) | 2023-11-10 |
Family
ID=68485011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910719838.9A Active CN110458904B (zh) | 2019-08-06 | 2019-08-06 | 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458904B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113438481B (zh) * | 2020-03-23 | 2024-04-12 | 富士通株式会社 | 训练方法、图像编码方法、图像解码方法及装置 |
| CN111489802B (zh) * | 2020-03-31 | 2023-07-25 | 重庆金域医学检验所有限公司 | 报告单编码模型生成方法、系统、设备及存储介质 |
| CN113642731A (zh) * | 2020-05-06 | 2021-11-12 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成系统的训练方法及装置 |
| CN111598805A (zh) * | 2020-05-13 | 2020-08-28 | 华中科技大学 | 一种基于vae-gan的对抗样本防御方法及系统 |
| CN111738351B (zh) * | 2020-06-30 | 2023-12-19 | 创新奇智(重庆)科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN114642502B (zh) * | 2022-02-21 | 2023-07-14 | 北京工业大学 | 斜视手术方案的辅助设计方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN109119090A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音处理方法、装置、存储介质及电子设备 |
| CN109584337A (zh) * | 2018-11-09 | 2019-04-05 | 暨南大学 | 一种基于条件胶囊生成对抗网络的图像生成方法 |
| CN109871888A (zh) * | 2019-01-30 | 2019-06-11 | 中国地质大学（武汉） | 一种基于胶囊网络的图像生成方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160147943A1 (en) * | 2014-11-21 | 2016-05-26 | Argo Data Resource Corporation | Semantic Address Parsing Using a Graphical Discriminative Probabilistic Model |
-
2019
- 2019-08-06 CN CN201910719838.9A patent/CN110458904B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN109119090A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音处理方法、装置、存储介质及电子设备 |
| CN109584337A (zh) * | 2018-11-09 | 2019-04-05 | 暨南大学 | 一种基于条件胶囊生成对抗网络的图像生成方法 |
| CN109871888A (zh) * | 2019-01-30 | 2019-06-11 | 中国地质大学（武汉） | 一种基于胶囊网络的图像生成方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 深度学习在图像识别中的应用研究综述;郑远攀等;《计算机工程与应用》;20190419(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458904A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458904B (zh) | 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 | |
| US11507822B2 (en) | Scalable artificial intelligence model generation systems and methods for healthcare | |
| US10733733B1 (en) | Method for detecting anomaly using generative adversarial networks, apparatus and system thereof | |
| Batchelder | Multinomial processing tree models and psychological assessment. | |
| CN109242849A (zh) | 医学图像处理方法、装置、系统和存储介质 | |
| US20210296002A1 (en) | Long short-term memory model-based disease prediction method and apparatus, and computer device | |
| JP7304594B2 (ja) | ディープラーニングモデルを用いた画像診断装置及びその方法 | |
| US11580381B2 (en) | Complex-valued neural network with learnable non-linearities in medical imaging | |
| CN111192660B (zh) | 一种影像报告分析方法、设备及计算机存储介质 | |
| US11823385B2 (en) | Processing fundus images using machine learning models to generate blood-related predictions | |
| CN113850753A (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
| Seetharam et al. | Clinical inference from cardiovascular imaging: paradigm shift towards machine-based intelligent platform | |
| JP7325411B2 (ja) | 心エコー図を分析する方法及び装置 | |
| Rocheteau | On the role of artificial intelligence in psychiatry | |
| CN117034142B (zh) | 一种不平衡医疗数据缺失值填充方法及系统 | |
| KR102562377B1 (ko) | 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템 | |
| Tursynova et al. | Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks. | |
| CN114022480A (zh) | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 | |
| JP7315181B2 (ja) | 探索方法及び情報処理システム | |
| US11308615B1 (en) | Systems and processes for improving medical diagnoses | |
| CN116091963A (zh) | 临床试验机构质量评估方法、装置、电子设备及存储介质 | |
| Gnanasankaran et al. | Amalgamation of deep learning in healthcare systems | |
| CN110706803B (zh) | 一种确定心肌纤维化的方法、装置、可读介质及电子设备 | |
| KR102566890B1 (ko) | 수술 부위 모니터링 방법 및 이를 이용한 디바이스 | |
| CN110807310B (zh) | X光片分析结果的评估方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |