CN117994596A - 基于孪生网络的肠造口图像识别与分类系统 - Google Patents
基于孪生网络的肠造口图像识别与分类系统 Download PDFInfo
- Publication number
- CN117994596A CN117994596A CN202410408179.8A CN202410408179A CN117994596A CN 117994596 A CN117994596 A CN 117994596A CN 202410408179 A CN202410408179 A CN 202410408179A CN 117994596 A CN117994596 A CN 117994596A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- sub
- stoma
- ostomy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000968 intestinal effect Effects 0.000 title abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000011423 initialization method Methods 0.000 claims description 8
- 208000015181 infectious disease Diseases 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000017074 necrotic cell death Effects 0.000 claims description 6
- 206010030113 Oedema Diseases 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 210000002364 input neuron Anatomy 0.000 claims description 4
- 208000028867 ischemia Diseases 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 4
- 206010015866 Extravasation Diseases 0.000 claims description 3
- 230000036251 extravasation Effects 0.000 claims description 3
- 230000036039 immunity Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 11
- 238000000605 extraction Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 208000028774 intestinal disease Diseases 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000000771 oncological effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及基于孪生网络的肠造口图像识别与分类系统。所述系统包括：图像获取装置和孪生识别分类网络；所述图像获取装置，用于获取造口图像和对应的标签，将造口图像进行标准化，通过图像转换的方法生成训练集的镜像训练集；所述孪生识别分类网络，包括两个子网络，在训练阶段，接受两个样本作为输入，然后通过两个子网络分别处理这两个输入，接受未知标签的造口图像作为一个输入，然后从遍历整个训练集，以此完成未知标签的造口图像的分类与识别。本发明有效提高了诊断准确性和效率，降低了诊断成本，具有广泛的临床应用前景。
Description
技术领域
本发明属于图像处理技术领域，具体涉及基于孪生网络的肠造口图像识别与分类系统。
背景技术
随着医疗技术的不断发展，肠造口图像识别与分类系统等医疗辅助工具逐渐成为医学领域中重要的研究方向之一。这些系统通过对肠造口图像进行分析和识别，可以帮助医生快速准确地诊断和治疗肠道疾病，提高了医疗诊断的效率和准确性。
传统的肠造口图像识别与分类技术主要依赖于人工特征提取和模式识别方法。医生需要通过肉眼观察肠造口图像，根据经验判断肠造口的状态，并进行分类识别。然而，这种方法存在一些缺点。首先，人工识别容易受主观因素的影响，不同医生对同一张图像可能会有不同的诊断结果。其次，由于肠造口图像的复杂性和多样性，人工特征提取和模式识别的效率较低，无法满足大规模数据处理和实时诊断的需求。
为了解决传统方法存在的问题，近年来，研究人员开始将深度学习技术应用于肠造口图像识别与分类领域。深度学习技术以其强大的特征学习和模式识别能力，成为了肠造口图像处理的有效工具。其中，孪生网络作为一种重要的深度学习模型，引起了广泛关注。
孪生网络是一种特殊的神经网络结构，其主要特点是两个独立但共享参数的子网络。这两个子网络接受两个输入样本，并分别提取特征，然后通过特征的比较来判断它们是否属于同一类别。相比传统的单一输入模型，孪生网络可以更好地捕获输入样本之间的相似性和差异性，提高了模型的分类性能。然而，目前的肠造口图像识别与分类系统仍然存在一些问题。首先，由于肠造口图像的复杂性和多样性，传统的孪生网络模型在特征提取和分类过程中可能会受到噪声干扰和图像变形的影响，导致分类性能下降。其次，现有的孪生网络模型对于样本数量的要求较高，需要大量的标记数据进行训练，而实际应用中获取大规模标记数据是一项挑战。
因此，为了进一步提高肠造口图像识别与分类系统的性能和稳定性，有必要针对现有技术中存在的问题进行改进和优化。其中，对孪生网络模型的改进和优化是一个重要的研究方向。通过引入更加有效的特征提取方法、增加数据增强技术以及优化网络结构等手段，可以进一步提高系统的分类准确性和鲁棒性，满足临床医学诊断的需求。
发明内容
本发明的主要目的在于提供基于孪生网络的肠造口图像识别与分类系统，有效提高了诊断准确性和效率，降低了诊断成本，具有广泛的临床应用前景。
为解决上述技术问题，本发明提供基于孪生网络的肠造口图像识别与分类系统，所述系统包括：图像获取装置和孪生识别分类网络；所述图像获取装置，用于获取造口图像和对应的标签，将造口图像进行标准化，然后筛除掉重复或模糊度超过设定模糊度阈值的造口图像和对应的标签，构建训练集，然后，通过图像转换的方法生成训练集的镜像训练集；所述镜像训练集和训练集的整体差异度在设定的差异度阈值范围内；在同一个时间步，从训练集和镜像训练集中分别筛选出对应的两个样本，输入到孪生识别分类网络中，对孪生识别分类网络进行训练；所述孪生识别分类网络，包括两个子网络，在训练阶段，接受两个样本作为输入，然后通过两个子网络分别处理这两个输入，提取特征，最后将它们的特征进行比较，以确定它们是否属于同一类别，通过最小化孪生识别分类网络的损失函数，调整孪生识别分类网络的内参，完成孪生识别分类网络的训练；当孪生识别分类网络完成训练后，接受未知标签的造口图像作为一个输入，然后从遍历整个训练集，每次选取一个样本作为另一个输入，最后将它们的特征进行比较，找到与未知标签的造口图像属于同一类别的训练集中的样本，以此完成未知标签的造口图像的分类与识别。
进一步的，所述造口图像的标签种类包括：正常造口、回缩、缺血、水肿、溢出、液化坏死、颜色变化和感染；两个子网络在提取输入的特征时，提取的特征包括：边缘特征、颜色特征和纹理特征。
进一步的，图像获取装置，将造口图像的尺度统一标准化为512像素*512像素；然后将造口图像转换为灰度造口图像；对于每个灰度造口图像，首先通过高斯模糊得到平滑图像/>；然后，通过计算海森矩阵的行列式来检测关键点；对于检测到的关键点，计算其周围区域的Haar小波响应，并形成描述符；描述符中包括关键点的位置、尺度信息以及局部图像梯度信息；对描述符进行归一化处理，以确保特征的尺度和方向不变性；将描述符转换为二进制码，计算二进制码的SimHash值；对不同的造口图像对应的SimHash值进行差异度比较，若差异度在设定的差异阈值范围内，则判断两个造口图像为重复的造口图像，从训练集中筛除掉其中一个造口图像和其对应的标签。
进一步的，通过如下方法，计算模糊度：计算造口图像的像素均值，再根据像素均值，计算像素方差；利用边缘检测算法对造口图像进行处理，以获取边缘信息；根据边缘信息计算边缘像素在整个造口图像中的比例；计算造口图像的各个颜色通道的像素均值；再通过如下公式，计算得到模糊度：
；
其中，为模糊度；/>为像素方差；/>为边缘像素在整个造口图像中的比例；红色通道、绿色通道和蓝色通道的像素均值分别为/>、/>和/>。
进一步的，通过图像转换的方法生成训练集的镜像训练集的方法包括：将训练集表示为，其中/>表示第/>张造口图像；/>为训练集的造口图像的总数量；构建两个生成器网络/>和/>，分别将造口图像对应的域/>映射到镜像图像对应的域/>和将域/>映射到域/>；同时，构建两个判别器网络/>和/>，分别对域/>和域/>中的图像进行判别；生成器网络的目标是使生成的镜像图像在判别器网络中被误判为造口图像；为了确保生成的镜像图像与造口图像保持一致，引入循环一致性损失/>；循环一致性损失的目标是使造口图像经过两个生成器后回到域/>时与造口图像的相似度超过设定的阈值；定义生成器的对抗损失/>和/>分别表示生成器/>和/>欺骗判别器/>和/>的损失；判别器的对抗损失/>表示判别器/>和/>正确识别图像的损失；生成器的总体损失函数为：
；其中，/>是循环一致性损失的权重；使用总体损失函数来交替训练生成器和判别器，直到收敛；对于每张造口图像/>，使用生成器/>生成对应的镜像/>；对于每对造口图像和镜像图像，计算它们之间的差异度，使用结构相似性指数作为差异度度量；仅保留差异度在设定阈值范围内的镜像图像；将通过生成器得到的镜像图像保存为镜像训练集。
进一步的，循环一致性损失使用如下公式进行表示：
其中，/>表示期望值，/>表示训练集中的造口图像分布，/>表示域/>中的造口图像，/>表示域/>中的镜像图像；/>表示一阶l范数；/>表示镜像训练集中的镜像图像分布。
进一步的，孪生识别分类网络的训练过程包括：初始化孪生识别分类网络的参数，这包括权重和偏置；设孪生识别分类网络有l层，第层的权重表示为/>，偏置表示为/>；使用随机初始化的方法来初始化这些参数；对于给定的两个样本组成的样本对/>，两个样本分别取自于训练集和镜像训练集，通过孪生识别分类网络进行前向传播；设孪生识别分类网络有l层，将样本/>和/>分别传递给第一子网络和第二子网络作为输入，输出对应的标签；设网络有l层，前向传播的过程表示为:
；
其中，和/>分别是两个样本/>和/>的像素值；/>和/>是第/>层两个子网络的激活输出；/>和/>分别表示第一子网络和第二子网络在第/>层的加权输入；加权输入是指神经元的输入加权和，其中权重由/>和/>表示，偏置由/>和/>表示；/>和分别表示第一子网络和第二子网络在第/>层的激活输出；激活输出是指经过激活函数/>处理后的神经元输出；/>和/>分别表示第一子网络和第二子网络的输入；/>和/>分别表示子第一子网络和子第二子网络在第/>层的权重；权重用于将上一层的激活值与当前层的神经元连接起来；/>和/>分别表示子第一子网络和子第二子网络在第/>层的偏置；偏置用于调整每个神经元的激活阈值，以便拟合训练数据；/>表示激活函数，用于引入非线性特性；接下来计算孪生分类网络的损失函数;设有/>个样本对，每个样本对包含一对样本/>和对应的标签/>；损失函数使用如下公式进行表示：
；
其中，是两个子网络输出的标签拼接得到的组合结果；通过反向传播算法来计算损失函数对网络参数的梯度；分别计算每个子网络的梯度，并使用这些梯度来更新对应的网络参数。
进一步的，使用如下公式，分别计算每个子网络的梯度：
；
其中，为两个子网络输出的组合结果的集合；使用如下公式，通过梯度下降优化算法，更新两个子网络的参数：
;
其中，为更新后的第一子网络的权重，/>为更新后的第一子网络的偏置；/>为更新后的第二子网络的权重，/>为更新后的第二子网络的偏置；/>为学习率。
进一步的，通过如下公式，使用随机初始化的方法来初始化权重和偏置：
；
；
其中，是第/>层的输入神经元数量，/>是第/>层的输出神经元数量；/>表示在/>区间均匀分布的随机数。
本发明的基于孪生网络的肠造口图像识别与分类系统，具有以下有益效果：首先，通过图像获取装置对造口图像进行标准化处理，并利用数据增强技术生成镜像训练集，有效地扩充了训练数据，提高了系统的训练效果和泛化能力。这样的处理方式不仅增加了系统对不同图像的适应性，还有助于提高系统的鲁棒性，减少了因数据不平衡和样本稀缺导致的识别错误。其次，本发明采用了孪生识别分类网络作为核心模型，利用两个子网络分别处理输入的造口图像，提取特征并进行比较，从而实现对造口图像的识别和分类。孪生网络的设计使得系统能够在训练阶段充分利用镜像训练集的信息，提高了网络的泛化能力和分类准确性。此外，通过循环一致性损失的引入，还进一步提升了网络的稳定性和鲁棒性，降低了过拟合的风险。此外，本发明还结合了模糊度计算方法和边缘检测算法，对造口图像进行预处理，有效地筛除了模糊度较高的图像，提高了图像的质量和清晰度。同时，通过边缘检测算法获取图像的边缘信息，有助于提取图像的结构特征，为后续的特征提取和分类提供了重要参考。本发明的肠造口图像识别与分类系统通过创新性地引入了多项关键技术，如数据增强、孪生网络、模糊度计算和边缘检测等，克服了传统方法中存在的诊断准确性低、效率低、成本高等问题，取得了诸多有益效果。这些有益效果不仅提升了系统在医学诊断领域的应用价值，还为医生提供了更可靠、高效的诊断工具，有助于提高医疗服务的质量和效率，进而造福更多患者。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于孪生网络的肠造口图像识别与分类系统的系统结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1：参考图1，基于孪生网络的肠造口图像识别与分类系统，所述系统包括：图像获取装置和孪生识别分类网络；所述图像获取装置，用于获取造口图像和对应的标签，将造口图像进行标准化，然后筛除掉重复或模糊度超过设定模糊度阈值的造口图像和对应的标签，构建训练集，然后，通过图像转换的方法生成训练集的镜像训练集；所述镜像训练集和训练集的整体差异度在设定的差异度阈值范围内；在同一个时间步，从训练集和镜像训练集中分别筛选出对应的两个样本，输入到孪生识别分类网络中，对孪生识别分类网络进行训练；所述孪生识别分类网络，包括两个子网络，在训练阶段，接受两个样本作为输入，然后通过两个子网络分别处理这两个输入，提取特征，最后将它们的特征进行比较，以确定它们是否属于同一类别，通过最小化孪生识别分类网络的损失函数，调整孪生识别分类网络的内参，完成孪生识别分类网络的训练；当孪生识别分类网络完成训练后，接受未知标签的造口图像作为一个输入，然后从遍历整个训练集，每次选取一个样本作为另一个输入，最后将它们的特征进行比较，找到与未知标签的造口图像属于同一类别的训练集中的样本，以此完成未知标签的造口图像的分类与识别。
具体的，通过相应的图像采集设备（如摄像头或医学影像设备），获取肠造口图像。这些图像可能来自不同的源，例如医院内部的内窥镜、X光或MRI扫描等。图像采集的质量和清晰度对后续的处理和分析至关重要。肠道是人体内部解剖结构中较为复杂的一部分，其内部包含大量的组织、器官和血管等结构。在肠造口图像中，需要区分和识别不同的组织结构，包括肠管、肠黏膜、黏膜下层、肠壁等，这对于诊断和治疗具有重要意义。肠道的状态和形态可能会受到多种因素的影响，包括疾病、手术操作等。因此，肠造口图像可能会呈现出各种不同的形态和状态，如正常、炎症、溃疡、肿瘤等，这需要图像处理系统具有良好的泛化能力，能够适应不同情况下的图像特征。肠道的形态可能会因为手术造口的位置和方式不同而产生多样性。有的造口位置可能较为特殊，造成图像中特定区域的形态变化，这需要图像处理系统具有一定的鲁棒性，能够识别不同造口位置的图像特征。在拍摄肠造口图像时，光照条件和对比度可能会受到环境的影响，造成图像的亮度、色彩等方面的变化。因此，图像处理系统需要具有一定的自适应能力，能够处理不同光照条件下的图像数据。由于肠道内部结构复杂，图像可能会出现模糊和噪声，影响图像的清晰度和质量。因此，在图像处理过程中，需要采用相应的方法进行图像去噪和增强，以提高图像的可用性和诊断准确性。
孪生学习的核心思想是通过两个相似的网络共同学习输入数据的表示，然后通过比较这两个表示的相似度来进行分类、检索或匹配等任务。在孪生识别分类网络中，通常有两个完全相同或非常相似的子网络，每个子网络接受一个输入样本，并生成一个特征向量，这两个特征向量之间的距离可以用来衡量两个样本的相似度。孪生识别分类网络包含两个子网络，它们通常具有相同的网络结构和参数。这两个子网络可以是卷积神经网络（CNN）、循环神经网络（RNN）或者全连接神经网络（DNN）等结构，具体根据任务和数据类型来选择。两个子网络独立地处理两个输入样本，并将它们映射到一个共同的特征空间。在训练阶段，每个子网络将输入样本映射到一个低维特征空间中。这个特征空间的维度通常要比原始数据的维度低，但保留了输入数据的重要特征。特征提取的过程使得网络能够更好地捕捉到数据的抽象特征，从而提高分类的准确性和泛化能力。在孪生网络的训练中，通常采用对比损失函数来衡量两个样本之间的相似度。对比损失通常定义为两个相似样本的特征向量之间的距离，目标是最小化同类样本之间的距离，并最大化异类样本之间的距离，从而使得网络能够更好地区分不同类别的样本。在训练过程中，网络通过反向传播算法不断调整参数，使得对比损失逐渐减小，从而提高网络的分类性能。训练过程通常采用随机梯度下降（SGD）或其变种来优化网络参数，直到达到预先设定的停止条件为止。首先，将未知标签的肠造口图像输入到经过训练的孪生识别分类网络中的一个子网络中，该子网络将提取出该图像的特征向量。这个特征向量反映了该图像在训练过程中学到的抽象特征，具有表征图像内容的能力。接下来，在分类与识别过程中，需要从整个训练集中选择与未知标签图像相似的样本作为参考。这个过程通常采用动态样本选择的方法，即在每次迭代中选择一个训练集中的样本，然后将其特征与未知标签图像的特征进行比较，以衡量它们之间的相似度。将未知标签图像的特征向量与训练集中的样本特征向量进行比较，常用的方法是计算它们之间的距离或相似度。常见的距离度量包括欧氏距离、曼哈顿距离、余弦相似度等，距离越小或相似度越大，则表明两个样本越相似。对于未知标签图像，将其特征向量与训练集中的每个样本特征向量进行比较，找到与之最相似的样本。根据最相似样本的标签，对未知标签图像进行分类，将其归为与最相似样本相同的类别。最终，将未知标签图像归类到与其最相似的训练集样本所属的类别中，输出分类结果。如果训练集中存在多个与未知标签图像相似的样本，可以采用多数投票或加权投票的方式确定最终的分类结果。
实施例2：所述造口图像的标签种类包括：正常造口、回缩、缺血、水肿、溢出、液化坏死、颜色变化和感染；两个子网络在提取输入的特征时，提取的特征包括：边缘特征、颜色特征和纹理特征。
具体的，正常造口：指肠道造口情况正常，无异常情况。回缩：指造口部位出现了萎缩、收缩的情况。缺血：指造口部位血液供应不足，出现缺血状态。水肿：指造口周围组织出现液体潴留，造成肿胀的情况。溢出：指造口处分泌物过多，溢出造口的情况。液化坏死：指造口处组织发生液化性坏死的情况。颜色变化：指造口周围组织颜色出现异常变化的情况。感染：指造口处发生感染的情况，可能伴有炎症等症状。边缘特征：指造口图像中的边界或轮廓特征，包括造口的形状、边缘的清晰度等。边缘特征可以帮助识别和区分不同的造口情况，如回缩、溢出等。颜色特征：指造口图像中的颜色信息，包括造口周围组织的颜色分布、颜色的亮度、饱和度等。颜色特征对于识别颜色变化、水肿、感染等情况具有重要意义。纹理特征：指造口图像中的纹理信息，包括组织的纹理、纹理的复杂度、纹理的均匀性等。纹理特征可以帮助识别溶液坏死、感染等情况，因为这些情况通常伴随着组织纹理的改变。
实施例3：图像获取装置，将造口图像的尺度统一标准化为512像素*512像素；然后将造口图像转换为灰度造口图像；对于每个灰度造口图像，首先通过高斯模糊得到平滑图像/>；然后，通过计算海森矩阵的行列式来检测关键点；对于检测到的关键点，计算其周围区域的Haar小波响应，并形成描述符；描述符中包括关键点的位置、尺度信息以及局部图像梯度信息；对描述符进行归一化处理，以确保特征的尺度和方向不变性；将描述符转换为二进制码，计算二进制码的SimHash值；对不同的造口图像对应的SimHash值进行差异度比较，若差异度在设定的差异阈值范围内，则判断两个造口图像为重复的造口图像，从训练集中筛除掉其中一个造口图像和其对应的标签。
具体的，肠造口图像的预处理是实施例3中的第一步，图像获取装置首先将图像的尺度统一标准化为512像素*512像素，以便后续处理。接着，将图像转换为灰度图像，这样可以简化图像处理过程，并减少计算量。然后，对灰度造口图像进行高斯模糊处理，得到平滑图像。高斯模糊有助于减少图像中的噪声和细节，使得后续的特征提取更加稳定。接下来，图像获取装置利用海森矩阵检测图像中的关键点。海森矩阵能够描述图像中的二阶微分信息，从而检测出图像中的边缘和角点等重要特征点。对于检测到的关键点，装置计算其周围区域的Haar小波响应，并形成描述符。Haar小波响应可以有效地描述图像的局部特征，包括边缘和纹理等信息。随后，图像获取装置对形成的描述符进行归一化处理，以确保特征的尺度和方向不变性。这一步骤对于提高特征的鲁棒性非常重要，使得描述符能够对图像的缩放和旋转具有一定的容忍性。最后，将归一化后的描述符转换为二进制码，并计算二进制码的SimHash值。SimHash是一种哈希函数，能够将高维特征映射到低维空间，并保留特征之间的相似性，这样可以在较低的维度上快速计算特征之间的差异。最后一步是利用SimHash值进行重复图像的筛除。图像获取装置对不同造口图像对应的SimHash值进行差异度比较，如果差异度在设定的阈值范围内，则判断这两个造口图像为重复的图像。在这种情况下，装置将从训练集中筛除其中一个图像及其对应的标签，以保证训练集的多样性和准确性。
实施例4：通过如下方法，计算模糊度：计算造口图像的像素均值，再根据像素均值，计算像素方差；利用边缘检测算法对造口图像进行处理，以获取边缘信息；根据边缘信息计算边缘像素在整个造口图像中的比例；计算造口图像的各个颜色通道的像素均值；再通过如下公式，计算得到模糊度：
；
其中，为模糊度；/>为像素方差；/>为边缘像素在整个造口图像中的比例；红色通道、绿色通道和蓝色通道的像素均值分别为/>、/>和/>。
具体的，首先，对于给定的造口图像，需要计算其像素均值和像素方差。像素均值代表了图像的整体亮度水平，而像素方差则反映了图像像素之间的分布情况，包括图像的清晰度和对比度等信息。通过这两个统计量，可以初步了解图像的特征。其次，利用边缘检测算法对造口图像进行处理，以获取图像中的边缘信息。边缘信息对于评估图像的清晰度和结构特征至关重要，因为边缘可以反映物体的轮廓和结构。通过边缘检测，可以得到图像中边缘像素的分布情况。接下来，根据边缘信息计算边缘像素在整个造口图像中的比例。这个比例可以反映图像中边缘的密度和分布情况，通常情况下，图像的清晰度与边缘像素的比例成正比关系，即边缘像素比例越高，图像越清晰。然后，计算造口图像的红色通道、绿色通道和蓝色通道的像素均值。颜色通道的像素均值反映了图像中不同颜色的分布情况，这对于评估图像的色彩信息至关重要。通过计算各个通道的像素均值，可以了解图像中各种颜色的分布情况。最后，根据给定的公式计算模糊度。这个公式综合考虑了像素方差、边缘像素比例和颜色通道的像素均值等因素，通过对这些因素进行加权平均得到最终的模糊度值。模糊度值越高，则代表图像越模糊，反之则代表图像越清晰。
实施例5：通过图像转换的方法生成训练集的镜像训练集的方法包括：将训练集表示为，其中/>表示第/>张造口图像；/>为训练集的造口图像的总数量；构建两个生成器网络/>和/>，分别将造口图像对应的域/>映射到镜像图像对应的域/>和将域/>映射到域/>；同时，构建两个判别器网络/>和/>，分别对域/>和域/>中的图像进行判别；生成器网络的目标是使生成的镜像图像在判别器网络中被误判为造口图像；为了确保生成的镜像图像与造口图像保持一致，引入循环一致性损失/>；循环一致性损失的目标是使造口图像经过两个生成器后回到域/>时与造口图像的相似度超过设定的阈值；定义生成器的对抗损失/>和/>分别表示生成器/>和/>欺骗判别器和/>的损失；判别器的对抗损失/>表示判别器/>和/>正确识别图像的损失；生成器的总体损失函数为：
；其中，/>是循环一致性损失的权重；使用总体损失函数来交替训练生成器和判别器，直到收敛；对于每张造口图像/>，使用生成器/>生成对应的镜像/>；对于每对造口图像和镜像图像，计算它们之间的差异度，使用结构相似性指数作为差异度度量；仅保留差异度在设定阈值范围内的镜像图像；将通过生成器得到的镜像图像保存为镜像训练集。
具体的，实施例5描述了一种利用生成器网络和判别器网络生成镜像训练集的方法，该方法通过对造口图像进行转换和判别，实现了从原始域到镜像域的转换，从而扩充了训练数据。首先，将训练集中的造口图像表示为，其中/>表示第/>张造口图像，/>为训练集的总数量。接着，通过构建两个生成器网络/>和/>来实现造口图像与镜像图像之间的相互转换。/>负责将造口图像的域/>映射到镜像图像的域/>，而/>则负责将镜像图像的域/>映射回造口图像的域/>。同时，构建两个判别器网络/>和/>，它们分别对域/>和域/>中的图像进行判别。判别器的任务是区分生成的镜像图像和真实的造口图像，以及辨别生成器生成的图像是否符合原始图像的特征。生成器网络的目标是生成的镜像图像能够在判别器网络中被误判为真实造口图像。为了保证生成的镜像图像与真实造口图像保持一致，引入了循环一致性损失/>。这个损失函数的目标是使得造口图像经过/>和/>后回到原始域时与真实造口图像的相似度超过设定的阈值，从而保持了图像的一致性和真实性。在训练过程中，还引入了生成器的对抗损失和判别器的对抗损失。生成器的对抗损失/>和/>分别表示生成器/>和/>欺骗判别器和/>的损失，判别器的对抗损失/>表示判别器/>和/>正确识别图像的损失。这些损失函数相互作用，促使生成器和判别器之间达到动态平衡。最后，通过总体损失函数/>来交替训练生成器和判别器，直到达到收敛状态。对于每张造口图像/>，使用生成器/>生成对应的镜像/>。然后计算每对造口图像和镜像图像之间的差异度，使用结构相似性指数作为差异度度量，仅保留差异度在设定阈值范围内的镜像图像，并将这些图像保存为镜像训练集。综上所述，实施例5通过生成器网络和判别器网络实现了造口图像与镜像图像之间的相互转换和判别，从而生成了镜像训练集。这种方法有效地扩充了训练数据，提高了模型的泛化能力和性能，对于图像识别和分析任务具有重要意义。
实施例6：循环一致性损失使用如下公式进行表示：
其中，/>表示期望值，/>表示训练集中的造口图像分布，/>表示域/>中的造口图像，/>表示域/>中的镜像图像；/>表示一阶l范数；/>表示镜像训练集中的镜像图像分布。
具体的，首先，公式中的第一部分损失的作用是衡量从域/>到域/>再回到域/>的图像转换过程中的像素级别差异。通过计算生成器/>将图像/>转换为域/>后再通过生成器/>转换回域/>得到的图像与原始图像/>之间的一阶/>范数距离，可以评估转换后的图像与原始图像之间的差异程度。这有助于确保转换后的图像在视觉上与原始图像尽可能保持一致，从而提高了图像域转换的质量和准确性。第二部分损失的作用与第一部分类似，不同之处在于它衡量了从域/>到域/>再回到域/>的图像转换过程中的像素级别差异。通过计算生成器/>将图像/>转换为域/>后再通过生成器/>转换回域/>得到的图像与原始镜像图像/>之间的一阶/>范数距离，可以评估转换后的图像与原始镜像图像之间的差异程度。综合考虑两部分损失，公式中的期望值和/>表示了对整个数据分布的损失计算，这有助于确保损失在整个数据集上的平均水平。这样的设计使得模型在训练过程中能够更好地学习到图像域之间的映射关系，提高了模型的泛化能力和转换效果。
实施例7：孪生识别分类网络的训练过程包括：初始化孪生识别分类网络的参数，这包括权重和偏置；设孪生识别分类网络有l层，第层的权重表示为/>，偏置表示为/>；使用随机初始化的方法来初始化这些参数；对于给定的两个样本组成的样本对/>，两个样本分别取自于训练集和镜像训练集，通过孪生识别分类网络进行前向传播；设孪生识别分类网络有l层，将样本/>和/>分别传递给第一子网络和第二子网络作为输入，输出对应的标签；设网络有l层，前向传播的过程表示为:
；
其中，和/>分别是两个样本/>和/>的像素值；/>和/>是第/>层两个子网络的激活输出；/>和/>分别表示第一子网络和第二子网络在第/>层的加权输入；加权输入是指神经元的输入加权和，其中权重由/>和/>表示，偏置由/>和/>表示；/>和/>分别表示第一子网络和第二子网络在第/>层的激活输出；激活输出是指经过激活函数/>处理后的神经元输出；/>和/>分别表示第一子网络和第二子网络的输入；/>和/>分别表示子第一子网络和子第二子网络在第/>层的权重；权重用于将上一层的激活值与当前层的神经元连接起来；/>和/>分别表示子第一子网络和子第二子网络在第/>层的偏置；偏置用于调整每个神经元的激活阈值，以便拟合训练数据；/>表示激活函数，用于引入非线性特性；接下来计算孪生分类网络的损失函数;设有/>个样本对，每个样本对包含一对样本和对应的标签/>；损失函数使用如下公式进行表示：
；
其中，是两个子网络输出的标签拼接得到的组合结果；通过反向传播算法来计算损失函数对网络参数的梯度；分别计算每个子网络的梯度，并使用这些梯度来更新对应的网络参数。
具体的，首先，孪生识别分类网络由两个子网络组成，每个子网络负责处理一个输入样本。在训练开始时，网络的参数（包括权重和偏置）被随机初始化。这两个子网络共享相同的参数，在训练过程中通过权重更新来学习输入数据的特征表示。其次，在前向传播阶段，输入样本对分别被传递给两个子网络。网络的每一层通过加权求和和非线性变换来处理输入，并生成每一层的激活输出/>。在实施例7中，网络被表示为具有/>层的结构，每层的权重和偏置分别为/>和/>。激活函数/>则引入了非线性特征，使网络能够学习复杂的数据表示。接着是损失函数的计算。实施例7采用了交叉熵损失函数，用于衡量网络输出与真实标签之间的差距。对于每个样本对/>，其真实标签为/>，而网络输出的预测结果/>是两个子网络输出的标签拼接得到的结果。通过对比预测结果与真实标签，计算损失函数/>，其目标是使预测结果尽可能接近真实标签。最后，采用反向传播算法计算损失函数对网络参数的梯度，并利用梯度下降等优化算法来更新参数。在反向传播过程中，首先计算损失函数对每个子网络参数的梯度，然后根据梯度值对相应的参数进行调整。通过迭代优化过程，网络逐渐学习到适合任务的特征表示，并根据损失函数的反馈进行参数更新，以提高网络在图像识别与分类任务中的性能和准确性。
实施例8：使用如下公式，分别计算每个子网络的梯度：
；
其中，为两个子网络输出的组合结果的集合；使用如下公式，通过梯度下降优化算法，更新两个子网络的参数：
;
其中，为更新后的第一子网络的权重，/>为更新后的第一子网络的偏置；/>为更新后的第二子网络的权重，/>为更新后的第二子网络的偏置；/>为学习率。
具体的，首先，损失函数对第一个子网络第/>层加权输入/>的梯度可以通过链式法则计算得到，表示为/>。其中，/>表示损失函数/>对网络输出结果/>的梯度，而/>表示网络输出结果/>对第一个子网络第/>层加权输入/>的梯度。接着，利用计算得到的梯度，分别计算损失函数/>对第一个子网络第/>层权重/>和偏置/>的梯度，表示为/>和/>。这里采用的是求平均的方式，即将每个样本对的梯度相加后除以样本对的总数量。同样地，损失函数/>对第二个子网络第/>层加权输入/>的梯度也可以类似地通过链式法则计算得到，表示为/>。其中，/>表示损失函数/>对网络输出结果/>的梯度，而/>表示网络输出结果/>对第二个子网络第/>层加权输入/>的梯度。接下来，利用计算得到的梯度，同样分别计算损失函数/>对第二个子网络第/>层权重/>和偏置/>的梯度，表示为和/>。最后，利用梯度下降优化算法来更新网络参数。根据梯度下降规则，将每个参数的当前值减去其对应的梯度乘以学习率/>，得到更新后的参数值。更新后的参数值分别表示为/>和/>，以及/>和/>。这样就完成了一次参数更新的过程。总的来说，实施例8通过计算损失函数对每个子网络的梯度，并利用梯度下降优化算法来更新网络参数，实现了对孪生识别分类网络的训练过程。这一过程不断迭代，直到损失函数收敛，网络参数达到最优值，从而实现了网络对图像识别与分类任务的准确性提升。
实施例9：通过如下公式，使用随机初始化的方法来初始化权重和偏置：
；
；
其中，是第/>层的输入神经元数量，/>是第/>层的输出神经元数量；/>表示在/>区间均匀分布的随机数。
具体的，首先，权重的初始化采用了随机初始化的方法。根据公式，权重/>的取值范围是由/>到/>，其中/>是第/>层的输入神经元数量，/>是第/>层的输出神经元数量。这里使用了均匀分布/>，表示在区间/>内均匀分布的随机数。这样做的目的是使得权重的初始值不会过大或过小，从而避免了梯度消失或爆炸的问题，有助于加速网络的收敛。其次，偏置/>的初始化为常数0。这是因为偏置通常用于调整神经元的激活阈值，初始值设为0是一个合理的选择，因为在开始阶段，神经元的激活阈值可以初始化为一个中性值，而具体的偏置值会在训练过程中通过反向传播进行调整。综上所述，实施例9的原理是通过随机初始化方法来初始化神经网络的权重，使其初始值在合理的范围内，并将偏置初始化为0。这样的初始化方式有助于避免梯度消失或爆炸的问题，提高了神经网络训练的稳定性和收敛速度。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (9)
1.基于孪生网络的肠造口图像识别与分类系统，其特征在于，所述系统包括：图像获取装置和孪生识别分类网络；所述图像获取装置，用于获取造口图像和对应的标签，将造口图像进行标准化，然后筛除掉重复或模糊度超过设定模糊度阈值的造口图像和对应的标签，构建训练集，然后，通过图像转换的方法生成训练集的镜像训练集；所述镜像训练集和训练集的整体差异度在设定的差异度阈值范围内；在同一个时间步，从训练集和镜像训练集中分别筛选出对应的两个样本，输入到孪生识别分类网络中，对孪生识别分类网络进行训练；所述孪生识别分类网络，包括两个子网络，在训练阶段，接受两个样本作为输入，然后通过两个子网络分别处理这两个输入，提取特征，最后将它们的特征进行比较，以确定它们是否属于同一类别，通过最小化孪生识别分类网络的损失函数，调整孪生识别分类网络的内参，完成孪生识别分类网络的训练；当孪生识别分类网络完成训练后，接受未知标签的造口图像作为一个输入，然后从遍历整个训练集，每次选取一个样本作为另一个输入，最后将它们的特征进行比较，找到与未知标签的造口图像属于同一类别的训练集中的样本，以此完成未知标签的造口图像的分类与识别。
2.如权利要求1所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，所述造口图像的标签种类包括：正常造口、回缩、缺血、水肿、溢出、液化坏死、颜色变化和感染；两个子网络在提取输入的特征时，提取的特征包括：边缘特征、颜色特征和纹理特征。
3.如权利要求2所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，图像获取装置，将造口图像的尺度统一标准化为512像素*512像素；然后将造口图像转换为灰度造口图像；对于每个灰度造口图像，首先通过高斯模糊得到平滑图像/>；然后，通过计算海森矩阵的行列式来检测关键点；对于检测到的关键点，计算其周围区域的Haar小波响应，并形成描述符；描述符中包括关键点的位置、尺度信息以及局部图像梯度信息；对描述符进行归一化处理，以确保特征的尺度和方向不变性；将描述符转换为二进制码，计算二进制码的SimHash值；对不同的造口图像对应的SimHash值进行差异度比较，若差异度在设定的差异阈值范围内，则判断两个造口图像为重复的造口图像，从训练集中筛除掉其中一个造口图像和其对应的标签。
4.如权利要求3所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，通过如下方法，计算模糊度：计算造口图像的像素均值，再根据像素均值，计算像素方差；利用边缘检测算法对造口图像进行处理，以获取边缘信息；根据边缘信息计算边缘像素在整个造口图像中的比例；计算造口图像的各个颜色通道的像素均值；再通过如下公式，计算得到模糊度：
；
其中，为模糊度；/>为像素方差；/>为边缘像素在整个造口图像中的比例；红色通道、绿色通道和蓝色通道的像素均值分别为/>、/>和/>。
5.如权利要求4所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，通过图像转换的方法生成训练集的镜像训练集的方法包括：将训练集表示为，其中/>表示第/>张造口图像；/>为训练集的造口图像的总数量；构建两个生成器网络/>和/>，分别将造口图像对应的域/>映射到镜像图像对应的域/>和将域/>映射到域/>；同时，构建两个判别器网络/>和/>，分别对域/>和域/>中的图像进行判别；生成器网络的目标是使生成的镜像图像在判别器网络中被误判为造口图像；为了确保生成的镜像图像与造口图像保持一致，引入循环一致性损失/>；循环一致性损失的目标是使造口图像经过两个生成器后回到域/>时与造口图像的相似度超过设定的阈值；定义生成器的对抗损失和/>分别表示生成器/>和/>欺骗判别器/>和/>的损失；判别器的对抗损失/>表示判别器/>和/>正确识别图像的损失；生成器的总体损失函数为：
；其中，/>是循环一致性损失的权重；使用总体损失函数来交替训练生成器和判别器，直到收敛；对于每张造口图像/>，使用生成器/>生成对应的镜像/>；对于每对造口图像和镜像图像，计算它们之间的差异度，使用结构相似性指数作为差异度度量；仅保留差异度在设定阈值范围内的镜像图像；将通过生成器得到的镜像图像保存为镜像训练集。
6.如权利要求5所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，循环一致性损失使用如下公式进行表示：
其中，/>表示期望值，/>表示训练集中的造口图像分布，/>表示域/>中的造口图像，/>表示域/>中的镜像图像；/>表示一阶l范数；/>表示镜像训练集中的镜像图像分布。
7.如权利要求6所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，孪生识别分类网络的训练过程包括：初始化孪生识别分类网络的参数，这包括权重和偏置；设孪生识别分类网络有l层，第层的权重表示为/>，偏置表示为/>；使用随机初始化的方法来初始化这些参数；对于给定的两个样本组成的样本对/>，两个样本分别取自于训练集和镜像训练集，通过孪生识别分类网络进行前向传播；设孪生识别分类网络有l层，将样本/>和/>分别传递给第一子网络和第二子网络作为输入，输出对应的标签；设网络有l层，前向传播的过程表示为：
；
其中，和/>分别是两个样本/>和/>的像素值；/>和/>是第/>层两个子网络的激活输出；/>和/>分别表示第一子网络和第二子网络在第/>层的加权输入；加权输入是指神经元的输入加权和，其中权重由/>和/>表示，偏置由/>和/>表示；/>和/>分别表示第一子网络和第二子网络在第/>层的激活输出；激活输出是指经过激活函数/>处理后的神经元输出；/>和/>分别表示第一子网络和第二子网络的输入；/>和/>分别表示子第一子网络和子第二子网络在第/>层的权重；权重用于将上一层的激活值与当前层的神经元连接起来；/>和/>分别表示子第一子网络和子第二子网络在第/>层的偏置；偏置用于调整每个神经元的激活阈值，以便拟合训练数据；/>表示激活函数，用于引入非线性特性；接下来计算孪生分类网络的损失函数;设有/>个样本对，每个样本对包含一对样本和对应的标签/>；损失函数使用如下公式进行表示：
；
其中，是两个子网络输出的标签拼接得到的组合结果；通过反向传播算法来计算损失函数对网络参数的梯度；分别计算每个子网络的梯度，并使用这些梯度来更新对应的网络参数。
8.如权利要求7所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，使用如下公式，分别计算每个子网络的梯度：
；
其中，为两个子网络输出的组合结果的集合；使用如下公式，通过梯度下降优化算法，更新两个子网络的参数：
;
其中，为更新后的第一子网络的权重，/>为更新后的第一子网络的偏置；为更新后的第二子网络的权重，/>为更新后的第二子网络的偏置；/>为学习率。
9.如权利要求8所述的基于孪生网络的肠造口图像识别与分类系统，其特征在于，通过如下公式，使用随机初始化的方法来初始化权重和偏置：
；
；
其中，是第/>层的输入神经元数量，/>是第/>层的输出神经元数量；/>表示在区间均匀分布的随机数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410408179.8A CN117994596B (zh) | 2024-04-07 | 2024-04-07 | 基于孪生网络的肠造口图像识别与分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410408179.8A CN117994596B (zh) | 2024-04-07 | 2024-04-07 | 基于孪生网络的肠造口图像识别与分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994596A true CN117994596A (zh) | 2024-05-07 |
| CN117994596B CN117994596B (zh) | 2024-06-04 |
Family
ID=90901139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410408179.8A Active CN117994596B (zh) | 2024-04-07 | 2024-04-07 | 基于孪生网络的肠造口图像识别与分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994596B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100246939A1 (en) * | 2008-08-26 | 2010-09-30 | Kazuki Aisaka | Image Processing Apparatus and Method, Learning Apparatus and Method, and Program |
| CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
| CN111915571A (zh) * | 2020-07-10 | 2020-11-10 | 云南电网有限责任公司带电作业分公司 | 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备 |
| CN113326745A (zh) * | 2021-05-13 | 2021-08-31 | 青岛大学附属医院 | 一种通过图像识别技术判识造口情况应用系统 |
| US20220108440A1 (en) * | 2018-12-20 | 2022-04-07 | Coloplast A/S | Ostomy condition classification with masking, devices and related methods |
| CN114973098A (zh) * | 2022-06-13 | 2022-08-30 | 乐知未来科技(深圳)有限公司 | 一种基于深度学习的短视频去重方法 |
| CN116168221A (zh) * | 2023-04-25 | 2023-05-26 | 中国人民解放军火箭军工程大学 | 基于Transformer的跨模态图像匹配定位方法及装置 |
-
2024
- 2024-04-07 CN CN202410408179.8A patent/CN117994596B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100246939A1 (en) * | 2008-08-26 | 2010-09-30 | Kazuki Aisaka | Image Processing Apparatus and Method, Learning Apparatus and Method, and Program |
| CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
| US20220108440A1 (en) * | 2018-12-20 | 2022-04-07 | Coloplast A/S | Ostomy condition classification with masking, devices and related methods |
| CN111915571A (zh) * | 2020-07-10 | 2020-11-10 | 云南电网有限责任公司带电作业分公司 | 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备 |
| CN113326745A (zh) * | 2021-05-13 | 2021-08-31 | 青岛大学附属医院 | 一种通过图像识别技术判识造口情况应用系统 |
| CN114973098A (zh) * | 2022-06-13 | 2022-08-30 | 乐知未来科技(深圳)有限公司 | 一种基于深度学习的短视频去重方法 |
| CN116168221A (zh) * | 2023-04-25 | 2023-05-26 | 中国人民解放军火箭军工程大学 | 基于Transformer的跨模态图像匹配定位方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 高鹏: "基于局部特征的复杂场景下行人重识别", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, 15 February 2023 (2023-02-15), pages 138 - 1978 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117994596B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105917353B (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
| Kudva et al. | Automation of detection of cervical cancer using convolutional neural networks | |
| SG190730A1 (en) | Method and an apparatus for determining vein patterns from a colour image | |
| CN107516312A (zh) | 一种应用浅层神经网络的中医面色自动分类方法 | |
| CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| CN108427963B (zh) | 一种基于深度学习的黑色素瘤皮肤病的分类识别方法 | |
| CN113256641A (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| Liu et al. | Gastric pathology image recognition based on deep residual networks | |
| Liang et al. | Genetic programming for evolving figure-ground segmentors from multiple features | |
| Sharkas | A neural network based approach for iris recognition based on both eyes | |
| Reddy | Effective CNN-MSO method for brain tumor detection and segmentation | |
| Liu et al. | Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation | |
| Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
| CN115393239A (zh) | 一种多模态眼底图像配准和融合方法及系统 | |
| Afshar et al. | Lung tumor area recognition in CT images based on Gustafson-Kessel clustering | |
| Zhao | Skin cancer classification based on convolutional neural networks and vision transformers | |
| CN117994596B (zh) | 基于孪生网络的肠造口图像识别与分类系统 | |
| Codella et al. | Segmentation of both diseased and healthy skin from clinical photographs in a primary care setting | |
| CN110428405A (zh) | 一种检测生物组织图像中肿块的方法、相应设备及介质 | |
| Alves et al. | The challenges of applying deep learning for hemangioma lesion segmentation | |
| Ding et al. | Segmentation algorithm of medical exercise rehabilitation image based on HFCNN and IoT | |
| Widodo et al. | Improved accuracy in detection of lung cancer using self organizing map | |
| CN115619706A (zh) | 一种基于深度学习的肺结节检测方法 | |
| Bernart et al. | Macroscopic pigmented skin lesion prescreening | |
| Liu et al. | Automatic Lung Parenchyma Segmentation of CT Images Based on Matrix Grey Incidence. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |