CN117726624B - 一种视频流下实时腺样体病变智能识别评估方法及装置 - Google Patents
一种视频流下实时腺样体病变智能识别评估方法及装置 Download PDFInfo
- Publication number
- CN117726624B CN117726624B CN202410172829.3A CN202410172829A CN117726624B CN 117726624 B CN117726624 B CN 117726624B CN 202410172829 A CN202410172829 A CN 202410172829A CN 117726624 B CN117726624 B CN 117726624B
- Authority
- CN
- China
- Prior art keywords
- downsampling
- image
- sample
- feature map
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002534 adenoid Anatomy 0.000 title claims abstract description 98
- 241000321096 Adenoides Species 0.000 title claims abstract description 65
- 230000003902 lesion Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 210000004907 gland Anatomy 0.000 claims abstract description 37
- 201000003462 adenoid hypertrophy Diseases 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims description 103
- 238000005070 sampling Methods 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000013434 data augmentation Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 206010020880 Hypertrophy Diseases 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000036285 pathological change Effects 0.000 claims 1
- 231100000915 pathological change Toxicity 0.000 claims 1
- 238000012549 training Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 210000002741 palatine tonsil Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000002388 eustachian tube Anatomy 0.000 description 3
- 210000002751 lymph Anatomy 0.000 description 3
- 210000003563 lymphoid tissue Anatomy 0.000 description 3
- 210000003928 nasal cavity Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000028993 immune response Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001989 nasopharynx Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 210000005004 lymphoid follicle Anatomy 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000103 occipital bone Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000009993 protective function Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种视频流下实时腺样体病变智能识别评估方法及装置，所述方法包括：获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；从所述待评估视频流中选取一帧包含所述腺样体的视频图像；将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。本申请中，通过将待评估视频流拆分为多帧视频图像，然后对视频图像通过深度卷积模型进行评估，实现对视频流形式的腺样体病变的智能评估。
Description
技术领域
本申请涉及医疗图像识别技术领域，具体而言，涉及一种视频流下实时腺样体病变智能识别评估方法及装置。
背景技术
腺样体又称咽扁桃体，是丰富的淋巴组织，位于鼻咽顶部与后壁交界处、两侧咽隐窝之间；其可引起局部或全身的免疫应答，对消化道和呼吸道具有重要的防御、保护功能，但同时也容易遭受病菌侵袭，常引起炎症。
计算机辅助/自主评估是当前医学的预定发展方向，但是腺样体通常通过鼻腔镜获取视频流进行观察和评估，由于腺样体的视频流与常规医学图像的不同，导致常规的辅助/自主评估方式难以对视频流形式的腺样体进行评估。
发明内容
本申请解决的问题是视频流形式的腺样体很难进行评估。
为解决上述问题，本申请第一方面提供了一种视频流下实时腺样体病变智能识别评估方法，包括：
获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
本申请第二方面提供了一种视频流下实时腺样体病变智能识别评估装置，其包括：
数据获取模块，其用于获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
图像选取模块，其用于从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
智能评估模块，其用于将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的一种视频流下实时腺样体病变智能识别评估方法。
本申请中，通过将待评估视频流拆分为多帧视频图像，然后对视频图像通过深度卷积模型进行评估，实现对视频流形式的腺样体病变的智能评估。
本申请中，通过选取另一帧视频图像进行病变评估，从而对首次评估结果进行二次验证，从而提高病变评估的准确率，避免误诊。
本申请中，在验证失败的情况下，通过多帧视频图像进行评估结果统计，从而在单帧视频图像准确率较低的情况下，实现病变的准确评估。
附图说明
图1为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法的流程图；
图2为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法的模型架构图；
图3为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法二次评估的流程图；
图4为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法模型评估的流程图；
图5为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法下采样的流程图；
图6为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法上采样的流程图；
图7为根据本申请实施例的视频流下实时腺样体病变智能识别评估方法模型训练的流程图；
图8为根据本申请实施例的视频流下实时腺样体病变智能识别评估装置的结构框图；
图9为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
腺样体又称腺样体或咽扁桃体，是丰富的淋巴组织，其位于鼻咽顶部与后壁交界处、两侧咽隐窝之间，相当于蝶骨体与枕骨底部，有时向两侧扩展，与咽鼓管的淋巴组织相连接，与腭扁桃体、舌扁桃体、咽鼓管扁桃体、咽后壁淋巴滤泡及咽侧索呈环状排列，共同组成咽淋巴内环。
腺样体覆盖有假复层柱状纤毛上皮，表面凹凸不平，有小裂缝或凹陷，约有5～6条纵行沟隙把整个腺样体分成橘子瓣状，其中居中者最深，形成中央隐窝。在其中部下端有时可见胚胎期残余的囊样凹陷，称为咽囊，具体位于咽上缩肌最上部的纤维之上，并常向后、上伸至枕骨。腺样体于出生后即存在，6～7岁最为显著，10岁之后逐渐萎缩。
腺样体可引起局部或全身的免疫应答，是一个易于接受抗原刺激的周围淋巴器官，可与两侧的咽鼓管扁桃体、腭扁桃体和舌扁桃体等共同围成咽淋巴环，对消化道和呼吸道具有重要的防御、保护功能，但同时也容易遭受病菌侵袭，常引起炎症。
计算机辅助/自主评估是当前医学的预定发展方向，但是腺样体通常通过鼻腔镜获取视频流进行观察和评估，由于腺样体的视频流与常规医学图像的不同，导致常规的辅助/自主评估方式难以对视频流形式的腺样体进行评估。
针对上述问题，本申请提供一种新的一种视频流下实时腺样体病变智能识别评估方案，能够基于视频流确定视频图像，然后对视频图像进行评估，解决视频流形式的腺样体很难进行评估的问题。
本申请实施例提供了一种视频流下实时腺样体病变智能识别评估方法，该方法的具体方案由图1-图7所示，该方法可以由一种视频流下实时腺样体病变智能识别评估装置来执行，该一种视频流下实时腺样体病变智能识别评估装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的一种视频流下实时腺样体病变智能识别评估方法的流程图；其中，所述一种视频流下实时腺样体病变智能识别评估方法，包括：
S200，获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
本申请中，对象用于指示患者，待评估视频流、样本图像可以是对患者进行拍摄获取的视频/图像。
本申请中，所述待评估视频流可以通过鼻腔镜获取，其中，该待评估视频流可以为每帧视频图像均包含腺样体的视频流，也可以为仅部分视频图像包含腺样体的视频流。
本申请中，每帧视频图像均包含腺样体的视频流，可以由医生等人员拍摄时直接仅拍摄腺样体的部分获取，也可以在拍摄后剪切掉不具有腺样体的部分来获取。
本申请中，所述待评估视频流为实时获取的，从而直接给出评估结果，提高实时性和及时性。
S300，从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
本申请中，若待评估视频流为每帧视频图像均包含腺样体的视频流，则可以直接从待评估视频流中选取一帧视频图像。
本申请中，所述选取为随机选取，从所述待评估视频流包含所述腺样体的视频图像中随机选取一帧，从而可以通过随机性增加病变评估的准确率。
本申请中，若待评估视频流为仅部分视频图像包含腺样体的视频流，则可以通过增加额外的视频图像识别模型来进行识别的方式，识别出其中包含腺样体的视频图像后，再进行选取；还可以直接以待评估视频流的最中心的一帧视频图像为中心向外扩展预设数量的帧数作为包含腺样体的视频图像，再进行选取，从而利用拍摄人员的拍摄心理直接划分出视频图像，大大降低了操作难度和复杂度。
S400，将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
本申请中，所述样本图像与所述视频图像为相同类型的图像，不同之处在于，样本图像上标注有样本信息，从而作为样本训练所述深度卷积模型。
本申请中，所述样本信息与所述评估信息的格式一致，且均包含分割出的腺样体和腺样体肥大等级。
本申请中，基于样本图像对所述深度卷积模型进行训练，样本信息为训练时的监督信号。
本申请中，所述腺样体肥大等级包含0级、1级、2级、3级和4级，分别表示腺样体正常、一级肿大、二级肿大、三级肿大和四级肿大。
其中，一级肿大：腺样体未超过鼻后孔，且未达到后鼻孔的1/3，此时通常为腺样体肥大的轻度表现；
二级肿大：腺样体超过后鼻孔，但未达到后鼻孔的1/3，此时通常为腺样体肥大中度肿大；
三级肿大：腺样体肥大达到后鼻孔的1/3，至少达到后鼻孔的2/3，此时为腺样体肥大重度肿大；
四级肿大：腺样体肥大程度已经超过后鼻孔的2/3，此时为重度腺样体肥大。
本申请中，通过将待评估视频流拆分为多帧视频图像，然后对视频图像通过深度卷积模型进行评估，实现对视频流形式的腺样体病变的智能评估。
需要说明的是，对于通过鼻腔镜拍摄的视频流，由于拍摄设备的限制，其所获取的视频流中的每帧图像的分辨率较低，此种情况下，对其中一帧视频图像进行病变评估，可能会产生准确率不足的问题，出现误诊。
结合图3所示，在一种实施方式中，所述腺样体自主评估方法还包括：
S501，从所述待评估视频流中选取另一帧包含所述腺样体的视频图像；
本申请中，所述选取为随机选取。
S502，将所述另一帧视频图像输入所述深度卷积模型，得到第二评估信息；
本申请中，第二评估信息与第一帧视频图像的评估信息的形式一致，且均包含分割出的腺样体和腺样体肥大等级。
S503，在选取的两帧视频图像的评估信息中的腺样体肥大等级相同的情况下，确定所述评估信息。
本申请中，确定所述评估信息，即是判定步骤S400中输出的评估信息为准确信息，为最终输出的评估信息。
本申请中，确定所述评估信息，也可以将第二评估信息作为最终输出的评估信息。
本申请中，通过选取另一帧视频图像进行病变评估，从而对首次评估结果进行二次验证，从而提高病变评估的准确率，避免误诊。
在一中实施方式中，若选取的两帧视频图像的评估信息中的腺样体肥大等级不同，则重新从待评估视频流中选取多帧（大于三帧）视频图像，将每一帧视频图像分别输入所述深度卷积模型，得到对应的评估信息，并在选取的多帧视频图像的评估信息中的腺样体肥大等级相同，或者，仅有一帧视频图像的腺样体肥大等级与其余视频图像不同，的情况下，确定腺样体肥大等级相同的多帧图像的评估结果为正确结果，并从中选取任意一帧图像评估结果为最终的评估信息。
本申请中，在验证失败的情况下，通过多帧视频图像进行评估结果统计，从而在单帧视频图像准确率较低的情况下，实现病变的准确评估。
结合图4所示，在一种实施方式中，所述S400，将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，包括：
S401，根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；
本申请中，可以通过数据增广的方式，将视频图像增广为第一输入图像、第二输入图像和第三输入图像；也可以通过数据增广的方式，将视频图像增广为多个图像，从中随机选取三个作为第一输入图像、第二输入图像和第三输入图像。
进一步地，直接将视频图像作为第一输入图像、第二输入图像和第三输入图像，从而无需数据增广，避免数据增广造成的对评估的误差。
本申请中，通过将视频图像生成第一输入图像、第二输入图像和第三输入图像，从而保持模型预测和模型训练之间的一致性，以增加评估的准确率。
进一步地，所述数据增广为非形变形式的数据增广（色彩抖动、随机颜色空间转换等等）。
S402，将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；
S403，将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；
S404，将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；
本申请中，所述分类结构可以为多个全连接层组成的结构，或者为其他形式的分类结构。
S405，将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体。
本申请中，分割出的所述腺样体，可以是以第一输入图像、第二输入图像和第三输入图像中的任意一个输入图像作为基础图像（均需要预测之前选择好），也可以是以其中指定的一个输入图像作为基础图像，也可以仅输出框选的坐标，不输出图像（数据增广为非形变形式的数据增广的情况下），还可以是以视频图像为基础图像。具体可以根据实际需求进行选取。
本申请中，所述分割结构可以为多个卷积层组成的机构，或者为其他形式的分割结构。
本申请中，所述拼接为Concate拼接。
本申请中，通过设置三个类似结构，从而对三个输入图像进行不同角度的特征提取，增加特征的丰富性，提高评估的准确率。
结合图5所示，在一种实施方式中，所述S402，将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图，包括：
S201，将所述第一输入图像依次进行四次下采样，得到所述第一特征图；
S202，将所述第三输入图像依次进行四次下采样，得到所述第三特征图；
S203，对所述第二输入图像进行第一次下采样，得到第一下采样结果；
S204，将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；
本申请中，即是将第二输入图像第一次下采样的结果和第三输入图像第一次下采样的结果进行拼接合并，作为第二输入图像的第一下采样图。
本申请中，所述拼接合并，为先拼接，然后将拼接的结果进行卷积，以保持与其余输入图像的下采样结果的一致性。
本申请中，所述拼接为Concate拼接。
S205，对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；
S206，将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；
本申请中，即是将第二输入图像第三次下采样的结果和第一输入图像第三次下采样的结果进行拼接合并，作为第二输入图像的第三下采样图。其中，第二输入图像的第一次下采样结果已经进行过类似拼接合并。
S207，对第三下采样图进行第四次下采样，得到所述第二特征图。
本申请中，所述下采样操作的结构可以为两个3x3的卷积层RELU再加上一个2x2的maxpooling层组成，从而通过该模块进行下采样。
本申请中，结合图2所示，其中深色箭头表示下采样操作，浅色箭头表示上采样操作，虚线箭头表示卷积操作或者空白操作，将下采样结果与上采样的开端连接起来（空白操作时下采样结果与上采样开端相同）。
需要说明的是，图2中的视频图像为局部图像，因此与分割出的腺样体相差较小，此为分割过程中的较特殊情况，并非是指代分割出的腺样体与原视频图像保持相同。
本申请中，通过相同次数的下采样（类似的下采样结构）保持第一输入图像、第二输入图像和第三输入图像之间的同源性；通过在下采样过程中的拼接合并，将第一输入图像的提取特征与第三输入图像的提取特征添加到第二输入图像中，以将同层的特征进行融合，增加特征信息的丰富性。
结合图6所示，在一种实施方式中，所述S403，将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图，包括：
S301，将所述第二特征图依次进行四次上采样，得到所述第二合成图；
本申请中，所述上采样的结构可以为一个上采样的卷积层反卷积层特征拼接concat两个3x3的卷积层非线性ReLU层，从而通过该模块进行上采样。
S302，将所述第一特征图依次进行第一次、第二次、第三次上采样，得到第三上采样结果；
S303，将所述第三上采样结果和所述第二特征图进行第三次上采样的采样结果进行拼接合并，得到第一特征图对应的第三上采样图；
本申请中，即是将第一特征图的第三次上采样的结果和第二特征图的第三次上采样的结果进行拼接合并，作为第一特征图的第三上采样图。
本申请中，所述拼接合并，为先拼接，然后将拼接的结果进行卷积，以保持与其余输入图像的下采样结果的一致性。
本申请中，所述拼接为Concate拼接。
本申请中，通过拼接，将第二特征图中的同层信息添加到第一特征图中，以增加特征信息的丰富性，以及同源特征的加强；其中第二特征图中包含第一特征图的同层信息，从而进一步增加丰富性，以及同源特征的二次加强。
S304，对所述第三上采样图进行第四次上采样，得到所述第一合成图；
S305，将所述第三特征图进行第一次上采样，得到第一上采样结果；
S306，将所述第一上采样结果和所述第二特征图进行第一次上采样的采样结果进行拼接合并，得到第三特征图对应的第一上采样图；
本申请中，即是将第三特征图的第一次上采样的结果和第二特征图的第一次上采样的结果进行拼接合并，作为第三特征图的第一上采样图。
需要说明的是，所述第一上采样图和所述第三上采样图，并非相同特征图的不同上采样次数的结果图，而是分别为与第三特征图对应的（第一次上采样）特征图，与第一特征图对应的（第三次上采样）特征图。也即是说，两者所针对的上采样次数不同，所针对的上采样的基本图也不同。
S307，对所述第一上采样图依次进行第二次、第三次、第四次上采样，得到所述第三合成图。
本申请中，通过拼接，将第二特征图中的同层信息添加到第一特征图和第三特征图中，以增加特征信息的丰富性，以及同源特征的加强；其中第二特征图中包含第一特征图的同层信息，从而进一步增加丰富性，以及同源特征的二次加强。
结合图7所示，在一种实施方式中，所述S200，获取待评估视频流，所述待评估视频流中包含任意对象的腺样体之前，还包括：
S101，获取所述样本图像，所述样本图像上标注有所述样本信息；
S102，对所述样本图像进行数据增广，得到M个样本输入图像，M为大于4的自然数；
本申请中，所述数据增广的常见方法包括：翻转、裁剪、随机高宽比、随机大小、色彩抖动、随机颜色空间转换等等。
本申请中，色彩抖动是一种特殊的视觉效果，它通过对构成图像的色相、亮度和饱和度产生位移，造成相邻点状差异的色彩交叉效果。
本申请中，随机颜色空间转换，是将样本图像随机转换为其他色彩空间的表示，例如LAB图像、灰度图像、RGB图像等等。
需要说明的是，对于样本图像而言，其标注的样本信息包括分割出的腺样体（标注在样本图像中）和腺样体肥大等级，其中，色彩抖动和随机颜色空间的数据增广并不会改变分割出的腺样体的标注位置，也不会改变标注的腺样体肥大等级，因此可以共用样本图像的标注信息。
但是，对于翻转、裁剪、随机高宽比、随机大小的数据增广，其不会改变标注的腺样体肥大等级，但是会改变分割出的腺样体的标注位置，因此，该部分数据增广得到的样本输入图像，其所标注的分割位置，也需要进行相同的操作，以得到新的分割位置。
本申请中，对所述样本图像进行数据增广后，更新得到的样本输入图像的标注信息。
进一步地，所述数据增广为非形变形式的数据增广（色彩抖动、随机颜色空间转换等等），从而避免对标注的样本信息进行更新。
S103，从M个所述样本输入图像中随机选取3个样本输入图像，分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一样本特征图、第二样本特征图和第三样本特征图；
本申请中，通过随机选取，从而增加不同训练次数之间的差异性，在训练过程中增加更多变量，从而使得训练后的深度卷积模型可以更加聚焦于不同输入图像之间的共性，提高评估的准确率。
本申请中，通过数据增广获取可选取的输入图像，通过随机选取的方式，最大程度增加数据增广产生的变量，达到更好的训练效果。
S104，将所述第一样本特征图、第二样本特征图和第三样本特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一样本合成图、第二样本合成图和第三样本合成图；
S105，将所述第一样本特征图、第二样本特征图和第三样本特征图拼接后输入分类结构，得到预测肥大等级；
S106，将所述第一样本合成图、第二样本合成图和第三样本合成图拼接后输入分割结构，得到预测分割结果；
S107，基于所述样本信息、所述预测肥大等级、所述预测分割结果，确定所述深度卷积模型的整体损失；
本申请中，所述样本信息为更新后的样本信息，也即是选取的3个样本输入图像的标注信息。
本申请中，所述整体损失是基于选取的样本输入图像的标注信息和预测的肥大等级、分割结果进行计算得到的。
本申请中，在数据增广为非形变形式的数据增广的情况下，可以选取任何一个样本输入图像作为整体损失的计算选择，也可以选取三个样本输入图像的损失之和作为整体损失。
S108，根据所述整体损失调整所述深度卷积模型，直至所述整体损失收敛为止。
在一种实施方式中，所述深度卷积模型的整体损失的计算公式为：
其中，Loss为整体损失，ClsLoss为分类损失，SegLoss为分割损失，α为权重系数，N为像素总数，i为像素序号，p i 为样本图像中第i个像素属于正类别的预测概率，g i 为样本图像中第i个像素的标注标签；j为类别序号，C为类别总量，q j 为样本图像属于第j个类别的预测概率，y j 为样本图像属于第j个类别的标注标签。
本申请实施例提供了一种视频流下实时腺样体病变智能识别评估装置，用于执行本申请上述内容所述的一种视频流下实时腺样体病变智能识别评估方法，以下对所述一种视频流下实时腺样体病变智能识别评估装置进行详细描述。
如图8所示，所述一种视频流下实时腺样体病变智能识别评估装置，包括：
数据获取模块101，其用于获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
图像选取模块102，其用于从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
智能评估模块103，其用于将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
在一种实施方式中，还包括二次评估模块，其用于：
从所述待评估视频流中选取另一帧包含所述腺样体的视频图像；将所述另一帧视频图像输入所述深度卷积模型，得到第二评估信息；在选取的两帧视频图像的评估信息中的腺样体肥大等级相同的情况下，确定所述评估信息。
在一种实施方式中，所述智能评估模块103还用于：
根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体。
在一种实施方式中，所述智能评估模块103还用于：
将所述第一输入图像依次进行四次下采样，得到所述第一特征图；将所述第三输入图像依次进行四次下采样，得到所述第三特征图；对所述第二输入图像进行第一次下采样，得到第一下采样结果；将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；对第三下采样图进行第四次下采样，得到所述第二特征图。
在一种实施方式中，所述智能评估模块103还用于：
将所述第二特征图依次进行四次上采样，得到所述第二合成图；将所述第一特征图依次进行第一次、第二次、第三次上采样，得到第三上采样结果；将所述第三上采样结果和所述第二特征图进行第三次上采样的采样结果进行拼接合并，得到第一特征图对应的第三上采样图；对所述第三上采样图进行第四次上采样，得到所述第一合成图；将所述第三特征图进行第一次上采样，得到第一上采样结果；将所述第一上采样结果和所述第二特征图进行第一次上采样的采样结果进行拼接合并，得到第三特征图对应的第一上采样图；对所述第一上采样图依次进行第二次、第三次、第四次上采样，得到所述第三合成图。
在一种实施方式中，还包括模型训练模块，其用于：
获取所述样本图像，所述样本图像上标注有所述样本信息；对所述样本图像进行数据增广，得到M个样本输入图像，M为大于4的自然数；从M个所述样本输入图像中随机选取3个样本输入图像，分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一样本特征图、第二样本特征图和第三样本特征图；将所述第一样本特征图、第二样本特征图和第三样本特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一样本合成图、第二样本合成图和第三样本合成图；将所述第一样本特征图、第二样本特征图和第三样本特征图拼接后输入分类结构，得到预测肥大等级；将所述第一样本合成图、第二样本合成图和第三样本合成图拼接后输入分割结构，得到预测分割结果；基于所述样本信息、所述预测肥大等级、所述预测分割结果，确定所述深度卷积模型的整体损失；根据所述整体损失调整所述深度卷积模型，直至所述整体损失收敛为止。
在一种实施方式中，所述深度卷积模型的整体损失的计算公式为：
其中，Loss为整体损失，ClsLoss为分类损失，SegLoss为分割损失，α为权重系数，N为像素总数，i为像素序号，p i 为样本图像中第i个像素属于正类别的预测概率，g i 为样本图像中第i个像素的标注标签；j为类别序号，C为类别总量，q j 为样本图像属于第j个类别的预测概率，y j 为样本图像属于第j个类别的标注标签。
本申请的上述实施例提供的一种视频流下实时腺样体病变智能识别评估装置与本申请实施例提供的一种视频流下实时腺样体病变智能识别评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了一种视频流下实时腺样体病变智能识别评估装置的内部功能和结构，如图9所示，实际中，该一种视频流下实时腺样体病变智能识别评估装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
从所述待评估视频流中选取一帧包含所述腺样体的视频图像；
将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息。
在一种实施方式中，处理器303还用于：
从所述待评估视频流中选取另一帧包含所述腺样体的视频图像；将所述另一帧视频图像输入所述深度卷积模型，得到第二评估信息；在选取的两帧视频图像的评估信息中的腺样体肥大等级相同的情况下，确定所述评估信息。
在一种实施方式中，处理器303还用于：
根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体。
在一种实施方式中，处理器303还用于：
将所述第一输入图像依次进行四次下采样，得到所述第一特征图；将所述第三输入图像依次进行四次下采样，得到所述第三特征图；对所述第二输入图像进行第一次下采样，得到第一下采样结果；将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；对第三下采样图进行第四次下采样，得到所述第二特征图。
在一种实施方式中，处理器303还用于：
将所述第二特征图依次进行四次上采样，得到所述第二合成图；将所述第一特征图依次进行第一次、第二次、第三次上采样，得到第三上采样结果；将所述第三上采样结果和所述第二特征图进行第三次上采样的采样结果进行拼接合并，得到第一特征图对应的第三上采样图；对所述第三上采样图进行第四次上采样，得到所述第一合成图；将所述第三特征图进行第一次上采样，得到第一上采样结果；将所述第一上采样结果和所述第二特征图进行第一次上采样的采样结果进行拼接合并，得到第三特征图对应的第一上采样图；对所述第一上采样图依次进行第二次、第三次、第四次上采样，得到所述第三合成图。
在一种实施方式中，处理器303还用于：
获取所述样本图像，所述样本图像上标注有所述样本信息；对所述样本图像进行数据增广，得到M个样本输入图像，M为大于4的自然数；从M个所述样本输入图像中随机选取3个样本输入图像，分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一样本特征图、第二样本特征图和第三样本特征图；将所述第一样本特征图、第二样本特征图和第三样本特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一样本合成图、第二样本合成图和第三样本合成图；将所述第一样本特征图、第二样本特征图和第三样本特征图拼接后输入分类结构，得到预测肥大等级；将所述第一样本合成图、第二样本合成图和第三样本合成图拼接后输入分割结构，得到预测分割结果；基于所述样本信息、所述预测肥大等级、所述预测分割结果，确定所述深度卷积模型的整体损失；根据所述整体损失调整所述深度卷积模型，直至所述整体损失收敛为止。
在一种实施方式中，所述深度卷积模型的整体损失的计算公式为：
其中，Loss为整体损失，ClsLoss为分类损失，SegLoss为分割损失，α为权重系数，N为像素总数，i为像素序号，p i 为样本图像中第i个像素属于正类别的预测概率，g i 为样本图像中第i个像素的标注标签；j为类别序号，C为类别总量，q j 为样本图像属于第j个类别的预测概率，y j 为样本图像属于第j个类别的标注标签。
本申请中，图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。
本实施例提供的电子设备，与本申请实施例提供的一种视频流下实时腺样体病变智能识别评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（Flash RAM）。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的一种视频流下实时腺样体病变智能识别评估方法对应的计算机可读存储介质，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的一种视频流下实时腺样体病变智能识别评估方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（Transitory Media），如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的一种视频流下实时腺样体病变智能识别评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种视频流下实时腺样体病变智能识别评估方法，其特征在于，包括：
获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
从所述待评估视频流中选取一帧包含所述腺样体的视频图像；所述选取为随机选取；
将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息；
所述将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的第一评估信息，包括：
根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；
将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；
将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；
将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；
将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体；
所述将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图，包括：
将所述第一输入图像依次进行四次下采样，得到所述第一特征图；
将所述第三输入图像依次进行四次下采样，得到所述第三特征图；
对所述第二输入图像进行第一次下采样，得到第一下采样结果；
将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；
对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；
将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；
对第三下采样图进行第四次下采样，得到所述第二特征图。
2.根据权利要求1所述的视频流下实时腺样体病变智能识别评估方法，其特征在于，还包括：
从所述待评估视频流中选取另一帧包含所述腺样体的视频图像；
将所述另一帧视频图像输入所述深度卷积模型，得到第二评估信息；
在选取的两帧视频图像的评估信息中的腺样体肥大等级相同的情况下，确定所述评估信息。
3.根据权利要求1所述的视频流下实时腺样体病变智能识别评估方法，其特征在于，所述将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图，包括：
将所述第二特征图依次进行四次上采样，得到所述第二合成图；
将所述第一特征图依次进行第一次、第二次、第三次上采样，得到第三上采样结果；
将所述第三上采样结果和所述第二特征图进行第三次上采样的采样结果进行拼接合并，得到第一特征图对应的第三上采样图；
对所述第三上采样图进行第四次上采样，得到所述第一合成图；
将所述第三特征图进行第一次上采样，得到第一上采样结果；
将所述第一上采样结果和所述第二特征图进行第一次上采样的采样结果进行拼接合并，得到第三特征图对应的第一上采样图；
对所述第一上采样图依次进行第二次、第三次、第四次上采样，得到所述第三合成图。
4.根据权利要求1所述的视频流下实时腺样体病变智能识别评估方法，其特征在于，所述获取待评估视频流，所述待评估视频流中包含任意对象的腺样体之前，还包括：
获取所述样本图像，所述样本图像上标注有所述样本信息；
对所述样本图像进行数据增广，得到M个样本输入图像，M为大于4的自然数；
从M个所述样本输入图像中随机选取3个样本输入图像，分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一样本特征图、第二样本特征图和第三样本特征图；
将所述第一样本特征图、第二样本特征图和第三样本特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一样本合成图、第二样本合成图和第三样本合成图；
将所述第一样本特征图、第二样本特征图和第三样本特征图拼接后输入分类结构，得到预测肥大等级；
将所述第一样本合成图、第二样本合成图和第三样本合成图拼接后输入分割结构，得到预测分割结果；
基于所述样本信息、所述预测肥大等级、所述预测分割结果，确定所述深度卷积模型的整体损失；
根据所述整体损失调整所述深度卷积模型，直至所述整体损失收敛为止。
5.根据权利要求4所述的视频流下实时腺样体病变智能识别评估方法，其特征在于，所述深度卷积模型的整体损失的计算公式为：
其中，Loss为整体损失，ClsLoss为分类损失，SegLoss为分割损失，α为权重系数，N为像素总数，i为像素序号，p i 为样本图像中第i个像素属于正类别的预测概率，g i 为样本图像中第i个像素的标注标签；j为类别序号，C为类别总量，q j 为样本图像属于第j个类别的预测概率，y j 为样本图像属于第j个类别的标注标签。
6.一种视频流下实时腺样体病变智能识别评估装置，其特征在于，包括：
数据获取模块，其用于获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
图像选取模块，其用于从所述待评估视频流中选取一帧包含所述腺样体的视频图像；所述选取为随机选取；
智能评估模块，其用于将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息；
所述将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的第一评估信息，包括：
根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；
将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；
将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；
将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；
将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体；
所述将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图，包括：
将所述第一输入图像依次进行四次下采样，得到所述第一特征图；
将所述第三输入图像依次进行四次下采样，得到所述第三特征图；
对所述第二输入图像进行第一次下采样，得到第一下采样结果；
将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；
对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；
将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；
对第三下采样图进行第四次下采样，得到所述第二特征图。
7.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待评估视频流，所述待评估视频流中包含任意对象的腺样体；
从所述待评估视频流中选取一帧包含所述腺样体的视频图像；所述选取为随机选取；
将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的评估信息，所述评估信息包括分割出的腺样体和腺样体肥大等级；
所述深度卷积模型是基于样本图像和样本信息得到的，所述样本图像用于指示意对象的腺样体部位，所述样本信息是与所述样本图像对应的评估信息；
所述将所述视频图像输入预训练的深度卷积模型，得到所述深度卷积模型输出的第一评估信息，包括：
根据所述视频图像生成第一输入图像、第二输入图像和第三输入图像；
将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图；
将所述第一特征图、第二特征图和第三特征图分别输入第一上采样结构、第二上采样结构和第三上采样结构，分别得到第一合成图、第二合成图和第三合成图；
将所述第一特征图、第二特征图和第三特征图拼接后输入分类结构，得到所述腺样体肥大等级；
将所述第一合成图、第二合成图和第三合成图拼接后输入分割结构，得到分割出的所述腺样体；
所述将所述第一输入图像、第二输入图像和第三输入图像分别输入第一下采样结构、第二下采样结构和第三下采样结构，分别得到第一特征图、第二特征图和第三特征图，包括：
将所述第一输入图像依次进行四次下采样，得到所述第一特征图；
将所述第三输入图像依次进行四次下采样，得到所述第三特征图；
对所述第二输入图像进行第一次下采样，得到第一下采样结果；
将所述第一下采样结果和所述第三输入图像进行第一次下采样的采样结果进行拼接合并，得到第一下采样图；
对所述第一下采样图依次进行第二次下采样和第三次下采样，得到第三下采样结果；
将所述第三下采样结果和所述第一输入图像进行第三次下采样的采样结果进行拼接合并，得到第三下采样图；
对第三下采样图进行第四次下采样，得到所述第二特征图。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-5任一项所述的一种视频流下实时腺样体病变智能识别评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172829.3A CN117726624B (zh) | 2024-02-07 | 2024-02-07 | 一种视频流下实时腺样体病变智能识别评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172829.3A CN117726624B (zh) | 2024-02-07 | 2024-02-07 | 一种视频流下实时腺样体病变智能识别评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726624A CN117726624A (zh) | 2024-03-19 |
| CN117726624B true CN117726624B (zh) | 2024-05-28 |
Family
ID=90200149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172829.3A Active CN117726624B (zh) | 2024-02-07 | 2024-02-07 | 一种视频流下实时腺样体病变智能识别评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726624B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019150234A (ja) * | 2018-03-01 | 2019-09-12 | 公立大学法人広島市立大学 | アデノイド肥大判定装置、アデノイド肥大判定方法及びプログラム |
| CN111047589A (zh) * | 2019-12-30 | 2020-04-21 | 北京航空航天大学 | 一种注意力增强的脑肿瘤辅助智能检测识别方法 |
| CN113116305A (zh) * | 2021-04-20 | 2021-07-16 | 深圳大学 | 鼻咽内镜图像的处理方法、装置、电子设备及存储介质 |
| CN113688942A (zh) * | 2021-02-09 | 2021-11-23 | 四川大学 | 基于深度学习的头侧片腺样体图像自动评估方法和装置 |
| CN113688788A (zh) * | 2021-04-02 | 2021-11-23 | 四川大学 | 基于深度学习的头侧片上气道图像自动识别方法和系统 |
| CN114155474A (zh) * | 2021-12-12 | 2022-03-08 | 菅政 | 基于视频语义分割算法的损伤识别技术 |
| CN116630324A (zh) * | 2023-07-25 | 2023-08-22 | 吉林大学 | 一种基于深度学习的mri图像自动评估腺样体肥大的方法 |
-
2024
- 2024-02-07 CN CN202410172829.3A patent/CN117726624B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019150234A (ja) * | 2018-03-01 | 2019-09-12 | 公立大学法人広島市立大学 | アデノイド肥大判定装置、アデノイド肥大判定方法及びプログラム |
| CN111047589A (zh) * | 2019-12-30 | 2020-04-21 | 北京航空航天大学 | 一种注意力增强的脑肿瘤辅助智能检测识别方法 |
| CN113688942A (zh) * | 2021-02-09 | 2021-11-23 | 四川大学 | 基于深度学习的头侧片腺样体图像自动评估方法和装置 |
| CN113688788A (zh) * | 2021-04-02 | 2021-11-23 | 四川大学 | 基于深度学习的头侧片上气道图像自动识别方法和系统 |
| CN113116305A (zh) * | 2021-04-20 | 2021-07-16 | 深圳大学 | 鼻咽内镜图像的处理方法、装置、电子设备及存储介质 |
| CN114155474A (zh) * | 2021-12-12 | 2022-03-08 | 菅政 | 基于视频语义分割算法的损伤识别技术 |
| CN116630324A (zh) * | 2023-07-25 | 2023-08-22 | 吉林大学 | 一种基于深度学习的mri图像自动评估腺样体肥大的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726624A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | 3d u-net based brain tumor segmentation and survival days prediction | |
| US20200372648A1 (en) | Image processing method and device, computer apparatus, and storage medium | |
| EP3553742B1 (en) | Method and device for identifying pathological picture | |
| CN110570352B (zh) | 图像标注方法、装置、系统及细胞标注方法 | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| You et al. | Learning visual representation from modality-shared contrastive language-image pre-training | |
| CN108765315B (zh) | 图像补全方法、装置、计算机设备及存储介质 | |
| JP2022501719A (ja) | 文字検出装置、文字検出方法及び文字検出システム | |
| CN115439470B (zh) | 息肉图像分割方法、计算机可读存储介质及计算机设备 | |
| CN112330624A (zh) | 医学图像处理方法和装置 | |
| CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
| WO2019102844A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| CN110503651A (zh) | 一种图像显著对象分割方法及装置 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN115294126A (zh) | 一种病理图像的癌细胞智能识别方法 | |
| Shete et al. | TasselGAN: An application of the generative adversarial model for creating field-based maize tassel data | |
| CN113516142A (zh) | 文本图像匹配方法、装置、设备及存储介质 | |
| CN110580726B (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| CN117726624B (zh) | 一种视频流下实时腺样体病变智能识别评估方法及装置 | |
| CN114299101A (zh) | 图像的目标区域获取方法、装置、设备、介质和程序产品 | |
| EP4075381B1 (en) | Image processing method and system | |
| CN115953345B (zh) | 脑出血医学图像的病变合成方法、装置及存储介质 | |
| CN110110750B (zh) | 一种原始图片的分类方法及装置 | |
| CN110097080B (zh) | 一种分类标签的构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |