CN114611584A - Cp-ebus弹性模式视频的处理方法、装置、设备与介质 - Google Patents
Cp-ebus弹性模式视频的处理方法、装置、设备与介质 Download PDFInfo
- Publication number
- CN114611584A CN114611584A CN202210158738.5A CN202210158738A CN114611584A CN 114611584 A CN114611584 A CN 114611584A CN 202210158738 A CN202210158738 A CN 202210158738A CN 114611584 A CN114611584 A CN 114611584A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- representation information
- feature representation
- effective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 230000003211 malignant effect Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 18
- 210000001165 lymph node Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 230000003902 lesion Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 5
- 238000004445 quantitative analysis Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000007427 paired t-test Methods 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
本发明提供了一种CP‑EBUS弹性模式视频的处理方法、装置、设备与介质，该处理方法，包括：获取待处理视频的有效帧；所述待处理视频源自目标对象的E模式超声影像；将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；所述第一神经网络采用了具有可学习参数的一层或多层全连接层；基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果，所述当前分类结果表征了所述目标对象倾向于良性还是恶性。
Description
技术领域
本发明涉及医疗图像分析领域，尤其涉及一种CP-EBUS弹性模式视频的处理方法、装置、设备与介质。
背景技术
CP-EBUS是一种微创的胸内病变诊断技术，该技术利用装有活检针、超声装置和内窥镜的探头精确地由气管或支气管进入准备活检的淋巴结或病变附近观察病变，并利用活检针取得目标淋巴结或者病变的组织或细胞成分，通过对取出标本的病理分析可以对病人的疾病进行准确的诊断。然而由于活检取得的标本量较少，单纯病理诊断有20％的假阴性。在取得病变标本的过程中，超声装置可以获取不同模态下的淋巴结或者病变的超声影像，现有研究表明，超声影像中的弹性模式(即E模式)对于淋巴结良恶性的诊断有着重要的价值。依据超声影像的诊断结果，可以帮助操作医生在活检过程中挑选合适的淋巴结或病变进行穿刺，同时当穿刺结果阴性时也可以作为活检诊断的一个补充，弥补病理诊断的缺陷。
现有的对CP-EBUS影像E模式的诊断方法分为半定量或者定量方法，其中半定量方法主要依赖于医生对弹性图像颜色分布的观察，例如，观察弹性E模式影像中的淋巴结的颜色分布，如果偏蓝色，即淋巴结偏硬，则对于淋巴结诊断倾向于恶性，如果偏绿色，即淋巴结偏软，则对于淋巴结诊断倾向于良性。另一类定量的方法，通常是以影像的某些统计特征作为指标，设定一定的阈值，超过或者低于该阈值则认为该淋巴结属于恶性或良性。以上现有的方法，都依赖于医生从弹性超声视频中选择出代表性图片，该代表性图片往往需要医生观察整个视频，并且高度依赖于医生的经验，专家医生所选出来的代表性图片要好于初学者。
可见，现有技术中，CP-EBUS弹性模式视频的处理方法的处理结果的优劣取决于医生的经验，难以得到保障。
发明内容
本发明提供一种CP-EBUS弹性模式视频的处理方法、装置、设备与介质，以解决的问题。
根据本发明的第一方面，提供了一种CP-EBUS弹性模式视频的处理方法，包括：
获取待处理视频的有效帧；所述待处理视频源自目标对象的E模式超声影像；
将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；所述第一神经网络采用了具有可学习参数的一层或多层全连接层；
基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；
基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果，所述当前分类结果表征了所述目标对象倾向于良性还是恶性。
可选的，获取待处理视频的有效帧，包括：
获取所述待处理视频；
在所述待处理视频的所有视频帧中，基于所述视频帧的成像质量，确定所述有效帧。
可选的，基于所述视频帧的成像质量，确定所述有效帧，包括：
确定任一第Z个视频帧中的扫描框区域；其中，Z为大于或与等于1的整数；
计算所述第Z个视频帧的扫描框区域内像素点的至少一种像素参数的统计值，所述至少一种像素参数包括饱和度和/或相对明暗度；
针对所述第Z个视频帧，通过比较所述至少一种像素参数的统计值与预设的选择阈值，确定所述任一视频帧是否为所述有效帧；
若所述第Z个视频帧为有效帧，则确定所述第Z个视频帧之后或附近的M个视频帧非有效帧，其中，M为大于或等于1的整数。
可选的，基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并确定对应于所述待处理视频的视频特征表示信息，包括：
基于每个有效帧的单帧特征表示信息，利用可微分稀疏图注意力机制，计算该有效帧的重要性评估信息；所述重要性评估信息被用于表征出对应有效帧在所述待处理视频或所有有效帧中的重要程度；其中的K为大于或等于1的整数；
基于所述重要性评估信息，选取重要性最高的K个有效帧作为代表性图片；
对所述代表性图片的重要性评估信息进行加权求和，得到加权特征表示信息；
将所述加权特征表示信息输入经训练的第二神经网络，获取所述第二神经网络输出的所述视频特征表示信息，所述第二神经网络采用了具有可学习参数的一层或多层全连接层。
可选的，基于每个有效帧的单帧特征表示信息，利用可微分稀疏图注意力机制，计算该有效帧的重要性评估信息，包括：
针对任意第Y个有效帧，通过预先确定的第一可学习参数矩阵，将所述第Y个有效帧的单帧特征表示信息映射为指定维度的嵌入特征表示信息；其中的Y为大于或等于1的整数；
通过预先确定的第二可学习参数矩阵，将所述单帧特征表示信息映射为特定维度的关系特征表示信息；
基于所述关系特征表示信息与所述嵌入特征信息，构建一全连接图，所述全连接图中的每个结点对应一个有效帧，每个结点的结点特征表示信息为对应有效帧的嵌入特征表示信息，表征结点间关系的邻接矩阵是根据对应结点的关系特征表示信息确定；
基于预先确定的第三可学习参数矩阵与所述全连接图，确定一更新特征表示信息；
基于预先确定的第四可学习参数矩阵与所述更新特征表示信息，计算各个有效帧的稠密重要性分数，并基于所述稠密重要性分数，确定所述有效帧的重要性分数作为所述重要性评估信息。
可选的，基于预先确定的第三可学习参数矩阵与所述全连接图，确定一更新特征表示信息，包括：
根据所述全连接图的邻接矩阵A和结点特征Xe传递信息，获得AXe；
基于所述第三可学习参数矩阵对AXe进行图卷积，并通过非线性函数σ激活，得到对应的输出结果；
将所述输出结果输入至一层或者多层全连接层，并对该全连接层的输出进行第一次层归一化，将第一次层归一化的结果与跃层连接传递的AXe相加，再进行第二次层归一化，得到所述更新特征表示信息。
可选的，所采用的可学习参数是基于训练视频集，以及针对所述训练视频集中的视频而标定的指定分类结果而得到的，其中的指定分类结果表征了对应视频的指定对象是良性还是恶性。
根据本发明的第二方面，提供了一种CP-EBUS弹性模式视频的处理装置，包括：
获取模块，用于获取待处理视频的有效帧；所述待处理视频源自目标对象的E模式超声影像；
单帧特征确定模块，用于将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；所述第一神经网络采用了具有可学习参数的一层或多层全连接层；
视频特征确定模块，用于基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；
分类模块，用于基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果，所述当前分类结果表征了所述目标对象倾向于良性还是恶性。
根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。
根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。
本发明提供的CP-EBUS弹性模式视频的处理方法、装置、设备与介质中，实现了目标对象良性还是恶性的自动判断，该过程中，可无需医生介入，进而，可以替代现有的医生进行自动选图和自动诊断，保障了处理结果的稳定性，避免医生经验的不同而带来的难以保障的问题。进一步方案中，通过神经网络(例如使用全连接层的神经网络)，可有助于提高选图与诊断的准确性，在部分方案中，经充分训练之后，可有助于使得：选图和诊断结果与医学专家相比并无显著差异，并且拥有良好的可扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中CP-EBUS弹性模式视频的处理方法的流程示意图；
图2是本发明一实施例中步骤S11的流程示意图；
图3是本发明一实施例中步骤S112的流程示意图；
图4是本发明一实施例中步骤S13的流程示意图；
图5是本发明一实施例中步骤S131的流程示意图；
图6是本发明一实施例中CP-EBUS弹性模式视频的处理装置的程序模块示意图；
图7是本发明一实施例中电子设备的构造示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明实施例提供的CP-EBUS弹性模式视频的处理方法，可应用于任意具备数据处理能力的设备，例如计算机、服务器、平板电脑、移动终端、医疗设备等等。
本发明实施例中，请参考图1，CP-EBUS弹性模式视频的处理方法，包括：
S11：获取待处理视频的有效帧；
所述待处理视频源自目标对象的E模式超声影像；其中的目标对象可例如为淋巴结或包含淋巴结的生理部位；其中的待处理视频可以是E模式超声影像本身，也可以是在此基础上处理后得到的视频；
S12：将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；
所述第一神经网络采用了具有可学习参数的一层或多层全连接层；
其中的单帧特征表示信息，可理解为对对应有效帧内像素的特征进行表示的任意信息，具体的，可以是对有效帧内像素的颜色的特征进行表示的任意信息；
S13：基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；
其中的代表性图片，可理解为用于代表待处理视频中视频帧的图片；
其中的有效帧，可理解为待处理视频的视频帧中非冗余的且具有一定图像质量的图片；
其中的视频特征表示信息，可理解为对待处理视频(或其中有效帧，亦或其中代表性图片)的特征进行表示的任意信息；
S14：基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果；
所述当前分类结果表征了所述目标对象倾向于良性还是恶性，也可理解为目标对象为良性还是恶性的识别结果。
以上方案中，实现了目标对象良性还是恶性的自动判断，该过程中，可无需医生介入，进而，可以替代现有的医生进行自动选图和自动诊断，保障了处理结果的稳定性，避免医生经验的不同而带来的难以保障的问题。
其中一种实施方式中，请参考图2，步骤S11，可以包括：
S111：获取所述待处理视频；
S112：在所述待处理视频的所有视频帧中，基于所述视频帧的成像质量，确定所述有效帧。
其中的成像质量，可基于视频帧中像素的任意像素参数而评价，具体可基于视频帧的所有像素的像素参数而评价，也可仅基于视频帧的部分像素的像素参数而评价，还可区分于不同像素而采用不同的像素参数和/或评价方式，同时，所确定的有效帧具体为成像质量较佳的部分视频帧。
具体的，在步骤S112中，可针对待处理视频，依据视频帧的成像质量，筛选出有效帧，过滤冗余信息。
一种举例中，请参考图3，步骤S112可以包括：
S1121：确定任一第Z个视频帧中的扫描框区域；
其中，Z为大于或与等于1的整数；
S1122：计算所述第Z个视频帧的扫描框区域内像素点的至少一种像素参数的统计值，
所述至少一种像素参数包括饱和度和/或相对明暗度；部分举例中，可同时采用饱和度与相对明暗度，其他举例中，至少一种像素参数也可包括色度、亮度、对比度等；
S1123：针对所述第Z个视频帧，通过比较所述至少一种像素参数的统计值与预设的选择阈值，确定所述任一视频帧是否为所述有效帧；
S1124：若所述第Z个视频帧为有效帧，则确定所述第Z个视频帧之后或附近的M个视频帧非有效帧，其中，M为大于或等于1的整数。
步骤S1121的一种具体的举例中，可对弹性视频帧中的扫描框区域进行定位，从而可以裁剪掉帧中的无关部分(例如扫描框区域之外的部分，也可不限于此)；
步骤S1122、S1123、S1124的一种具体的举例中，可对扫描框内图像，根据有颜色像素点的饱和度和相对明暗度对该帧的成像质量进行评估，具体而言，可以对于待处理视频中的每一帧，根据图像质量评估判断该帧的质量，若质量合格则将该帧视作有效帧，并跳过接下来的M帧(该M个视频帧可理解为一种非有效帧，也可理解为冗余帧)，M为预设的超参数。由于视频中的相邻帧具有相似性，该策略可以在尽量减少遗漏重要信息的情况下，降低有效帧的数量，避免过高的复杂度。可见，本发明具体方案既筛除了质量较差的视频帧，还将冗余的视频帧排除。
再进一步的举例中，可以根据所述视频帧中的饱和度，确定所述视频帧中的有颜色像素点与无颜色像素点，计算有颜色像素点的覆盖比例，以及有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值。若当前帧的两项计算结果(即所述覆盖比例与所述比值)均高于对应的选择阈值，则将该帧作为有效帧保留，否则作为冗余帧去除。
其中一种实施方式中，步骤S12的具体举例可例如：
输入的有效帧
(W和H是有效帧的宽度和高度，C为3对应RGB三个通道的分量值，每个通道均为8比特，取值范围为0-255的整数)，在每个通道上，以区间大小L生成直方图，统计值位于各个区间内的像素点数量，共计28/L区间(其中的L通常为2的幂，取值范围在1-256的区间范围内)，则所有三个通道共有224/L3个区间。对于每个有效帧所有224/L3个区间，进行归一化，去除均值并除去标准差，得到归一化颜色直方图，例如这里L＝32。
针对于其中的归一化，可例如：对一个D＝224/L3维向量V归一化，即对V的每一项Vk进行操作Vk＝(Vk-mean(V))/std(V)，mean(V)是所述D维向量的D个维度的分量的均值，std(V)是所述D维向量的D个维度的分量的标准差。
然后，可将所得到的各个有效帧的归一化颜色直方图通过具有可学习参数的一层或多层全连接层(例如一种经训练的神经网络)，进行变换得到N个有效帧的l维特征表示
(即l维的特征表示信息)，X的行向量x1，x2，…，xN对应每个有效帧的l维特征表示，即行向量中的x1，x2，…，xN分别为一个特征表示信息。例如可将所得到的各个有效帧的归一化颜色直方图通过具有可学习参数的三层全连接层，输出维度分别为512，256和128，进行变换得到N个有效帧的l＝128维特征表示
其中一种实施方式中，请参考图4，步骤S13可以包括：
S131：基于每个有效帧的单帧特征表示信息，利用可微分稀疏图注意力机制，计算该有效帧的重要性评估信息；
所述重要性评估信息被用于表征出对应有效帧在所述待处理视频或所有有效帧中的重要程度；部分举例中，重要性评估信息可采用十进制、二进制等任意进制的数值、字符，例如，重要性评估信息可例如重要性分数来表征，其他部分举例中，也可以采用评级结果或文字等任意形式来表征；
S132：基于所述重要性评估信息，选取重要性最高的K个有效帧作为代表性图片；
其中的K为大于或等于1的整数；其可以是固定的数值，可以是随有效帧数量而变化(例如与有效帧数量呈正比)的任意数值；
S133：对所述代表性图片的重要性评估信息进行加权求和，得到加权特征表示信息；
其中的加权特征信息，可理解为对重要性评估信息进行加权求和后直接或间接得到的信息；
S134：将所述加权特征表示信息输入经训练的第二神经网络，获取所述第二神经网络输出的所述视频特征表示信息；
所述第二神经网络采用了具有可学习参数的一层或多层全连接层。
进一步举例中，请参考图5，步骤S131可以包括：
S1311：针对任意第Y个有效帧，通过预先确定的第一可学习参数矩阵，将所述第Y个有效帧的单帧特征表示信息映射为指定维度的嵌入特征表示信息；
其中的Y为大于或等于1的整数；
其中的嵌入特征表示信息可理解为利用指定维度的信息而对有效帧的特征进行描述的任意信息；
S1312：通过预先确定的第二可学习参数矩阵，将所述单帧特征表示信息映射为特定维度的关系特征表示信息；
该特定维度可以与所述指定维度相同，也可以不同；
关系特征表示信息可理解为为利用指定维度的信息而对有效帧之间的关系特征进行描述，从而可应用于后续步骤的全连接图的任意信息；
S1313：基于所述关系特征表示信息与所述嵌入特征信息，构建一全连接图；
所述全连接图中的每个结点对应一个有效帧，每个结点的结点特征表示信息为对应有效帧的嵌入特征表示信息，表征结点间关系的邻接矩阵是根据对应结点的关系特征表示信息确定；
S1314：基于预先确定的第三可学习参数矩阵与所述全连接图，确定一更新特征表示信息；
S1315：基于预先确定的第四可学习参数矩阵与所述更新特征表示信息，计算各个有效帧的稠密重要性分数，并基于所述稠密重要性分数，确定所述有效帧的重要性分数作为所述重要性评估信息。
步骤S1311的一种举例中，可以通过可学习参数矩阵
(即第一可学习参数矩阵)，其中l＝128，l′＝64，将有效帧的特征表示X(即单帧特征表示信息)映射到l′维嵌入特征表示Xe(即嵌入特征表示信息)，即Xe＝XWe。
步骤S1312的一种举例中，可以通过可学习参数矩阵
(即第二可学习参数矩阵)，其中l＝128，l′＝64，将有效帧的特征表示X(即单帧特征表示信息)映射到l′维关系特征表示Xr(即关系特征表示信息)，即Xr＝XWr。
步骤S1313的一种举例中，根据关系特征表示Xr(即关系特征表示信息)和嵌入特征表示Xe(即嵌入特征表示信息)构造全连接图，其中，每个结点对应一个有效帧，每个结点的结点特征即为对应有效帧的嵌入特征表示信息，邻接矩阵A根据关系特征表示Xr基于如下函数构建：
这里，softmax函数按行作用于矩阵
对于输入的行向量x＝[x1，…，xN]，输出向量的第i个元素为
步骤S1314的一种举例中，可以包括：
S13141：根据所述全连接图的邻接矩阵A和结点特征Xe传递信息，获得AXe；
S13142：基于所述第三可学习参数矩阵对AXe进行图卷积，并通过非线性函数σ激活，得到对应的输出结果；
S13143：将所述输出结果输入至一层或者多层全连接层，并对该全连接层的输出进行第一次层归一化，将第一次层归一化的结果与跃层连接传递的AXe相加，再进行第二次层归一化，得到所述更新特征表示信息。
可见，以上过程可描述为：根据所构建的全连接图基于可学习参数矩阵
(即第三可学习参数矩阵)进行图卷积传递信息和更新各个结点的特征，并通过非线性函数激活、具有可学习参数的全连接层和层归一化获得更新特征表示
(即更新特征表示信息)。具体的操作如下：
S13141与S13142的中举例中，可根据所述图的邻接矩阵A和结点特征Xe传递信息，获得AXe通过跃层连接，基于可学习参数矩阵
(即第三可学习参数矩阵)对AXe进行图卷积，其中lg＝128，并通过ReLU函数(一种纠正线性单元，也可采用其他函数实现)激活，输出
这里ReLU(x)＝max(0，x)。
将输出的
通过具有可学习参数
的全连接层，其中l1＝256，并通过ReLU函数激活，并将激活输出再通过具有可学习参数
的全连接层，其中l2＝128。
然后，S13143的具体举例中，可对全连接层的输出进行层归一化(即第一次层归一化)，同S13141、S13142跃层连接传递的AXe相加，再进行层归一化(即第二次层归一化)，获得更新特征表示
(即更新特征表示信息)；
其中，按照上述步骤可以得到：
之后，步骤S1315的具体举例中，可基于可学习参数向量
(即第四可学习参数矩阵)根据
计算各有效帧的稠密重要性分数
对所述稠密重要性分数进行软阈值操作，获得重要性分数s作为重要性评估信息。以上过程的具体操作为：
S13151：基于可学习参数向量
限据
计算各个有效帧的稠密重要性分数
这里
是双曲正切函数。
S13152：对S13151得到的所述稠密重要性分数降序排序，得到
找到满足
的最大整数L，计算软阈值
S13153：基于软阈值从稠密重要性分数计算重要性分数，
当
大于0时si取值为
否则si值为0。
以上步骤S133与S134中，可将K个代表性图片的重要性分数作为权重组合对应的特征表示，得到加权特征表示信息，然后将加权特征表示信息通过具有可学习参数的一层或多层全连接层(即第二神经网络)，得到聚合特征表示(即视频特征表示信息)。在此基础上，步骤S14中，可基于所述聚合特征表示(视频特征表示信息)进行分类，得到良恶性诊断(即当前分类结果)；例如，可预先设置各视频特征表示信息与良性的对应关系，各视频特征表示信息与恶性的对应关系，然后基于该对应关系确定当前分类结果，再例如，也可利用分类器(亦或神经网络等)等对聚合特征表示(视频特征表示信息)进行分类，得到良恶性诊断的结果(即当前分类结果)，从而实现步骤S14的过程，该分类器也可与其他各种可学习参数等一同训练确定。
以上各实施例、举例中所采用的可学习参数是基于训练视频集，以及针对所述训练视频集中的视频而标定的指定分类结果而得到的，其中的指定分类结果表征了对应视频的指定对象是良性还是恶性。
为了验证本发明上述方案的效果，在真实的CP-EBUS数据集上进行了实验，并且和现有的深度学习方法以及人类专家使用的方法进行了性能比较。实验中模型在727个弹性视频通过分层五折交叉验证的方式进行训练和评估。具体地，727个弹性视频被平均成五折，在分割数据时，每折中良恶性比例基本一致。对每一折进行评估时，将其余四折中的三折作为训练数据，另外一折作为验证数据用以选择模型。最后我们计算不同模型在五折交叉验证中的结果的平均值进行对比。同时，为了验证模型选图的效果，由三位专家对模型在弹性视频上选出的图片用定量和半定量方法进行诊断。另外三名专家在弹性视频上直接进行选图和诊断，将不同模型的诊断性能以及基于模型和专家选图的临床方法诊断性能作为结果记录下来。
实验结果如下：
表1：本发明具体方案和一般视频识别方法的性能对比。ACC：准确率，SEN：敏感度，SPE：特异度，PPV：阳性预测值，NPV：阴性预测值。此外，括号内的数值是配对t检验获得的p值。
表2：自动选图和三名专家组成的专家组分别选取的三幅代表性图片的定性五分法诊断结果。ACC：准确率，SEN：敏感度，SPE：特异度，PPV：阳性预测值，NPV：阴性预测值。
表3：自动选图与专家选图四种定量指标的差异性
表1比较了本发明具体方案和现有自然视频识别方法的诊断性能。这里LSTM和GRU表示直接采用递归神经网络LSTM和GRU融合帧特征。可以看出，在各个指标下本文所述方法均远远优于现有深度学习模型。同时，我们使用配对t检验(paired t-test)对本文所述方法的和其他模型结果的显著性进行了统计分析，结果表明我们的方法与现有模型的结果在大多数情况下具有显著差异，验证了本文所述方法在基于CP-EBUS视频的淋巴结良恶性诊断中的优越性。表2和表3分别比较了使用定性和定量方法对模型选图和专家选图进行诊断的结果比较。结果表明，利用本文所述方法所选的图进行诊断具有更好和更稳定的性能表现，远远优于复杂、耗时的专家选图，进一步突出了本文所述方法的优越性。
与现有技术相比，本发明具体方案具有以下优点：
首先实现了EBUS弹性模式视频的自动化选图和诊断，选图和诊断结果相较于人类专家无显著差异。
能够快速完成自动选图和诊断，适用于EBUS弹性模式视频的实时分析。
相较于现有技术而言易于推广，可以高效部署在CP-EBUS设备上。
请参考图7，提供了一种电子设备30，包括：
处理器31；以及，
存储器32，用于存储所述处理器的可执行指令；
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器31能够通过总线33与存储器32通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种CP-EBUS弹性模式视频的处理方法，其特征在于，包括：
获取待处理视频的有效帧；所述待处理视频源自目标对象的E模式超声影像；
将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；所述第一神经网络采用了具有可学习参数的一层或多层全连接层；
基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；
基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果，所述当前分类结果表征了所述目标对象倾向于良性还是恶性。
2.根据权利要求1所述的CP-EBUS弹性模式视频的处理方法，其特征在于，
获取待处理视频的有效帧，包括：
获取所述待处理视频；
在所述待处理视频的所有视频帧中，基于所述视频帧的成像质量，确定所述有效帧。
3.根据权利要求2所述的CP-EBUS弹性模式视频的处理方法，其特征在于，
基于所述视频帧的成像质量，确定所述有效帧，包括：
确定任一第Z个视频帧中的扫描框区域；其中，Z为大于或与等于1的整数；
计算所述第Z个视频帧的扫描框区域内像素点的至少一种像素参数的统计值，所述至少一种像素参数包括饱和度和/或相对明暗度；
针对所述第Z个视频帧，通过比较所述至少一种像素参数的统计值与预设的选择阈值，确定所述任一视频帧是否为所述有效帧；
若所述第Z个视频帧为有效帧，则确定所述第Z个视频帧之后或附近的M个视频帧非有效帧，其中，M为大于或等于1的整数。
4.根据权利要求1所述的CP-EBUS弹性模式视频的处理方法，其特征在于，
基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息，包括：
基于每个有效帧的单帧特征表示信息，利用可微分稀疏图注意力机制，计算该有效帧的重要性评估信息；所述重要性评估信息被用于表征出对应有效帧在所述待处理视频或所有有效帧中的重要程度；其中的K为大于或等于1的整数；
基于所述重要性评估信息，选取重要性最高的K个有效帧作为代表性图片；
对所述代表性图片的重要性评估信息进行加权求和，得到加权特征表示信息；
将所述加权特征表示信息输入经训练的第二神经网络，获取所述第二神经网络输出的所述视频特征表示信息，所述第二神经网络采用了具有可学习参数的一层或多层全连接层。
5.根据权利要求4所述的CP-EBUS弹性模式视频的处理方法，其特征在于，
基于每个有效帧的单帧特征表示信息，利用可微分稀疏图注意力机制，计算该有效帧的重要性评估信息，包括：
针对任意第Y个有效帧，通过预先确定的第一可学习参数矩阵，将所述第Y个有效帧的单帧特征表示信息映射为指定维度的嵌入特征表示信息；其中的Y为大于或等于1的整数；
通过预先确定的第二可学习参数矩阵，将所述单帧特征表示信息映射为特定维度的关系特征表示信息；
基于所述关系特征表示信息与所述嵌入特征信息，构建一全连接图，所述全连接图中的每个结点对应一个有效帧，每个结点的结点特征表示信息为对应有效帧的嵌入特征表示信息，表征结点间关系的邻接矩阵是根据对应结点的关系特征表示信息确定；
基于预先确定的第三可学习参数矩阵与所述全连接图，确定一更新特征表示信息；
基于预先确定的第四可学习参数矩阵与所述更新特征表示信息，计算各个有效帧的稠密重要性分数，并基于所述稠密重要性分数，确定所述有效帧的重要性分数作为所述重要性评估信息。
6.根据权利要求5所述的CP-EBUS弹性模式视频的处理方法，其特征在于，
基于预先确定的第三可学习参数矩阵与所述全连接图，确定一更新特征表示信息，包括：
根据所述全连接图的邻接矩阵A和结点特征Xe传递信息，获得AXe；
基于所述第三可学习参数矩阵对AXe进行图卷积，并通过非线性函数σ激活，得到对应的输出结果；
将所述输出结果输入至一层或者多层全连接层，并对该全连接层的输出进行第一次层归一化，将第一次层归一化的结果与跃层连接传递的AXe相加，再进行第二次层归一化，得到所述更新特征表示信息。
7.根据权利要求1至6任一项所述的CP-EBUS弹性模式视频的处理方法，其特征在于，所采用的可学习参数是基于训练视频集，以及针对所述训练视频集中的视频而标定的指定分类结果而得到的，其中的指定分类结果表征了对应视频的指定对象是良性还是恶性。
8.一种CP-EBUS弹性模式视频的处理装置，其特征在于，包括：
获取模块，用于获取待处理视频的有效帧；所述待处理视频源自目标对象的E模式超声影像；
单帧特征确定模块，用于将所述有效帧转化为归一化的颜色直方图，并将所述颜色直方图输入经训练的第一神经网络，获取所述第一神经网络输出的所述有效帧的单帧特征表示信息；所述第一神经网络采用了具有可学习参数的一层或多层全连接层；
视频特征确定模块，用于基于有效帧的单帧特征表示信息，在有效帧中选出代表性图片，并基于所述代表性图片，确定对应于所述待处理视频的视频特征表示信息；
分类模块，用于基于所述视频特征表示信息，确定对应于所述待处理视频的当前分类结果，所述当前分类结果表征了所述目标对象倾向于良性还是恶性。
9.一种电子设备，其特征在于，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现权利要求1至7任意之一所述的方法。
10.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至7任意之一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210158738.5A CN114611584A (zh) | 2022-02-21 | 2022-02-21 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210158738.5A CN114611584A (zh) | 2022-02-21 | 2022-02-21 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114611584A true CN114611584A (zh) | 2022-06-10 |
Family
ID=81859216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210158738.5A Pending CN114611584A (zh) | 2022-02-21 | 2022-02-21 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114611584A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130142418A1 (en) * | 2011-12-06 | 2013-06-06 | Roelof van Zwol | Ranking and selecting representative video images |
| US20160378863A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
| CN109460707A (zh) * | 2018-10-08 | 2019-03-12 | 华南理工大学 | 一种基于深度神经网络的多模态动作识别方法 |
| CN110032926A (zh) * | 2019-02-22 | 2019-07-19 | 哈尔滨工业大学（深圳） | 一种基于深度学习的视频分类方法以及设备 |
| US20190384985A1 (en) * | 2017-09-15 | 2019-12-19 | Tencent Technology (Shenzhen) Company Limited | Video classification method, information processing method, and server |
| CN111639709A (zh) * | 2020-05-29 | 2020-09-08 | 大连海事大学 | 一种基于深度学习的航标灯质智能识别方法 |
| WO2020221278A1 (zh) * | 2019-04-29 | 2020-11-05 | 北京金山云网络技术有限公司 | 视频分类方法及其模型的训练方法、装置和电子设备 |
| US20210073563A1 (en) * | 2019-09-10 | 2021-03-11 | Microsoft Technology Licensing, Llc | Depth-based object re-identification |
| CN112560827A (zh) * | 2021-02-24 | 2021-03-26 | 北京澎思科技有限公司 | 模型训练方法、装置、预测方法、电子设备及介质 |
| CN113255781A (zh) * | 2021-05-28 | 2021-08-13 | 上海市胸科医院 | Cp-ebus的代表性图片选取方法、装置以及诊断系统 |
| KR20210114257A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 인공 신경망 기반의 비정제 동영상에서의 행동 인식 방법 및 장치 |
| CN113554599A (zh) * | 2021-06-28 | 2021-10-26 | 杭州电子科技大学 | 一种基于人类视觉效应的视频质量评价方法 |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
-
2022
- 2022-02-21 CN CN202210158738.5A patent/CN114611584A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130142418A1 (en) * | 2011-12-06 | 2013-06-06 | Roelof van Zwol | Ranking and selecting representative video images |
| US20160378863A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
| US20190384985A1 (en) * | 2017-09-15 | 2019-12-19 | Tencent Technology (Shenzhen) Company Limited | Video classification method, information processing method, and server |
| CN109460707A (zh) * | 2018-10-08 | 2019-03-12 | 华南理工大学 | 一种基于深度神经网络的多模态动作识别方法 |
| CN110032926A (zh) * | 2019-02-22 | 2019-07-19 | 哈尔滨工业大学（深圳） | 一种基于深度学习的视频分类方法以及设备 |
| WO2020221278A1 (zh) * | 2019-04-29 | 2020-11-05 | 北京金山云网络技术有限公司 | 视频分类方法及其模型的训练方法、装置和电子设备 |
| US20210073563A1 (en) * | 2019-09-10 | 2021-03-11 | Microsoft Technology Licensing, Llc | Depth-based object re-identification |
| KR20210114257A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 인공 신경망 기반의 비정제 동영상에서의 행동 인식 방법 및 장치 |
| CN111639709A (zh) * | 2020-05-29 | 2020-09-08 | 大连海事大学 | 一种基于深度学习的航标灯质智能识别方法 |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
| CN112560827A (zh) * | 2021-02-24 | 2021-03-26 | 北京澎思科技有限公司 | 模型训练方法、装置、预测方法、电子设备及介质 |
| CN113255781A (zh) * | 2021-05-28 | 2021-08-13 | 上海市胸科医院 | Cp-ebus的代表性图片选取方法、装置以及诊断系统 |
| CN113554599A (zh) * | 2021-06-28 | 2021-10-26 | 杭州电子科技大学 | 一种基于人类视觉效应的视频质量评价方法 |
Non-Patent Citations (6)
| Title |
|---|
| FUJINO, KOSUKE: "First Evaluation of the Next-Generation Endobronchial Ultrasound System in Preclinical Models", 《ANNALS OF THORACIC SURGERY》, vol. 107, no. 5, 8 May 2019 (2019-05-08) * |
| 刘天亮;谯庆伟;万俊伟;戴修斌;罗杰波;: "融合空间-时间双网络流和视觉注意的人体行为识别", 电子与信息学报, no. 10, 15 August 2018 (2018-08-15) * |
| 张聪聪;何宁;: "基于关键帧的双流卷积网络的人体动作识别方法", 南京信息工程大学学报(自然科学版), no. 06, 28 November 2019 (2019-11-28) * |
| 李依依;王继龙;: "自注意力机制的视频摘要模型", 计算机辅助设计与图形学学报, no. 04 * |
| 李猛;: "基于神经网络的视频量化参数预测研究", 辽宁师专学报(自然科学版), no. 01, 25 March 2007 (2007-03-25) * |
| 解怀奇;乐红兵;: "基于通道注意力机制的视频人体行为识别", 电子技术与软件工程, no. 04, 15 February 2020 (2020-02-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| CN113538313B (zh) | 一种息肉分割方法、装置、计算机设备及存储介质 | |
| Ghosh et al. | CHOBS: Color histogram of block statistics for automatic bleeding detection in wireless capsule endoscopy video | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| US9980704B2 (en) | Non-invasive image analysis techniques for diagnosing diseases | |
| US20230133353A1 (en) | Matching network for medical image analysis | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN108062749B (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| JP6837376B2 (ja) | 画像処理装置および方法並びにプログラム | |
| CN111814768B (zh) | 基于ai复合模型的图像识别方法、装置、介质和设备 | |
| CN109241898B (zh) | 腔镜视像的目标定位方法和系统、存储介质 | |
| JP6578058B2 (ja) | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN117095815A (zh) | 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统 | |
| CN112741651B (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| CN113255781B (zh) | Cp-ebus的代表性图片选取方法、装置以及诊断系统 | |
| CN114611584A (zh) | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 | |
| WO2022038855A1 (ja) | 特徴量取得装置、類似画像検索装置、表示装置、特徴量取得方法、類似画像検索方法、表示方法及びプログラム | |
| ALOUPOGIANNI et al. | Binary malignancy classification of skin tissue using reflectance and texture features from macropathology multi-spectral images | |
| CN112734707A (zh) | 一种3d内窥镜辅助检测方法、系统、装置及存储介质 | |
| Vats et al. | SURF-SVM based identification and classification of gastrointestinal diseases in wireless capsule endoscopy | |
| CN116452566B (zh) | 一种多普勒图像的识别方法、系统、电子设备及存储介质 | |
| Khattar et al. | Investigation of Denoising Techniques for Removal of Hair and Noise from Dermoscopic Images | |
| Wang et al. | Tumor detecting in colonoscopic narrow-band imaging data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |