CN113255781A - Cp-ebus的代表性图片选取方法、装置以及诊断系统 - Google Patents
Cp-ebus的代表性图片选取方法、装置以及诊断系统 Download PDFInfo
- Publication number
- CN113255781A CN113255781A CN202110593646.5A CN202110593646A CN113255781A CN 113255781 A CN113255781 A CN 113255781A CN 202110593646 A CN202110593646 A CN 202110593646A CN 113255781 A CN113255781 A CN 113255781A
- Authority
- CN
- China
- Prior art keywords
- candidate
- color
- ebus
- image
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003745 diagnosis Methods 0.000 title description 13
- 239000011159 matrix material Substances 0.000 claims description 68
- 239000013598 vector Substances 0.000 claims description 66
- 238000011156 evaluation Methods 0.000 claims description 35
- 238000013441 quality evaluation Methods 0.000 claims description 16
- 238000002405 diagnostic procedure Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010187 selection method Methods 0.000 claims description 7
- 238000001303 quality assessment method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 210000001165 lymph node Anatomy 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000003902 lesion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000007542 hardness measurement Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 238000001135 Friedman test Methods 0.000 description 1
- 238000001793 Wilcoxon signed-rank test Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种CP‑EBUS的代表性图片选取方法、装置以及诊断系统，其中的方法包括：获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP‑EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；提取所述M个候选图像中每个候选图像的颜色特征；对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。通过在弹性模式视频中提取候选图像的颜色特征，再对颜色特征进行聚类的方法，获取弹性模式视频中的代表性图像，相比于传统方法中需要人员观看视频选择代表性图片，本发明无需耗费人力，且节省了人员的时间，避免了主观选择的偏倚。
Description
技术领域
本发明涉及医疗图像分析技术领域，尤其涉及一种CP-EBUS的代表性图片选取方法、装置以及诊断系统。
背景技术
CP-EBUS是一种微创的胸内病变诊断技术，利用超声装置进入准备活检的淋巴结或病变附近，获取不同模态下的淋巴结或者病变的超声影像，现有研究表明，超声影像中的弹性模式(即E模式)对于淋巴结良恶性的诊断有着重要的价值。依据超声影像的诊断结果，可以帮助操作医生在活检过程中挑选合适的淋巴结或病变进行穿刺，同时当穿刺结果阴性时也可以作为活检诊断的一个补充，弥补病理诊断的缺陷。
现有技术中，需要医生从弹性超声视频中选择出代表性图片，该代表性图片往往需要医生观察整个视频，并且高度依赖于医生的经验，专家医生所选出来的代表性图片要好于初学者。因而对于医疗资源匮乏的地区，或者医疗业务繁忙的医院，从弹性视频中选择代表性图片会是一件困难或者费时的工作。
发明内容
本发明提供一种CP-EBUS的代表性图片选取方法、装置以及诊断系统，以解决弹性模式视频中代表性图片选取困难且耗时耗力的问题，实现代表性图片的自动选取。
本发明的第一方面，提供了一种CP-EBUS的图片选取方法，包括：
获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
提取所述M个候选图像中每个候选图像的颜色特征；
对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。
可选的，获取弹性模式视频中的M个候选图像，包括：
提取所述弹性模式视频中的多个视频帧作为可选的视频帧；
确定所述可选的视频帧的图像质量评估信息；
根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像。
可选的，获取弹性模式视频中的M个候选图像，还包括：
基于预设的扫描框对视频帧进行裁剪。
可选的，所述图像质量评估信息包括：第一评估信息与第二评估信息；
确定所述可选的视频帧的图像质量评估信息，包括：
根据所述可选的视频帧中的饱和度，确定所述可选的视频帧中的有颜色像素点与无颜色像素点；
针对于每一张可选的视频帧，计算其中有颜色像素点的覆盖比例，并以此作为所述第一评估信息；
针对于每一张可选的视频帧，计算其中有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值，并以此作为第二评估信息。
可选的，根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像，包括：
若任意之一可选的视频帧的第一评估信息与第二评估信息分别大于对应的评估阈值，则确定该可选的视频帧为所述候选图像。
可选的，提取所述M个候选图像中每个候选图像的颜色特征，包括：
提取所述候选图像的颜色直方图；
基于所提取的颜色直方图确定所述颜色特征。
可选的，提取所述候选图像的颜色直方图，包括：
针对于红色、绿色、蓝色三个颜色维度中的每个颜色维度，确定像素值的N个区间；
确定每个像素点对应的区间组合；所述对应的区间组合表征了对应像素点的三个颜色维度的像素值在三个颜色维度分别所处的区间；
确定所有N3种可能的区间组合中，每种区间组合所对应的像素点的数量；
基于每种区间组合所对应的像素点的数量，形成D维向量中的一个维度的分量，以利用所述D维向量作为所述颜色直方图，其中的D＝N3。
可选的，所述D维向量的第k个分量满足以下公式：
其中；
Vk表征了所述D维向量的第k个维度的分量；
W表征了所述候选图像的宽；
H表征了所述候选图像的长；
Ik i,j表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合是否为第k种区间组合的指示变量；
Mi,j＝k表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合为所有N3种可能的区间组合中的第k个区间组合。
可选的，提取所述候选图像的颜色直方图之后，还包括：
通过以下公式对所述D维向量进行归一化处理，得到归一化后的D维向量：
其中，
V'k表征了所述归一化后的D维向量的第k个维度的分量；
Vk表征了所述D维向量的第k个维度的分量；
mean(V)表征了所述D维向量的D个维度的分量的均值；
standard(V)表征了所述D维向量的D个维度的分量的标准差。
可选的，基于所提取的颜色直方图，确定所述颜色特征，包括：
对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，以利用所述M*Dr的矩阵中的每个Dr维向量表征一个候选图像的颜色特征。
可选的，对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，具体包括：
计算所述M*D的矩阵的转置与所述M*D的矩阵的乘积，得到参考矩阵；
计算所述参考矩阵的特征值，以及每个特征值对应的特征向量；
将所有特征值由大到小顺序排列，并在所述所有特征值中选取Dr个特征值，
将所述Dr个特征值对应的Dr个特征向量组成特征矩阵，并将所述特征矩阵与所述参考矩阵相乘，得到所述M*Dr的矩阵。
可选的，对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像，包括：
对所述颜色特征进行聚类，得到每个候选图像的颜色特征所属类别的聚类中心，并确定每个类别的候选图像的数量；
确定候选图像数量最多的类别的聚类中心作为代表性聚类中心；
确定与所述代表性聚类中心最近的Q个颜色特征所对应的候选图像为所述代表性图像。
可选的，所述聚类中心的数量的数值是在多个候选数值中选出来的，所选出来的数值匹配于定性诊断方法或定量诊断方法的诊断指标。
根据本发明的第二方面，提供了一种CP-EBUS的代表性图片选取装置，包括：
图像预处理模块，用于获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
特征提取模块，用于提取所述M个候选图像中每个候选图像的颜色特征；
图像选取模块，用于对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。
根据本发明的第三方面，提供了一种CP-EBUS的诊断系统，包括控制器、CP-EBUS超声装置，所述CP-EBUS超声装置用于采集弹性模式视频，并将所述弹性模式视频反馈至所述控制器，所述控制器用于执行本发明第一方面及其可选方案所述的方法。
根据本发明的第四方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码和相关数据；
所述处理器，用于执行所述存储器中的代码用以实现本发明第一方面及其可选方案所述的方法。
根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面及其可选方案所述的方法。
本发明提供了一种CP-EBUS的代表性图片选取方法、装置以及诊断系统，通过在弹性模式视频中提取候选图像的颜色特征，再对颜色特征进行聚类的方法，自动获取弹性模式视频中的代表性图像，相比于部分方案中需要人员观看视频选择代表性图片，本发明无需耗费人力，且节省了人员的时间；
同时，在弹性模式视频中提取M个候选图像，进而在候选图像中选取代表性图像，过滤掉了弹性模式视频中的冗余信息，减少了颜色特征以及聚类的工作量，提高自动选图的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中CP-EBUS的代表性图片选取方法的流程示意图；
图2是本发明一实施例中步骤S101的流程示意图一；
图3是本发明一实施例中步骤S101的流程示意图二；
图4是本发明一实施例中步骤S1012的流程示意图；
图5是本发明一实施例中步骤S1013的流程示意图；
图6是本发明一实施例中步骤S102的流程示意图；
图7是本发明一实施例中步骤S1021的流程示意图；
图8是本发明一实施例中步骤S1022的流程示意图；
图9是本发明一实施例中步骤S10221的流程示意图；
图10是本发明一实施例中步骤S103的流程示意图；
图11是本发明一实施例中CP-EBUS的代表性图片选取方法各步骤的处理结果示意图；
图12是本发明一实施例中CP-EBUS的代表性图片选取装置的程序模块示意图；
图13是本发明一实施例中图像预处理模块201的程序模块示意图一；
图14是本发明一实施例中图像预处理模块201的程序模块示意图二；
图15是本发明一实施例中特征选取模块202的程序模块示意图；
图16是本发明一实施例中颜色特征确定单元2022的程序模块示意图；
图17是本发明一实施例中图像选取模块203的程序模块示意图；
图18是本发明一实施例中电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明说明书的描述中，需要理解的是，术语“上部”、“下部”、“上端”、“下端”、“下表面”、“上表面”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明的描述中，“多个”的含义是多个，例如两个，三个，四个等，除非另有明确具体的限定。
在本发明说明书的描述中，除非另有明确的规定和限定，术语“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1，本发明一实施例提供了一种CP-EBUS的图片选取方法，包括：
S101：获取弹性模式视频中的M个候选图像；
所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
其中的弹性模式视频可以理解为CP-EBUS超声装置超声装置在弹性模式(即E模式)下，对淋巴结或病变的软组织进行硬度测量后形成的视频；M个候选图片可以理解为在弹性模式视频的多帧中，根据需求，选择其中的M帧作为M个候选图像，选出的M个候选图像可以是弹性模式视频中最清晰、颜色最丰富的M帧，也可以是弹性模式视频中包含目标组织的M帧；
S102：提取所述M个候选图像中每个候选图像的颜色特征；
其中的颜色特征可以为RGB颜色特征、HSV颜色特征、HIS颜色特征，也可以为，采用颜色特征用来描述候选图像，使得描述结果与图像本身的尺寸、方向、视角等的相关性较低，从而具有较好的鲁棒性；
S103：对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像；
步骤S103中的聚类可以理解为，将提取的颜色特征，按照其相似程度，分成若干类别，每个类别的颜色特征具有较高的相似程度，进而聚类的结果，可以在M个候选图像中，选出Q个代表性图像，其中的代表性图像可以理解为能够描述弹性模式视频对应的淋巴结或病变的软组织的图像，将视频简化为图片，更加直观的体现对应的淋巴结或病变的软组织的硬度测量结果；
其中的聚类的方法可例如包括以下至少之一方法：
划分方法：例如K-MEANS算法、CLARANS算法等；
层次方法：例如BIRCH算法、CURE算法等；
基于密度的方法：例如DBSCAN算法、OPTICS算法等；
基于网络的方法：例如STING算法、CLIQUE算法等；
基于模型的方法。
在本发明实施例的具体方案中，可采用K-MEANS算法实现聚类。
请参考图2，一种实施方式中，步骤S101，包括：
S1011：提取所述弹性模式视频中的多个视频帧作为可选的视频帧；
一种举例中，可选的视频帧可以为弹性模式视频中的所有视频帧；
再一种举例中，由于相邻的视频帧具有较高的相似性，所以也可以每隔a帧选取一帧作为可选的视频帧，进而可以在尽量减少遗漏重要信息的情况下，降低可选的视频帧的数量，避免过高的复杂度，简化了算法；
S1012：确定所述可选的视频帧的图像质量评估信息；
步骤S1012中，确定视频帧的图像质量评估信息，可以根据可选的视频帧的清晰度、饱和度、明暗程度等计算得到；
S1013：根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像；
步骤S1013中，针对于图像质量评估信息对可选的视频帧进行筛选，可例如当图像质量评估信息处于候选图像对应的评估阈值内，则保留对应的视频帧，还可例如，根据图像质量评估信息与候选图像对应的评估阈值的匹配程度，将所有的可选的视频帧划分为有效帧和冗余帧，进而选择至少部分有效帧作为M个候选图片。
请参考图3，一种实施方式中，步骤S101还包括：
S1014：基于预设的扫描框对视频帧进行裁剪。
其中的扫描框可以例如CP-EBUS超声装置在进行成像时，会在视野内形成一个轮廓，而需要的淋巴结或病变的软组织被轮廓包围在内，进而在进行视频帧的处理时，可以将轮廓内的图像裁剪出来；
步骤S1014中，对视频帧进行裁剪，去掉了视频帧中的冗余信息，减少了视频帧的大小，便于后续步骤的执行。
一种举例中，可以获取预设的扫描框的RGB值，进而在步骤S1014中进行裁剪时，可以识别到扫描框的位置，进而选择可能包裹扫描框的矩形对应的区域作为裁剪后的视频帧。
步骤S1014的裁剪，可以在步骤S1011之前，也可以在步骤S1012之前，还可以在步骤S1013之前，又可以在步骤S1013之后，步骤S102之前。
请参考图4，一种实施方式中，所述图像质量评估信息包括：第一评估信息与第二评估信息；
步骤S1012，包括：
S10121：根据所述可选的视频帧中的饱和度，确定所述可选的视频帧中的有颜色像素点与无颜色像素点；
具体地，可以获取每个像素点的饱和度的值，然后对于每个饱和度的值与预设的饱和度阈值进行比较，大于饱和度阈值的饱和度的值对应的像素点即为有颜色像素点，而可选的视频帧的其余像素点均为无颜色像素点。
S10122：针对于每一张可选的视频帧，计算其中有颜色像素点的覆盖比例，并以此作为所述第一评估信息；
步骤S10122中的覆盖比例可以理解为，计算有颜色与像素点的数量与可选的视频帧中所有像素点的数量的比值，进而将该比值作为第一评估信息；
S10123：针对于每一张可选的视频帧，计算其中有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值，并以此作为第二评估信息。
请参考图5，一种实施方式中，步骤S1013，包括：
S10131：若任意之一可选的视频帧的第一评估信息与第二评估信息分别大于对应的评估阈值，则确定该可选的视频帧为所述候选图像。
一种举例中，将可选的视频帧有颜色像素点的覆盖比例记为rτ，将第一评估信息的评估阈值记为Tτ，将可选的视频帧有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值乘以参考量Iv后记为rv，将第一评估信息的评估阈值记为Tv，则步骤S10131可以理解为，当rτ>Tτ且rv>Tv时，该可选的视频帧作为候选图像；
进一步举例中，Tτ＝0.65，Iv＝90，Tv＝85，步骤S10121中判断是否为有颜色像素点的饱和度阈值为0.3。
请参考图6，一种实施方式中，步骤S102，包括：
S1021：提取所述候选图像的颜色直方图；
其中的颜色直方图描述了是不同色彩在候选图像中所占的比例，可以根据不同的颜色空间进行描述，例如RGB颜色空间、HSV颜色空间等，进而确定图像中每个颜色在颜色空间中的每种颜色取值可能的像素点的个数，作为颜色直方图；
S1022：基于所提取的颜色直方图确定所述颜色特征；
步骤S1022中，可以将步骤S1021中的颜色直方图作为颜色特征，也可以将颜色直方图进行降维等处理后得到的颜色直方图作为颜色特征。
请参考图7，一种实施方式中，步骤S1021，包括：
S10211：针对于红色、绿色、蓝色三个颜色维度中的每个颜色维度，确定像素值的N个区间；
S10212：确定每个像素点对应的区间组合；
所述对应的区间组合表征了对应像素点的三个颜色维度的像素值在三个颜色维度分别所处的区间；
S10213：确定所有N3种可能的区间组合中，每种区间组合所对应的像素点的数量；
S10214：基于每种区间组合所对应的像素点的数量，形成D维向量中的一个维度的分量，以利用所述D维向量作为所述颜色直方图，其中的D＝N3。
一种实施方式中，所述D维向量的第k个分量满足以下公式：
其中；
Vk表征了所述D维向量的第k个维度的分量；
W表征了所述候选图像的宽；
H表征了所述候选图像的长；
Ik i,j表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合是否为第k种区间组合的指示变量；
Mi,j＝k表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合为所有N3种可能的区间组合中的第k个区间组合。
一种实施方式中，步骤S1021之后还包括：通过以下公式对所述D维向量进行归一化处理，得到归一化后的D维向量：
其中，
V'k表征了所述归一化后的D维向量的第k个维度的分量；
Vk表征了所述D维向量的第k个维度的分量；
mean(V)表征了所述D维向量的D个维度的分量的均值；
standard(V)表征了所述D维向量的D个维度的分量的标准差。
一种举例中，步骤S10211至步骤S10214具体可以为，对于一个大小为W*H的24比特(bit)彩色图像
(
表示自然数集合，C为3，对应RGB三个颜色维度，每个颜色维度均为8比特)，任意一个像素点总共有28*28*28＝224种取值可能，在三个颜色维度上，都以N＝32作为区间大小，对取值可能进行简化，即可以将每个颜色维度在0-31区间的值视作0，在32-63区间的值视作1，依次类推，共有D＝224/323＝512种取值可能(即区间组合)。对于这D种取值可能，统计I中的W*H个像素点的像素值在每个取值可能上的个数，并将这D个个数构成一个D维向量V，作为颜色直方图；D维向量V中第k个维度的分量的表达式可以用上述公式1和公式2表示；
进一步地，可以通过公式3对D为向量V进行归一化处理。
请参考图8，步骤S1022，包括：
S10221：对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，以利用所述M*Dr的矩阵中的每个Dr维向量表征一个候选图像的颜色特征。
一种举例中，采用主成分分析法对M*D的矩阵进行降维，形成M*Dr的矩阵。
请参考图9，一种实施方式中，步骤S10221，具体包括：
S10222：计算所述M*D的矩阵的转置与所述M*D的矩阵的乘积，得到参考矩阵；
S10223：计算所述参考矩阵的特征值，以及每个特征值对应的特征向量；
S10224：将所有特征值由大到小顺序排列，并在所述所有特征值中选取Dr个特征值，
S10225：将所述Dr个特征值对应的Dr个特征向量组成特征矩阵，并将所述特征矩阵与所述参考矩阵相乘，得到所述M*Dr的矩阵。
一种举例中，步骤S10222至步骤S10225具体可例如，对从弹性模式视频中提取的M个候选图像，收集每一个候选图像的颜色直方图得到M*D的矩阵
计算
得到的参考矩阵的特征值，并将特征值按照从大到小排序，选取其中Dr个特征值使得它们的和达到参考矩阵所有特征值和的99％以上，将
与对应这Dr个特征值的特征向量组成的D*Dr的特征矩阵相乘，得到各M个候选图像降维后的Dr维特征向量组成的M*Dr的矩阵；
进一步举例中，Dr由本发明采集的多个训练集提取的特征矩阵确认为40。
请参考图10，一种实施方式中，步骤S103，包括：
S1031：对所述颜色特征进行聚类，得到每个候选图像的颜色特征所属类别的聚类中心，并确定每个类别的候选图像的数量；
一种举例中，步骤S1031采用K-MEANS算法，对颜色特征进行聚类其中的聚类中心的数量K在通过训练集得到的多个候选值中选取。
S1032：确定候选图像数量最多的类别的聚类中心作为代表性聚类中心；
S1033：确定与所述代表性聚类中心最近的Q个颜色特征所对应的候选图像为所述代表性图像。
一种举例中，每个候选图像的颜色特征是利用M*Dr的矩阵中的一行向量表征的，
步骤S1031具体为：对所述M*Dr的矩阵中的向量进行聚类，得到每行向量所属类别的聚类中心，并确定每个类别的向量的数量；
步骤S1032具体为：确定向量数量最多的类别的聚类中心作为代表性聚类中心；
步骤S1033具体为：确定与所述代表性聚类中心最近的Q个向量所对应的候选图像为所述代表性图像。
一种举例中，对于步骤S10225中得到的M*Dr的矩阵
(其中
表示实数)，以聚类模型(聚类模型为通过训练集得到的聚类中心以及聚类中心的数量)的代表性模式(该代表性模式由训练集颜色特征聚类所得，聚类中心数K为预设的超参数)作为聚类中心的初始值，用K-MEANS算法基于对聚类中心进行更新，并得到中每一行向量(即每一个候选图像的D维向量)所属的聚类中心，并统计它们归属的聚类中心，其中最多向量归属的聚类中心，作为代表性聚类中心，并将离该代表性聚类中心最近的Q个向量所对应的图像，作为该弹性模式视频的代表性图像，Q可以根据实际需求选择；
进一步举例中，K可以为64，Q为3。
一种实施方式中，所述聚类中心的数量的数值是在多个候选数值中选出来的，所选出来的数值匹配于定性诊断方法或定量诊断方法的诊断指标。
一种举例中，定性诊断方法为弹性定性五分法；
一种举例中，定量诊断方法的诊断指标可以包括以下至少之一：
硬区域比率，可以理解为RGB候选图像上，淋巴结蓝色区域的像素点数与整个淋巴结的像素点的比值；
B/G，可以理解为RGB候选图像上B颜色维度的像素点数量与G颜色维度的像素点数量的比值；
H分量均值，可以理解为候选图像的HSV图像中，所有像素点的在H维度的数值的比值；
平均灰度均值，可以理解为所有候选图像的平均灰度的均值。
下面结合图11详细阐述本发明一实施例中的方法，图11中的a阶段静态地表示了弹性模式视频，b阶段对应于步骤S1011中提取出的可选的视频帧，c阶段对应于步骤S1012和S1013，将可选的视频帧划分为有效帧11和冗余帧12，进而将有效帧11中的M个有效帧作为候选图像得到d阶段，得到d阶段中的候选图像后采用主成分分析法，将表征M个候选图像的颜色直方图的M*D的矩阵降维成M*Dr的矩阵，即e阶段，图形13表征了M*D的矩阵，图形14表征了M*Dr的矩阵，接着执行步骤S1031，将M*Dr的矩阵中的每个Dr维向量进行聚类，得到K个类别，f阶段中的K个类别15中的每个类别包含了该类别的Dr维向量对应的候选图像，最后执行步骤S1032和步骤S1033得到Q个代表性图像，可例如g阶段中的三张代表性图像；
需要说明的是，图11中相同的灰度值可对应不同的颜色，其中d、f、g中的图像均为彩色图像。
本发明一实施例中的方法实现了弹性视频自动化选图，选图结果相较于人类专家无显著差异，本发明相较于现有技术中通过人员选取代表性图像，更易于推广，可以快速在拥有CP-EBUS设备的地方高效布置，适用范围更广。
下面结合下表阐述本发明一实施例中的方法的积极效果：
为了验证本发明上述方案的效果，在真实的CP-EBUS数据集上进行了实验，并且和人类专家使用的现有方法进行了性能比较。实验中模型在从415个淋巴结上收集的弹性视频上进行了训练和验证，在验证选定超参数后，用415个淋巴结训练新的模型，并将该模型在从91个额外的淋巴结上收集的弹性视频上进行了测试，对模型在测试视频上选出的图片用定量和半定量方法进行诊断。专家组和初学者组各由三名医生组成，并在同样的测试集上进行对比，由三名专家和初学者各自在测试视频上进行选图和诊断，将三名专家和初学者的测试结果作为结果记录下来。实验结果如下表：
表1：
表2：
表3：
| 定量方法 | p值 |
| 硬区域比率 | 0.801 |
| B/G | 0.693 |
| H分量均值 | 0.862 |
| 平均灰度均值 | 0.514 |
表1采用不同所选代表性图片进行定性五分法诊断的差异性，所选代表性图片1、2、3的诊断结果差异性通过Friedman检验衡量，其它的通过Wilcoxon符号秩检验衡量。可见本发明一实施例中的方法的p值都大于0.05，即所选代表性图片之间无显著性差异，而专家选择的一部分代表性图片之间存在显著差异。
表2是基于不同选图方法(即不同聚类方法)的定性五分法诊断结果。每一种选图方法分别选取3幅代表性图片，其中SEN表示敏感度，SPE表示特异度，PPV表示阳性预测值，NPV表示阴性预测值，ACC表示准确率，FPR表示假阳性率，FNR表示假阴性率，可见本发明一实施例中的方法的选图诊断性能与专家组较为接近。
表3为根据本发明选择的代表性图像与专家选择的代表性图像的诊断结果的四种定量指标的均值的统计检验结果，表征了本发明选择的代表性图像与专家选择的代表性图像的诊断结果的本差异性，可见在四个指标上二者都无显著差异。
请参考图12，本发明一实施例还提供了一种CP-EBUS的代表性图片选取装置2，包括：
图像预处理模块201，用于获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
特征提取模块202，用于提取所述M个候选图像中每个候选图像的颜色特征；
图像选取模块203，用于对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。
请参考图13，一种实施方式中，图像预处理模块201，包括：
视频帧获取单元2011，用于提取所述弹性模式视频中的多个视频帧作为可选的视频帧；
质量评估单元2012，用于确定所述可选的视频帧的图像质量评估信息；
候选图像选取单元2013，用于根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像。
请参考图14，一种实施方式中，图像预处理模块201还包括：
图像裁剪单元2014，用于基于预设的扫描框对视频帧进行裁剪。
一种实施方式中，所述图像质量评估信息包括：第一评估信息与第二评估信息；
质量评估单元2012具体用于：
根据所述可选的视频帧中的饱和度，确定所述可选的视频帧中的有颜色像素点与无颜色像素点；
针对于每一张可选的视频帧，计算其中有颜色像素点的覆盖比例，并以此作为所述第一评估信息；
针对于每一张可选的视频帧，计算其中有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值，并以此作为第二评估信息。
一种实施方式中，候选图像选取单元2013具体用于：
若任意之一可选的视频帧的第一评估信息与第二评估信息分别大于对应的评估阈值，则确定该可选的视频帧为所述候选图像。
请参考图15，一种实施方式中，特征提取模块202包括：
直方图确定单元2021，用于提取所述候选图像的颜色直方图；
颜色特征确定单元2022，用于基于所提取的颜色直方图确定所述颜色特征。
一种实施方式中，直方图确定单元2021具体用于：
针对于红色、绿色、蓝色三个颜色维度中的每个颜色维度，确定像素值的N个区间；
确定每个像素点对应的区间组合；所述对应的区间组合表征了对应像素点的三个颜色维度的像素值在三个颜色维度分别所处的区间；
确定所有N3种可能的区间组合中，每种区间组合所对应的像素点的数量；
基于每种区间组合所对应的像素点的数量，形成D维向量中的一个维度的分量，以利用所述D维向量作为所述颜色直方图，其中的D＝N3。
一种实施方式中，所述D维向量的第k个分量满足以下公式：
其中；
Vk表征了所述D维向量的第k个维度的分量；
W表征了所述候选图像的宽；
H表征了所述候选图像的长；
Ik i,j表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合是否为第k种区间组合的指示变量；
Mi,j＝k表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合为所有N3种可能的区间组合中的第k个区间组合。
一种实施方式中，通过以下公式对所述D维向量进行归一化处理，得到归一化后的D维向量：
其中，
V'k表征了所述归一化后的D维向量的第k个维度的分量；
Vk表征了所述D维向量的第k个维度的分量；
mean(V)表征了所述D维向量的D个维度的分量的均值；
standard(V)表征了所述D维向量的D个维度的分量的标准差。
一种实施方式中，颜色特征确定单元2022用于：
对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，以利用所述M*Dr的矩阵中的每个Dr维向量表征一个候选图像的颜色特征。
请参考图16，颜色特征确定单元2022，具体包括：
颜色特征确定单元2022，用于计算所述M*D的矩阵的转置与所述M*D的矩阵的乘积，得到参考矩阵；
矩阵特征计算子单元20222，用于计算所述参考矩阵的特征值，以及每个特征值对应的特征向量；
矩阵特征选取子单元20223，用于将所有特征值由大到小顺序排列，并在所述所有特征值中选取Dr个特征值，
M*Dr矩阵确定子单元20224，用于将所述Dr个特征值对应的Dr个特征向量组成特征矩阵，并将所述特征矩阵与所述参考矩阵相乘，得到所述M*Dr的矩阵。
请参考图17，一种实施方式中，图像选取模块203，包括：
特征聚类单元2031，用于对所述颜色特征进行聚类，得到每个候选图像的颜色特征所属类别的聚类中心，并确定每个类别的候选图像的数量；
代表中心确定单元2032，用于确定候选图像数量最多的类别的聚类中心作为代表性聚类中心；
代表图像选取单元2033，用于确定与所述代表性聚类中心最近的Q个颜色特征所对应的候选图像为所述代表性图像。
一种实施方式中，所述聚类中心的数量的数值是在多个候选数值中选出来的，所选出来的数值匹配于定性诊断方法或定量诊断方法的诊断指标。
一种实施方式中，本发明提供了一种CP-EBUS的诊断系统，包括控制器、CP-EBUS超声装置，所述CP-EBUS超声装置用于采集弹性模式视频，并将所述弹性模式视频反馈至所述控制器，所述控制器用于执行本发明第一方面及其可选方案所述的方法。
一种举例中，诊断系统还包括活检针和内窥镜，活检针、超声装置和内窥镜装于探头，精确地由气管或支气管进入准备活检的淋巴结或病变附近观察病变，并利用活检针取得目标淋巴结或者病变的组织或细胞成分，通过对取出标本的病理分析可以对病人的疾病进行准确的诊断；
获取的代表性图像后，对于每个代表性图像，获取其颜色分布，如果偏蓝色，即淋巴结偏硬，则对于淋巴结诊断倾向于恶性，如果偏绿色，即淋巴结偏软，则对于淋巴结诊断倾向于良性。另一类定量的方法，通常是以影像的某些统计特征作为指标，设定一定的阈值，超过或者低于该阈值则认为该淋巴结属于恶性或良性。
请参考图18，本发明还提供了一种电子设备30，包括
处理器31；以及，
存储器32，用于存储处理器的可执行指令；
其中，处理器31配置为经由执行可执行指令来执行以上所涉及的方法。
处理器31能够通过总线33与存储器32通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以前所涉及的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (17)
1.一种CP-EBUS的图片选取方法，其特征在于，包括：
获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
提取所述M个候选图像中每个候选图像的颜色特征；
对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。
2.根据权利要求1所述的CP-EBUS的代表性图片选取方法，其特征在于，获取弹性模式视频中的M个候选图像，包括：
提取所述弹性模式视频中的多个视频帧作为可选的视频帧；
确定所述可选的视频帧的图像质量评估信息；
根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像。
3.根据权利要求2所述的CP-EBUS的代表性图片选取方法，其特征在于，获取弹性模式视频中的M个候选图像，还包括：
基于预设的扫描框对视频帧进行裁剪。
4.根据权利要求2所述的CP-EBUS的代表性图片选取方法，其特征在于，所述图像质量评估信息包括：第一评估信息与第二评估信息；
确定所述可选的视频帧的图像质量评估信息，包括：
根据所述可选的视频帧中的饱和度，确定所述可选的视频帧中的有颜色像素点与无颜色像素点；
针对于每一张可选的视频帧，计算其中有颜色像素点的覆盖比例，并以此作为所述第一评估信息；
针对于每一张可选的视频帧，计算其中有颜色像素点的明暗度均值与无颜色像素点的明暗度均值的比值，并以此作为第二评估信息。
5.根据权利要求4所述的CP-EBUS的代表性图片选取方法，其特征在于，根据所述可选的视频帧的图像质量评估信息，对所述可选的视频帧进行筛选，以在所述可选的视频帧中确定所述候选图像，包括：
若任意之一可选的视频帧的第一评估信息与第二评估信息分别大于对应的评估阈值，则确定该可选的视频帧为所述候选图像。
6.根据权利要求1所述的CP-EBUS的代表性图片选取方法，其特征在于，提取所述M个候选图像中每个候选图像的颜色特征，包括：
提取所述候选图像的颜色直方图；
基于所提取的颜色直方图确定所述颜色特征。
7.根据权利要求6所述的CP-EBUS的代表性图片选取方法，其特征在于，提取所述候选图像的颜色直方图，包括：
针对于红色、绿色、蓝色三个颜色维度中的每个颜色维度，确定像素值的N个区间；
确定每个像素点对应的区间组合；所述对应的区间组合表征了对应像素点的三个颜色维度的像素值在三个颜色维度分别所处的区间；
确定所有N3种可能的区间组合中，每种区间组合所对应的像素点的数量；
基于每种区间组合所对应的像素点的数量，形成D维向量中的一个维度的分量，以利用所述D维向量作为所述颜色直方图，其中的D＝N3。
8.根据权利要求7所述的CP-EBUS的代表性图片选取方法，其特征在于，所述D维向量的第k个分量满足以下公式：
其中；
Vk表征了所述D维向量的第k个维度的分量；
W表征了所述候选图像的宽；
H表征了所述候选图像的长；
Ik i,j表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合是否为第k种区间组合的指示变量；
Mi,j＝k表征了所述候选图像中坐标为(i,j)的像素点对应的区间组合为所有N3种可能的区间组合中的第k个区间组合。
9.根据权利要求7所述的CP-EBUS的代表性图片选取方法，其特征在于，提取所述候选图像的颜色直方图之后，还包括：
通过以下公式对所述D维向量进行归一化处理，得到归一化后的D维向量：
其中，
V'k表征了所述归一化后的D维向量的第k个维度的分量；
Vk表征了所述D维向量的第k个维度的分量；
mean(V)表征了所述D维向量的D个维度的分量的均值；
standard(V)表征了所述D维向量的D个维度的分量的标准差。
10.根据权利要求7所述的CP-EBUS的代表性图片选取方法，其特征在于，基于所提取的颜色直方图，确定所述颜色特征，包括：
对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，以利用所述M*Dr的矩阵中的每个Dr维向量表征一个候选图像的颜色特征。
11.根据权利要求10所述的CP-EBUS的代表性图片选取方法，其特征在于，对M个候选图像的所有颜色直方图所形成的M*D的矩阵进行降维，形成M*Dr的矩阵，具体包括：
计算所述M*D的矩阵的转置与所述M*D的矩阵的乘积，得到参考矩阵；
计算所述参考矩阵的特征值，以及每个特征值对应的特征向量；
将所有特征值由大到小顺序排列，并在所述所有特征值中选取Dr个特征值；
将所述Dr个特征值对应的Dr个特征向量组成特征矩阵，并将所述特征矩阵与所述参考矩阵相乘，得到所述M*Dr的矩阵。
12.根据权利要求1所述的CP-EBUS的代表性图片选取方法，其特征在于，对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像，包括：
对所述颜色特征进行聚类，得到每个候选图像的颜色特征所属类别的聚类中心，并确定每个类别的候选图像的数量；
确定候选图像数量最多的类别的聚类中心作为代表性聚类中心；
确定与所述代表性聚类中心最近的Q个颜色特征所对应的候选图像为所述代表性图像。
13.根据权利要求12所述的CP-EBUS的代表性图片选取方法，其特征在于，所述聚类中心的数量的数值是在多个候选数值中选出来的，所选出来的数值匹配于定性诊断方法或定量诊断方法的诊断指标。
14.一种CP-EBUS的代表性图片选取装置，其特征在于，包括：
图像预处理模块，用于获取弹性模式视频中的M个候选图像，所述弹性模式视频是通过CP-EBUS超声装置采集得到，所述M个候选图像按照时间顺序排列；
特征提取模块，用于提取所述M个候选图像中每个候选图像的颜色特征；
图像选取模块，用于对所提取的颜色特征进行聚类，并根据聚类结果，在所述M个候选图像中选取Q个代表性图像。
15.一种CP-EBUS的诊断系统，其特征在于包括控制器、CP-EBUS超声装置，所述CP-EBUS超声装置用于采集弹性模式视频，并将所述弹性模式视频反馈至所述控制器，所述控制器用于执行权利要求1至13任一项所述的方法。
16.一种电子设备，其特征在于，包括处理器与存储器，
所述存储器，用于存储代码和相关数据；
所述处理器，用于执行所述存储器中的代码用以实现权利要求1至13任一项所述的方法。
17.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至13任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110593646.5A CN113255781B (zh) | 2021-05-28 | 2021-05-28 | Cp-ebus的代表性图片选取方法、装置以及诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110593646.5A CN113255781B (zh) | 2021-05-28 | 2021-05-28 | Cp-ebus的代表性图片选取方法、装置以及诊断系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113255781A true CN113255781A (zh) | 2021-08-13 |
| CN113255781B CN113255781B (zh) | 2022-04-01 |
Family
ID=77185113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110593646.5A Active CN113255781B (zh) | 2021-05-28 | 2021-05-28 | Cp-ebus的代表性图片选取方法、装置以及诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255781B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611584A (zh) * | 2022-02-21 | 2022-06-10 | 上海市胸科医院 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136077A (zh) * | 2011-03-29 | 2011-07-27 | 上海大学 | 基于支持向量机的口唇颜色自动识别的方法 |
| US20140037269A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Video summarization using group sparsity analysis |
| US20140037215A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Identifying key frames using group sparsity analysis |
| CN105205171A (zh) * | 2015-10-14 | 2015-12-30 | 杭州中威电子股份有限公司 | 基于颜色特征的图像检索方法 |
| CN106060537A (zh) * | 2016-08-04 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 一种视频质量评估方法及装置 |
| CN109151501A (zh) * | 2018-10-09 | 2019-01-04 | 北京周同科技有限公司 | 一种视频关键帧提取方法、装置、终端设备及存储介质 |
| CN111523400A (zh) * | 2020-03-31 | 2020-08-11 | 易视腾科技股份有限公司 | 视频代表帧提取方法及装置 |
| CN111783681A (zh) * | 2020-07-02 | 2020-10-16 | 深圳市万睿智能科技有限公司 | 大规模人脸库识别方法、系统、计算机设备及存储介质 |
| CN111797707A (zh) * | 2020-06-12 | 2020-10-20 | 武汉大学 | 一种基于聚类的镜头关键帧提取方法 |
| CN112741651A (zh) * | 2020-12-25 | 2021-05-04 | 上海交通大学烟台信息技术研究院 | 一种内窥镜超声影像的处理方法及系统 |
-
2021
- 2021-05-28 CN CN202110593646.5A patent/CN113255781B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136077A (zh) * | 2011-03-29 | 2011-07-27 | 上海大学 | 基于支持向量机的口唇颜色自动识别的方法 |
| US20140037269A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Video summarization using group sparsity analysis |
| US20140037215A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Identifying key frames using group sparsity analysis |
| CN105205171A (zh) * | 2015-10-14 | 2015-12-30 | 杭州中威电子股份有限公司 | 基于颜色特征的图像检索方法 |
| CN106060537A (zh) * | 2016-08-04 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 一种视频质量评估方法及装置 |
| CN109151501A (zh) * | 2018-10-09 | 2019-01-04 | 北京周同科技有限公司 | 一种视频关键帧提取方法、装置、终端设备及存储介质 |
| CN111523400A (zh) * | 2020-03-31 | 2020-08-11 | 易视腾科技股份有限公司 | 视频代表帧提取方法及装置 |
| CN111797707A (zh) * | 2020-06-12 | 2020-10-20 | 武汉大学 | 一种基于聚类的镜头关键帧提取方法 |
| CN111783681A (zh) * | 2020-07-02 | 2020-10-16 | 深圳市万睿智能科技有限公司 | 大规模人脸库识别方法、系统、计算机设备及存储介质 |
| CN112741651A (zh) * | 2020-12-25 | 2021-05-04 | 上海交通大学烟台信息技术研究院 | 一种内窥镜超声影像的处理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 向阳 等: ""基于颜色连通区域多特征融合的图像检索"", 《计算机工程》 * |
| 曹欣 等: ""一种彩色图像质量评价方法"", 《应用科学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611584A (zh) * | 2022-02-21 | 2022-06-10 | 上海市胸科医院 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
| CN114611584B (zh) * | 2022-02-21 | 2024-07-02 | 上海市胸科医院 | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255781B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110338844B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及系统 | |
| US10762630B2 (en) | System and method for structures detection and multi-class image categorization in medical imaging | |
| CN103249358B (zh) | 医用图像处理装置 | |
| Filipovych et al. | Semi-supervised cluster analysis of imaging data | |
| JP7333132B1 (ja) | マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム | |
| JP4797194B2 (ja) | 超音波断層画像による生体組織評価システム | |
| CN112508884B (zh) | 一种癌变区域综合检测装置及方法 | |
| CN110349140B (zh) | 一种中医耳诊图像处理方法及装置 | |
| Foncubierta-Rodríguez et al. | Using multiscale visual words for lung texture classification and retrieval | |
| CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
| CN102117329B (zh) | 基于小波变换的胶囊内窥镜图像检索方法 | |
| CN111540467B (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN113255781B (zh) | Cp-ebus的代表性图片选取方法、装置以及诊断系统 | |
| US20150199587A1 (en) | Image processing device, image processing method, and image processing program | |
| CN115797246A (zh) | 病理图像质量评估、调节方法和系统、电子设备、介质 | |
| CN109800820B (zh) | 一种基于超声造影图像均匀程度的分类方法 | |
| CN109840564B (zh) | 一种基于超声造影图像均匀程度的分类系统 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的系统和方法 | |
| Vasconcelos et al. | A new risk assessment methodology for dermoscopic skin lesion images | |
| Arnold et al. | Indistinct frame detection in colonoscopy videos | |
| CN114611584B (zh) | Cp-ebus弹性模式视频的处理方法、装置、设备与介质 | |
| Sreejesh | Bleeding Frame and Region Detection in Wireless Capsule Endoscopy Video | |
| WO2020055325A1 (en) | Method and system for determining well-being indicators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |