CN113112469B - 一种b超图像选取方法及系统 - Google Patents
一种b超图像选取方法及系统 Download PDFInfo
- Publication number
- CN113112469B CN113112469B CN202110376497.7A CN202110376497A CN113112469B CN 113112469 B CN113112469 B CN 113112469B CN 202110376497 A CN202110376497 A CN 202110376497A CN 113112469 B CN113112469 B CN 113112469B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- feature
- images
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 13
- 238000013441 quality evaluation Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 4
- 102220465380 NF-kappa-B inhibitor beta_S23A_mutation Human genes 0.000 claims description 3
- 102220521910 THAP domain-containing protein 1_S21C_mutation Human genes 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 102220247850 rs1421233354 Human genes 0.000 claims description 3
- 102220240346 rs764757062 Human genes 0.000 claims description 3
- 102220070930 rs794728599 Human genes 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 210000001685 thyroid gland Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004171 remote diagnosis Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种B超图像选取方法及系统，属于医学影像处理技术领域，包括：步骤S1，将待处理视频分解成多帧图像；步骤S2，特征提取对应的特征集；步骤S3，评价得到对应的质量评价值；步骤S4，根据质量评价值排序形成第一图像序列，并记录帧号；步骤S5，按顺序两两比较帧号；步骤S6，按顺序两两匹配图像相似度，当相似度大于相似度阈值时，保留两帧图像中的后一帧图像，得到第三图像序列；步骤S7，提取第三图像序列的每帧图像对应的帧号作为预览节点，融合至待处理视频的进度条中。本发明的有益效果在于：基于深度学习方法，提取超声视频序列中含有病灶的图像及该图像所在的视频子段，提供给医生预览，减少时间，提高诊断效率。
Description
技术领域
本发明涉及医学影像处理技术领域，尤其涉及一种B超图像选取方法及系统。
背景技术
随着深度学习技术的日益成熟，在各个领域中得到了广泛的使用，尤其是医学影像领域，利用计算机进行辅助诊断，基于计算机技术和深度学习方法对医学影像进行分析，能为医生的临床诊断提供有效的诊断建议，帮助医生更快的完成疾病诊断。B超是现代临床医学检查中不可缺少的诊断手段，与其他影像设备的区别在于：B超是动态影像。B超影像不仅能够连贯地、动态地观察身体脏器的运动和功能，而且还可以追踪病变、显示立体变化，同时不会受到其成像分层的限制。
目前，医院通常会将这些连续影像存储为B超视频，上传到医疗影像存储与传输系统(Picture Archiving and Communication Systems，PACS)或者远端服务器中。对于远程诊断的医生或者B超质检员来说，需要观看整个完整片段的B超视频，才能分析得出结论，其花费时间较长，效率较低；由于医学图像的背景噪声复杂，并且灰度图像使得传统的视频节点提取的方法，通常会掠过大部分重复的或者变化较小的部分，同时加速播放时，对于细节的阈值设置处理不好，容易将超声病灶遗漏，难以获得比较好的结果，因此针对以上问题，迫切需要设计出一种B超图像选取方法及系统，以满足实际使用的需要。
发明内容
为了解决以上技术问题，本发明提供了一种B超图像选取方法及系统。
本发明所解决的技术问题可以采用以下技术方案实现：
本发明提供一种B超图像选取方法，包括：
步骤S1，提供一待处理视频，将所述待处理视频进行分解，得到多帧图像；
步骤S2，对分解得到的多帧所述图像分别进行特征提取，得到每帧所述图像对应的特征集；
步骤S3，将每帧所述图像对应的所述特征集依次进行质量评价，得到每帧所述图像对应的质量评价值；
步骤S4，对所述质量评价值进行排序，排序后的所述质量评价值对应的所述图像形成一第一图像序列，并于所述第一图像序列中记录每帧所述图像在所述待处理视频中对应的帧号；
步骤S5，按顺序依次对所述第一图像序列中每帧所述图像对应的帧号进行两两比较，得到一第二图像序列；
步骤S6，按顺序依次对所述第二图像序列的每帧所述图像进行两两匹配，得到两帧所述图像对应的相似度，当所述相似度大于一相似度阈值时，保留两帧图像中的后一帧对应的所述图像，得到一第三图像序列；
步骤S7，提取所述第三图像序列的每帧所述图像对应的帧号，得到一帧号队列，并将所述帧号队列中的所有帧号作为预览节点，融合至所述待处理视频的进度条中。
优选地，所述步骤S1中，将所述待处理视频按时间等分分解成多帧图像，并根据所述待处理视频的总时长和等分帧数，得到平均每帧时间。
优选地，提供一特征提取深度神经网络；
所述步骤S2中，采用所述特征提取深度神经网络逐帧对分解得到的所述图像进行特征提取。
优选地，所述特征提取深度神经网络为分类网络；
所述步骤S2具体包括：
步骤S21A，采用所述分类网络对分解得到的多帧所述图像进行分类提取特征；
步骤S22A，采用一激活函数对提取的特征分别进行逻辑回归处理，得到特征回归值；
步骤S23A，将数值最大的所述特征回归值设置为1，其余所述特征回归值设置为0，并对所述特征回归值进行独热编码，形成对应的第一特征向量，所述特征集包括所述第一特征向量。
优选地，所述特征提取深度神经网络为分割网络；
所述步骤S2具体包括：
步骤S21B，采用所述分割网络对分解得到的多帧所述图像进行分割提取特征；
步骤S22B，对分割得到的特征进行外接矩形处理；
步骤S23B，对得到的所述外接矩形进行测量，计算所述外接矩形的纵横比和面积，并对计算得到所述纵横比和所述面积进行归一化处理，得到对应的第二特征向量，所述特征集包括所述第二特征向量。
优选地，所述特征提取深度神经网络为目标网络；
所述步骤S2具体包括：
步骤S21C，采用所述目标网络对分解得到的多帧所述图像进行分割，提取每帧图像对应的感兴趣区域；
步骤S22C，对分割得到的所述感兴趣区域进行测量，计算所述感兴趣区域的纵横比和面积，并对计算得到所述纵横比和所述面积进行归一化处理，得到对应的第三特征向量，所述特征集包括所述第三特征向量。
优选地，所述步骤S3中，提供一质量评价深度神经网络，采用所述质量评价深度神经网络逐帧对所述图像对应的所述特征集进行质量评价，其中将上一帧图像对应的所述特征集、当前图像对应的所述特征集，以及下一帧图像对应的特征集作为所述质量评价深度神经网络的输入。
优选地，所述步骤S5具体包括：
步骤S51，按顺序对所述图像进行两两比较，计算两所述图像对应的帧号差值；
步骤S52，判断所述帧号差值是否小于一预设值：
若是，则将两帧所述图像中的后一帧对应的所述图像保留在所述第二图像序列中；
若否，则将两所述图像均保留在所述第二图像序列中。
优选地，所述步骤S6中，对所述第二图像序列的所述图像按顺序采用一标准相关匹配法分别两两进行相似度匹配。
本发明还提供一种B超图像选取系统，包括如上述的B超图像选取方法，包括：
一分解单元，用于对一待处理视频进行分解，得到多帧图像；
一特征提取单元，连接所述分解单元，用于对分解得到的多帧所述图像分别进行特征提取，得到每帧所述图像对应的特征集；
一质量评价单元，连接所述特征提取单元，用于将每帧所述图像对应的所述特征集依次进行质量评价，得到每帧所述图像对应的质量评价值；
一排序单元，连接所述质量评价单元，用于对所述质量评价值进行排序，排序后的所述质量评价值对应的所述图像形成一第一图像序列，并于所述第一图像序列中记录每帧所述图像在所述待处理视频中对应的帧号；
一处理单元，连接所述排序单元，用于按顺序依次对所述第一图像序列中每帧所述图像对应的帧号进行两两比较，得到一第二图像序列；
一相似度匹配单元，连接所述处理单元，用于按顺序依次对所述第二图像序列的每帧所述图像进行两两匹配，得到两帧所述图像对应的相似度，当所述相似度大于一相似度阈值时，保留两帧图像中的后一帧对应的所述图像，得到一第三图像序列；
一显示单元，连接所述相似度匹配单元，用于提取所述第三图像序列的每帧所述图像对应的帧号，得到一帧号队列，并将所述帧号队列中的所有帧号作为预览节点，融合至所述待处理视频的进度条中并显示。
本发明的有益效果在于：
本发明旨在基于深度学习方法，提取超声视频序列中含有病灶的图像及该图像所在的视频子段，提供给医生预览，减少时间，提高诊断效率。
附图说明
图1为本发明中一种B超图像选取方法的流程示意图；
图2为本发明中所述步骤S2第一具体实施例的流程示意图；
图3为本发明中所述步骤S2第二具体实施例的流程示意图；
图4为本发明中所述步骤S2第三具体实施例的流程示意图；
图5为本发明中质量评价深度神经网络具体实施例的结构框图；
图6为本发明中一种B超图像选取系统具体实施例的结构框图；
图7为本发明中显示单元具体实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明提供一种B超图像选取方法，属于医学影像处理技术领域，如图1所示，包括：
步骤S1，提供一待处理视频，将待处理视频进行分解，得到多帧图像；
在步骤S1中，待处理视频为医学影像视频，例如超声检查影像，尤其是B超视频，由医院上传至医疗影像存储与传输系统或者远端服务器中，对获得的待处理视频按时间等分分解成k帧图像I1…Ik，结合该待处理视频的总时长，计算平均每帧时间，平均每帧时间等于视频总时长/等分帧数k。
步骤S2，对分解得到的多帧图像分别进行特征提取，得到每帧图像对应的特征集；
在步骤S2中，利用特征提取深度神经网络A1…An对图像I1…Ik分别逐帧进行特征提取，得到每帧图像对应的特征集，记为S1(S11…S1m)，S2(S21…S2m)，Sk(Sk1…Skm)；
其中，
Sk表示每帧图像对应的第k个特征；
Skm表示第k个特征对应的第m个特征向量；
每帧图像对应的特征可以是一个，也可以是多个，甚至可能没有，由提取到的特征进行处理后，形成特征集，每个特征集对应一帧图像。
进一步的，该特征提取深度神经网络可以是单一任务网络组合，也可以是多任务网络，例如采用分类网络、分割网络或目标网络的其中一种作为特征提取深度神经网络。
步骤S3，将每帧图像对应的特征集依次进行质量评价，得到每帧图像对应的质量评价值；
在步骤S3中，利用质量评价深度神经网络，逐帧对上述特征集进行质量评价，得到每个特征集对应的质量评价值，即为每帧图像的质量评价值。
其中，该质量评价深度神经网络包括自注意力self-attention机制。
进一步的，其中，如图5所示，上述质量评价深度神经网络具体包括：
一输入层81，采用上一帧图像对应的特征集、当前图像对应的特征集，以及下一帧图像对应的特征集作为质量评价深度神经网络的输入；
一卷积模块82，该卷积模块82包括：一卷积层Conv2d和一扁平化层Flatten；卷积层连接输入层，扁平化层连接卷积层，其中，卷积层的卷积核为3*3，填充像素为1；
需要注意的是，扁平化层对卷积后的三个输入进行扁平化处理，不同于其他扁平化处理方案，本发明中先对每帧图像中第一个特征S1对应的上一帧图像对应的特征集中的第一个特征、当前图像对应的特征集的第一个特征，以及下一帧图像对应的特征集的第一个特征进行扁平化处理完后，再对第二个特征S2对应的上一帧图像对应的特征集中的第二个特征、当前图像对应的特征集的第二个特征，以及下一帧图像对应的特征集的第二个特征进行扁平化处理，依次处理直至最后一个特征Sk进行扁平化处理完，最终得到表达原图像所需的向量长度为K*3。
一第一处理模块83，连接扁平化层的输出端，第一处理模块包括一全连接层(fully connected layers，FC)、一激活函数层，其中该全连接层的特征长度为128，激活函数层采用Relu激活函数；
一第二处理模块84，连接第一处理模块83，第二处理模块84包括一全连接层、一批量规范化层(Batch Normalization，BN)、一激活函数层，其中该全连接层的特征长度为256，激活函数层采用Relu激活函数；
一第三处理模块85，连接第二处理模块84，第三处理模块85包括一全连接层、一批量规范化层、一激活函数层，其中该全连接层的特征长度为512，激活函数层采用Relu激活函数；
一特征长度处理模块86，分别连接第一处理模块83和第三处理模块85，将第一处理模块输出的特征长度和第三处理模块输出的特征长度叠加；
一第四处理模块87，连接特征长度处理模块86，第四处理模块87包括一全连接层、一批量规范化层、一激活函数层，其中该全连接层的特征长度为32，激活函数层采用Relu激活函数；
一第五处理模块88，连接第四处理模块87，第五处理模块88包括一全连接层，其中该全连接层的特征长度为1
一输出层89，连接第五处理模块88，将输出的值作为该帧图像的质量评价值。
步骤S4，对质量评价值进行排序，排序后的质量评价值对应的图像形成一第一图像序列，并于第一图像序列中记录每帧图像在待处理视频中对应的帧号；
在步骤S4中，对步骤S3得到的质量评价值从大到小进行排序，且由特征集对应的图像按照质量评价值的排序形成第一图像序列，并记录每帧图像在待处理视频中对应的帧号。
步骤S5，按顺序依次对第一图像序列中每帧图像对应的帧号进行两两比较，得到一第二图像序列；
在一个较佳的实施例中，步骤S5具体包括：
步骤S51，按顺序对第一图像序列中的图像进行两两比较，计算两图像对应的帧号差值；
步骤S52，判断帧号差值是否小于一预设值：
若是，则将两帧图像中的后一帧对应的图像保留在第二图像序列中；
若否，则将两图像均保留在第二图像序列中。
具体的，在本实施例中，第一图像序列中，每帧图像对应一个帧号，将第一帧图像的帧号与第二帧图像的帧号作差，得到两帧图像的帧号差值，优选的，将帧号差值的绝对值与预设值进行比较，当帧号差值的绝对值大于预设值，则这两帧图像均保留；若帧号差值的绝对值小于预设值，则将其中帧号较小的对应的图像剔除掉，将两帧图像中的后一帧对应的图像保留，即保留帧号较大的图像；按顺序对第一图像序列中剩下的图像进行循环比较，直到第一图像序列中任意两帧图像的帧号差值都大于预设值，将保留的图像按质量评价值从大到小进行排序作为第二图像序列。
步骤S6，按顺序依次对第二图像序列的每帧图像进行两两匹配，得到两帧图像对应的相似度，当相似度大于一相似度阈值时，保留保留对应的图像，得到一第三图像序列；
在一个较佳的实施例中，步骤S6中，对第二图像序列的图像按顺序采用一标准相关匹配法分别两两进行相似度匹配。
在步骤S6中，按顺序比较两帧图像的相似度，即采用标准相关匹配法，将第二图像序列中的第一帧图像和第二帧图像的相似度，当相似度大于相似度阈值时，剔除较小的帧号对应的图像，保留两帧图像中的后一帧图像；当相似度小于相似度阈值时，对应的两帧图像均保留下来；依次对第二图像序列中的剩下的所有图像重复上述相似度对比处理，将保留下来的所有图像形成第三图像序列，即为可供医生，或B超质检员选择观看的含有病灶的图像；
步骤S7，提取第三图像序列的每帧图像对应的帧号，得到一帧号队列，并将帧号队列中的所有帧号作为预览节点，融合至待处理视频的进度条中。
在步骤S7中，第三图像序列中的所有图像即为所选选片，以供医生预览，快速找到病灶图像，进行诊断，记录第三图像序列中每帧图像所对应的帧号，将帧号记录成帧号队列，帧号队列中的帧号即为预览节点，将每个帧号与上述步骤S1计算得到平均每帧时间相乘，即为该帧号的对应的图像在待处理视频中的预览节点时间，将本发明得到的选片融合到完整的待处理视频的进度条上，并重新上传至上述医疗影像存储与传输系统或者远端服务器中，便于医生远程诊断，并且医生可直接选择对应的选片进行快速预览。
采用上述技术方案，在医生观看B超视频之前，对视频进行选图处理，得到的视频中的责任图像(含义病灶)，并给出预览时间节点，减少医生或质检员的分析时间，减少漏诊率和提高诊断效率。
在一个较佳的实施例中，如图2所示，特征提取深度神经网络为分类网络；
步骤S2具体包括：
步骤S21A，采用分类网络对分解得到的多帧图像进行分类提取特征；
步骤S22A，采用一激活函数softmax对提取的特征分别进行逻辑回归处理，得到特征回归值；
步骤S23A，将数值最大的特征回归值设置为1，其余特征回归值设置为0，并对特征回归值进行独热编码，形成对应的第一特征向量，特征集包括第一特征向量。
具体的，采用分类网络对每帧图像进行特征提取，得到多个特征，采用softmax对提取的特征进行归一化处理，将归一化后的最大值设为1，其余值为0，随后，进行onehot独热编码，转化为特征向量。
其中，该分类网络可以是深度卷积神经网络VGG，或残差网络(Residual NeuralNetwork，ResNet)，或深度可分离卷积残差网络MobileNet，或移动规模基线网络EfficientNet等。
在一个较佳的实施例中，如图3所示，特征提取深度神经网络为分割网络；
步骤S2具体包括：
步骤S21B，采用分割网络对分解得到的多帧图像进行分割提取特征；
步骤S22B，对分割得到的特征进行外接矩形处理；
步骤S23B，对得到的外接矩形进行测量，计算外接矩形的纵横比和面积，并对计算得到纵横比和面积进行归一化处理，得到对应的第二特征向量，特征集包括第二特征向量。
具体的，采用分割网络分别对每帧图像进行分割，得到多个特征，对每个特征分别做外接矩形，测量其长度和宽度，计算纵横比和面积，对计算得到纵横比或者面积进行归一化，使其位于0～1之间作为第二特征向量。
其中，分割网络可以是深度学习分割网络(unity networking，Unet)，或全卷积网络(Fully Convolutional Networks，FCN)，或语义分割网络Deeplab等。
在一个较佳的实施例中，如图4所示，特征提取深度神经网络为目标网络；
步骤S2具体包括：
步骤S21C，采用目标网络对分解得到的多帧图像进行分割，提取每帧图像对应的感兴趣区域；
步骤S22C，对分割得到的感兴趣区域进行测量，计算感兴趣区域的纵横比和面积，并对计算得到纵横比和面积进行归一化处理，得到对应的第三特征向量，特征集包括第三特征向量。
具体的，采用目标网络分别对每帧图像进行分割，得到多个感兴趣区域ROI，作为特征，对分割得到的每个感兴趣区域ROI分别计算纵横比和面积，对计算得到纵横比或者面积进行归一化，使其位于0～1之间作为第二特征向量。
其中，目标网络可以是深度识别和定位神经网络(You Only Look Once，YOLO)，或目标检测网络faster-RCNN等。
先提供一具体实施例以对本实施例进行阐释和说明：
将扫描得到的甲状腺部位的B超视频分解成k帧连续图像,根据获取的视频的总时间，计算平均每帧时间；将每帧图像输入甲状腺目标检测网络，判断是否包含甲状腺特征，并将包含的甲状腺特征S11…Sk1输出，得到最大结节所在ROI框，计算ROI框的纵横比：当纵横比大于1时，将其归一化为1；当纵横比小于1时记为0，得到特征S12…Sk2；计算ROI的面积，利用预设的面积阈值范围[kl，kh]，将ROI的面积进行归一化至0～1之间，得到特征S13…Sk3；若图像中存在结节，将该图像输入至一结节特征分类多任务网络，得到该结节的组成、边缘、边界、钙化灶等特征，采用onehot独热编码，形成该图像的特征集(S14…Sk4)…(S1n…Skn)；将得到的特征集输入质量评价神经网络，得到每个特征集的质量评价值；根据质量评价值排序，得到第一图像序列，循环两两比较帧号，剔除距离较近的重复的图像；再循环两两比较图像的相似度剔除重复图像，得到最终的第三图像序列；将第三图像序列中的图像对应的帧号在一选片预览窗口显示，结合上述计算得到的平均每帧时间，帧号和平均每帧时间相乘即可得到该选片图像在原始B超视频中的时间节点，显示到进度条上，供医生查看预览。
本发明还提供一种B超图像选取系统，包括如上述的B超图像选取方法，如图6所示，包括：
一分解单元1，用于对一待处理视频进行分解，得到多帧图像；
一特征提取单元2，连接分解单元1，用于对分解得到的多帧图像分别进行特征提取，得到每帧图像对应的特征集；
一质量评价单元3，连接特征提取单元2，用于将每帧图像对应的特征集依次进行质量评价，得到每帧图像对应的质量评价值；
一排序单元4，连接质量评价单元3，用于对质量评价值进行排序，排序后的质量评价值对应的图像形成一第一图像序列，并于第一图像序列中记录每帧图像在待处理视频中对应的帧号；
一处理单元5，连接排序单元4，用于按顺序依次对第一图像序列中每帧图像对应的帧号进行两两比较，得到一第二图像序列；
一相似度匹配单元6，连接处理单元5，用于按顺序依次对第二图像序列的每帧图像进行两两匹配，得到两帧图像对应的相似度，当相似度大于一相似度阈值时，保留两帧图像中的后一帧对应的图像，得到一第三图像序列；
一显示单元7，连接相似度匹配单元6，用于提取第三图像序列的每帧图像对应的帧号，得到一帧号队列，并将帧号队列中的所有帧号作为预览节点，融合至待处理视频的进度条中并显示；
其中，如图7所示，显示单元7包括：一选片预览窗口71，用于按帧号顺序显示上述第三图像序列中的图像711，以及该图像对应的帧号712；
一视频播放窗口72，用于播放视频，视频播放窗口的下方有视频的播放进度条73，进度条上有多个节点，其中一个节点731为当前播放进度，其余节点732即为对应的第三图像序列中的图像所在的位置，其节点时间由图像对应的帧号和分解的平均每帧时间相乘得到；优选的，鼠标放置在进度条上时，可查看节点的前后帧图像74，并且通过选片预览窗口可以直接选择对应的图像选片。
本发明的有益效果在于：
本发明旨在基于深度学习方法，提取超声视频序列中含有病灶的图像及该图像所在的视频子段，提供给医生预览，减少时间，提高诊断效率。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (8)
1.一种B超图像选取方法，其特征在于，包括：
步骤S1，提供一待处理视频，将所述待处理视频进行分解，得到多帧图像；
步骤S2，对分解得到的多帧所述图像分别进行特征提取，得到每帧所述图像对应的特征集；
步骤S3，将每帧所述图像对应的所述特征集依次进行质量评价，得到每帧所述图像对应的质量评价值；
步骤S4，对所述质量评价值进行排序，排序后的所述质量评价值对应的所述图像形成一第一图像序列，并于所述第一图像序列中记录每帧所述图像在所述待处理视频中对应的帧号；
步骤S5，按顺序依次对所述第一图像序列中每帧所述图像对应的帧号进行两两比较，得到一第二图像序列；
步骤S6，按顺序依次对所述第二图像序列的每帧所述图像进行两两匹配，得到两帧所述图像对应的相似度，当所述相似度大于一相似度阈值时，保留两帧图像中的后一帧对应的所述图像，得到一第三图像序列；
步骤S7，提取所述第三图像序列的每帧所述图像对应的帧号，得到一帧号队列，并将所述帧号队列中的所有帧号作为预览节点，融合至所述待处理视频的进度条中；
所述步骤S3中，提供一质量评价深度神经网络，采用所述质量评价深度神经网络逐帧对所述图像对应的所述特征集进行质量评价，其中将上一帧图像对应的所述特征集、当前图像对应的所述特征集，以及下一帧图像对应的特征集作为所述质量评价深度神经网络的输入；
所述质量评价深度神经网络具体包括：
一输入层，采用上一帧图像对应的特征集、当前图像对应的特征集，以及下一帧图像对应的特征集作为质量评价深度神经网络的输入；
一卷积模块，所述卷积模块包括：一卷积层和一扁平化层；卷积层连接输入层，扁平化层连接卷积层；其中，所述扁平化层先对每帧图像中第一个特征对应的上一帧图像对应的特征集中的第一个特征、当前图像对应的特征集的第一个特征，以及下一帧图像对应的特征集的第一个特征进行扁平化处理完后，再对第二个特征对应的上一帧图像对应的特征集中的第二个特征、当前图像对应的特征集的第二个特征，以及下一帧图像对应的特征集的第二个特征进行扁平化处理，依次处理直至最后一个特征进行扁平化处理完；
一第一处理模块，连接所述扁平化层的输出端，所述第一处理模块包括一全连接层、一激活函数层；
一第二处理模块，连接所述第一处理模块，所述第二处理模块包括一全连接层、一批量规范化层、一激活函数层；
一第三处理模块，连接所述第二处理模块，所述第三处理模块包括一全连接层、一批量规范化层、一激活函数层；
一特征长度处理模块，分别连接所述第一处理模块和所述第三处理模块，将所述第一处理模块输出的特征长度和所述第三处理模块输出的特征长度叠加；
一第四处理模块，连接所述特征长度处理模块，所述第四处理模块包括一全连接层、一批量规范化层、一激活函数层；
一第五处理模块，连接所述第四处理模块，所述第五处理模块包括一全连接层；
一输出层，连接所述第五处理模块，将输出的值作为每帧所述图像对应的质量评价值；
所述步骤S5具体包括：
步骤S51，按顺序对所述图像进行两两比较，计算两所述图像对应的帧号差值；
步骤S52，判断所述帧号差值是否小于一预设值：
若是，则将两帧所述图像中的后一帧对应的所述图像保留在所述第二图像序列中；
若否，则将两所述图像均保留在所述第二图像序列中。
2.根据权利要求1所述的一种B超图像选取方法，其特征在于，所述步骤S1中，将所述待处理视频按时间等分分解成多帧图像，并根据所述待处理视频的总时长和等分帧数，得到平均每帧时间。
3.根据权利要求1所述的一种B超图像选取方法，其特征在于，提供一特征提取深度神经网络；
所述步骤S2中，采用所述特征提取深度神经网络逐帧对分解得到的所述图像进行特征提取。
4.根据权利要求3所述的一种B超图像选取方法，其特征在于，所述特征提取深度神经网络为分类网络；
所述步骤S2具体包括：
步骤S21A，采用所述分类网络对分解得到的多帧所述图像进行分类提取特征；
步骤S22A，采用一激活函数对提取的特征分别进行逻辑回归处理，得到特征回归值；
步骤S23A，将数值最大的所述特征回归值设置为1，其余所述特征回归值设置为0，并对所述特征回归值进行独热编码，形成对应的第一特征向量，所述特征集包括所述第一特征向量。
5.根据权利要求3所述的一种B超图像选取方法，其特征在于，所述特征提取深度神经网络为分割网络；
所述步骤S2具体包括：
步骤S21B，采用所述分割网络对分解得到的多帧所述图像进行分割提取特征；
步骤S22B，对分割得到的特征进行外接矩形处理；
步骤S23B，对得到的所述外接矩形进行测量，计算所述外接矩形的纵横比和面积，并对计算得到所述纵横比和所述面积进行归一化处理，得到对应的第二特征向量，所述特征集包括所述第二特征向量。
6.根据权利要求3所述的一种B超图像选取方法，其特征在于，所述特征提取深度神经网络为目标网络；
所述步骤S2具体包括：
步骤S21C，采用所述目标网络对分解得到的多帧所述图像进行分割，提取每帧图像对应的感兴趣区域；
步骤S22C，对分割得到的所述感兴趣区域进行测量，计算所述感兴趣区域的纵横比和面积，并对计算得到所述纵横比和所述面积进行归一化处理，得到对应的第三特征向量，所述特征集包括所述第三特征向量。
7.根据权利要求1所述的一种B超图像选取方法，其特征在于，所述步骤S6中，对所述第二图像序列的所述图像按顺序采用一标准相关匹配法分别两两进行相似度匹配。
8.一种B超图像选取系统，应用于实施权利要求1-7任意一项所述的B超图像选取方法，其特征在于，包括：
一分解单元，用于对一待处理视频进行分解，得到多帧图像；
一特征提取单元，连接所述分解单元，用于对分解得到的多帧所述图像分别进行特征提取，得到每帧所述图像对应的特征集；
一质量评价单元，连接所述特征提取单元，用于将每帧所述图像对应的所述特征集依次进行质量评价，得到每帧所述图像对应的质量评价值；
一排序单元，连接所述质量评价单元，用于对所述质量评价值进行排序，排序后的所述质量评价值对应的所述图像形成一第一图像序列，并于所述第一图像序列中记录每帧所述图像在所述待处理视频中对应的帧号；
一处理单元，连接所述排序单元，用于按顺序依次对所述第一图像序列中每帧所述图像对应的帧号进行两两比较，得到一第二图像序列；
一相似度匹配单元，连接所述处理单元，用于按顺序依次对所述第二图像序列的每帧所述图像进行两两匹配，得到两帧所述图像对应的相似度，当所述相似度大于一相似度阈值时，保留两帧图像中的后一帧对应的所述图像，得到一第三图像序列；
一显示单元，连接所述相似度匹配单元，用于提取所述第三图像序列的每帧所述图像对应的帧号，得到一帧号队列，并将所述帧号队列中的所有帧号作为预览节点，融合至所述待处理视频的进度条中并显示；
所述质量评价单元提供一质量评价深度神经网络，采用所述质量评价深度神经网络逐帧对所述图像对应的所述特征集进行质量评价，其中将上一帧图像对应的所述特征集、当前图像对应的所述特征集，以及下一帧图像对应的特征集作为所述质量评价深度神经网络的输入，所述质量评价深度神经网络具体包括：
一输入层，采用上一帧图像对应的特征集、当前图像对应的特征集，以及下一帧图像对应的特征集作为质量评价深度神经网络的输入；
一卷积模块，所述卷积模块包括：一卷积层和一扁平化层；卷积层连接输入层，扁平化层连接卷积层；其中，所述扁平化层先对每帧图像中第一个特征对应的上一帧图像对应的特征集中的第一个特征、当前图像对应的特征集的第一个特征，以及下一帧图像对应的特征集的第一个特征进行扁平化处理完后，再对第二个特征对应的上一帧图像对应的特征集中的第二个特征、当前图像对应的特征集的第二个特征，以及下一帧图像对应的特征集的第二个特征进行扁平化处理，依次处理直至最后一个特征进行扁平化处理完；
一第一处理模块，连接所述扁平化层的输出端，所述第一处理模块包括一全连接层、一激活函数层；
一第二处理模块，连接所述第一处理模块，所述第二处理模块包括一全连接层、一批量规范化层、一激活函数层；
一第三处理模块，连接所述第二处理模块，所述第三处理模块包括一全连接层、一批量规范化层、一激活函数层；
一特征长度处理模块，分别连接所述第一处理模块和所述第三处理模块，将所述第一处理模块输出的特征长度和所述第三处理模块输出的特征长度叠加；
一第四处理模块，连接所述特征长度处理模块，所述第四处理模块包括一全连接层、一批量规范化层、一激活函数层；
一第五处理模块，连接所述第四处理模块，所述第五处理模块包括一全连接层；
一输出层，连接所述第五处理模块，将输出的值作为每帧所述图像对应的质量评价值；
所述处理单元用于按顺序对所述图像进行两两比较，计算两所述图像对应的帧号差值；判断所述帧号差值是否小于一预设值：若是，则将两帧所述图像中的后一帧对应的所述图像保留在所述第二图像序列中；若否，则将两所述图像均保留在所述第二图像序列中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376497.7A CN113112469B (zh) | 2021-04-06 | 2021-04-06 | 一种b超图像选取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376497.7A CN113112469B (zh) | 2021-04-06 | 2021-04-06 | 一种b超图像选取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112469A CN113112469A (zh) | 2021-07-13 |
| CN113112469B true CN113112469B (zh) | 2023-04-28 |
Family
ID=76714639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110376497.7A Active CN113112469B (zh) | 2021-04-06 | 2021-04-06 | 一种b超图像选取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112469B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419044B (zh) * | 2022-03-30 | 2022-06-17 | 广东恒腾科技有限公司 | 一种基于人工智能的医用超声图像分析系统及方法 |
| CN116109598A (zh) * | 2023-02-17 | 2023-05-12 | 上海杏脉信息科技有限公司 | 甲状腺结节识别装置、方法、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261768A (zh) * | 2007-03-23 | 2008-09-10 | 天津市国腾公路咨询监理有限公司 | 公路网交通调查数据采集与分析应用系统及其工作方法 |
| CN105184819A (zh) * | 2015-09-14 | 2015-12-23 | 浙江大学 | 用于医学图像重建参数寻优的客观图像质量评价方法 |
| CN108009632A (zh) * | 2017-12-14 | 2018-05-08 | 清华大学 | 对抗式时空大数据预测方法 |
| CN108052523A (zh) * | 2017-11-03 | 2018-05-18 | 中国互联网络信息中心 | 基于卷积神经网络的赌博网站识别方法和系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408429B (zh) * | 2014-11-28 | 2017-10-27 | 北京奇艺世纪科技有限公司 | 一种视频代表帧提取方法及装置 |
| KR102525616B1 (ko) * | 2015-10-08 | 2023-04-26 | 삼성메디슨 주식회사 | 조영제 초음파 진단 장치 및 방법 |
| CN106846346B (zh) * | 2017-01-23 | 2019-12-20 | 天津大学 | 基于关键帧标记的序列ct图像骨盆轮廓快速提取方法 |
| CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
| CN111667456B (zh) * | 2020-04-28 | 2023-11-14 | 北京理工大学 | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 |
| CN112426170A (zh) * | 2020-11-19 | 2021-03-02 | 深圳开立生物医疗科技股份有限公司 | 一种胎盘厚度确定方法、装置、设备及存储介质 |
-
2021
- 2021-04-06 CN CN202110376497.7A patent/CN113112469B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261768A (zh) * | 2007-03-23 | 2008-09-10 | 天津市国腾公路咨询监理有限公司 | 公路网交通调查数据采集与分析应用系统及其工作方法 |
| CN105184819A (zh) * | 2015-09-14 | 2015-12-23 | 浙江大学 | 用于医学图像重建参数寻优的客观图像质量评价方法 |
| CN108052523A (zh) * | 2017-11-03 | 2018-05-18 | 中国互联网络信息中心 | 基于卷积神经网络的赌博网站识别方法和系统 |
| CN108009632A (zh) * | 2017-12-14 | 2018-05-08 | 清华大学 | 对抗式时空大数据预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112469A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| US20240331868A1 (en) | Deep learning-based cancer prognosis survival prediction method and device, and storage medium | |
| CN109920518B (zh) | 医学影像分析方法、装置、计算机设备和存储介质 | |
| Chen et al. | Breast cancer diagnosis using self-organizing map for sonography | |
| CN113112469B (zh) | 一种b超图像选取方法及系统 | |
| CN111667478A (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
| CN110946619A (zh) | 血管内超声自动影像组学分析系统及分析方法 | |
| Biniaz et al. | Automatic reduction of wireless capsule endoscopy reviewing time based on factorization analysis | |
| CN116862877A (zh) | 基于卷积神经网络的扫描图像分析系统及其方法 | |
| CN116993699A (zh) | 一种眼动辅助训练下的医学图像分割方法及系统 | |
| CN116452523A (zh) | 一种超声图像质量量化评价方法 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN111275720B (zh) | 一种基于深度学习的全端到端小器官图像识别方法 | |
| Arnold et al. | Indistinct frame detection in colonoscopy videos | |
| CN116524178A (zh) | 基于半监督的mri图像组织分割方法及成像方法 | |
| CN114359194B (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 | |
| CN114938971A (zh) | 一种超声影像质量控制方法及系统 | |
| US20060017986A1 (en) | Method for analyzing image data | |
| Pérez-García et al. | RadEdit: stress-testing biomedical vision models via diffusion image editing | |
| Van der Sluijs et al. | Diagnostically Lossless Compression of Medical Images | |
| Wang et al. | A Three-Stage Self Supervised Deep Learning Network for Automatic Calcium Scoring of Cardiac Computed Tomography Images | |
| CN112541917B (zh) | 一种针对脑出血疾病的ct图像处理方法 | |
| Yasarla et al. | Learning to segment brain anatomy from 2d ultrasound with less data | |
| Pullaiah et al. | Breast Cancer Classification using Customized ResNet based Convolution Neural Networks | |
| CN118053569A (zh) | 一种基于人工智能的脂肪肝辅助诊断系统的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |