CN111507948A - 基于机器视觉的超声视频流关键图像自动截取系统和方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的超声视频流关键图像自动截取系统和方法，特别涉及视频基本流的处理领域。包括图像识别模块、图像质量评价模块、高分图像显示模块和图像存储显示模块；所述图像识别模块用于获取输入的视屏流，并截取所述视频流得到视频图像，所述图像质量评价模块用于对每个所述视频图像进行识别评价并得到每个所述视频图像的清晰度或置信度，将所述视频图像根据所述清晰度或所述置信度截图为高分图像并保存到所述图像存储显示模块，所述高分图像显示模块用于读取所述高分图像并显示。本方案解决了如何在连续视频流图像中筛选并识别出最清晰稳定的图像的技术问题，适用于胎儿超声解剖学断面截图分析。

Description

基于机器视觉的超声视频流关键图像自动截取系统和方法

技术领域

本发明涉及视频基本流的处理领域，特别涉及一种基于机器视觉的超声视频流关键图像自动截取系统和方法。

背景技术

在胎儿超声的临床实践过程中，国际上的同行通常采用对胎儿特定的解剖学断面进行截图分析的手段，这些截图平面包括但不限于横切面、冠状面、矢状面和斜切面，通过对这些平面进行观察，可以对胎儿诸如大脑半球、胸腔、心脏、脊柱、四肢等结构及其参数进行定性和定量的观察。

现有技术中，要对胎儿图像进行定性或者定量观察，需要快速识别胎儿图形的标准切面。由于胎儿在母亲体内，无法固定对其姿态，因此需要医生对于连续运动中的胎儿进行特定标准切面图像来进行判断。这对医生的操作水平造成了极大挑战。

另一方面，随着机器视觉技术的进步，各种能够通过深度学习来对特定平面进行自动识别的判别系统已经被开发出来。这些判别系统都是针对图像进行识别。而视频则相当于连续的图像序列。在对连续图像序列进行识别的过程中，构建特定的图像检测器并且对图像序列进行判定至关重要。

鉴于此，有必要提供一种基于深度学习的胎儿超声识别图像标准切面图像识别方法和系统，以克服现有技术中人工检测效率低及错误率高的缺陷。

发明内容

本发明所要解决的技术问题是如何在连续视频流图像中筛选并识别出最清晰稳定的图像。

本发明解决上述技术问题的技术方案如下：一种基于机器视觉的超声视频流关键图像自动截取系统，包括：

图像识别模块、图像质量评价模块、高分图像显示模块和图像存储显示模块；

所述图像识别模块用于获取输入的视屏流，并截取所述视频流得到视频图像，所述图像质量评价模块用于对每个所述视频图像进行识别评价并得到每个所述视频图像的清晰度或置信度，将所述视频图像根据所述清晰度或所述置信度截图为高分图像并保存到所述图像存储显示模块，所述高分图像显示模块用于读取所述高分图像并显示。

本发明的有益效果是：由于胎儿在母体内处于无法固定的悬浮状态，因此需要在连续视频流图像中筛选并识别出最清晰稳定的图像，本方案图像识别模块识别标准胎儿超声切面图像及基本标准胎儿超声切面图像，并由显示模组对识别筛选出的图像进行输出，解决了如何在连续视频流图像中筛选并识别出最清晰稳定的图像的技术问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述图像识别模块用于获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到所述清晰度D(f)，并将所述清晰度达到第一预设值的所述视频图像进行截图保存：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²。

进一步，所述图像识别模块用于获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到所述清晰度D(f)，并将所述清晰度达到第预设值的所述视频图像进行截图保存：

进一步，所述图像识别模块用于建立深度学习模型，并选取所述深度学习模型的softmax层进行替换训练，得到自动神经识别网络，所述图像识别模块还用于根据所述自动神经识别网络和所述视频图像得到图像置信度，并比较每个所述图像置信度，得到置信度极值，将所述图像置信度达到极值的所述视频图像进行截图保存。

本发明解决上述技术问题的另一技术方案如下：

一种基于机器视觉的超声视频流关键图像自动截取方法，包括以下步骤：

S1：获取输入的视屏流，并截取所述视频流得到视频图像；

S2：对每个所述视频图像进行识别评价并得到每个所述视频图像的清晰度或置信度；

S3：将所述视频图像根据所述清晰度或所述置信度截图为高分图像并保存；

S4：读取所述高分图像并显示。

进一步，步骤S2具体为：

S21：获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到所述清晰度D(f)：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²；

S23：将所述清晰度达到第一预设值的所述视频图像进行截图保存。

进一步，步骤S2具体为：

S21：获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到所述清晰度D(f)：

S23：将所述清晰度达到第一预设值的所述视频图像进行截图保存。

进一步，步骤S2具体为：

S21：建立深度学习模型，并选取所述深度学习模型的softmax层进行替换训练，得到自动神经识别网络；

S22：根据所述自动神经识别网络和所述视频图像得到图像置信度；

S23：比较每个所述图像置信度，得到置信度极值；

S24：将所述图像置信度达到极值的所述视频图像进行截图保存。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明基于机器视觉的超声视频流关键图像自动截取系统的实施例的系统结构示意图；

图2为本发明基于机器视觉的超声视频流关键图像自动截取方法的实施例的方法流程图；

图3为本发明基于机器视觉的超声视频流关键图像自动截取方法的其它实施例的工作流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例基本如附图1所示：

本实施例中基于机器视觉的超声视频流关键图像自动截取系统，包括：图像识别模块1、图像质量评价模块2、高分图像显示模块3和图像存储显示模块4；

图像识别模块1用于获取输入的视屏流，并截取视频流得到视频图像，图像质量评价模块2用于对每个视频图像进行识别评价并得到每个视频图像的清晰度或置信度，将视频图像根据清晰度或置信度截图为高分图像并保存到图像存储显示模块4，高分图像显示模块3用于读取高分图像并显示。

本发明的有益效果是：由于胎儿在母体内处于无法固定的悬浮状态，因此需要在连续视频流图像中筛选并识别出最清晰稳定的图像，本方案图像识别模块1识别标准胎儿超声切面图像及基本标准胎儿超声切面图像，并由显示模组对识别筛选出的图像进行输出，解决了如何在连续视频流图像中筛选并识别出最清晰稳定的图像的技术问题。

在上述技术方案的基础上，本发明还可以做如下改进。

可选的，在一些其它实施例中，图像识别模块1用于获取每个视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到清晰度D(f)，并将清晰度达到第一预设值的视频图像进行截图保存：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²。

可选的，在一些其它实施例中，图像识别模块1用于获取每个视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到清晰度D(f)，并将清晰度达到第预设值的视频图像进行截图保存：

可选的，在一些其它实施例中，图像识别模块1用于建立深度学习模型，并选取深度学习模型的softmax层进行替换训练，得到自动神经识别网络，图像识别模块1还用于根据自动神经识别网络和视频图像得到图像置信度，并比较每个图像置信度，得到置信度极值，将图像置信度达到极值的视频图像进行截图保存。

在上述技术方案的基础上，本发明还可以做如下改进。

如附图2所示，一种基于机器视觉的超声视频流关键图像自动截取方法，包括以下步骤：

S1：获取输入的视屏流，并截取视频流得到视频图像；

S2：对每个视频图像进行识别评价并得到每个视频图像的清晰度或置信度；

S3：将视频图像根据清晰度或置信度截图为高分图像并保存；

S4：读取高分图像并显示。

可选的，如附图3所示，在一些其它实施例中，步骤S2具体为：

S21：获取每个视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到清晰度D(f)：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²；

S23：将清晰度达到第一预设值的视频图像进行截图保存。

可选的，在一些其它实施例中，步骤S2具体为：

S21：获取每个视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到清晰度D(f)：

S23：将清晰度达到第一预设值的视频图像进行截图保存。

可选的，在一些其它实施例中，步骤S2具体为：

S21：建立深度学习模型，并选取深度学习模型的softmax层进行替换训练，得到自动神经识别网络；

S22：根据自动神经识别网络和视频图像得到图像置信度；

S23：比较每个图像置信度，得到置信度极值；

S24：将图像置信度达到极值的视频图像进行截图保存。

需要说明的是，上述各实施例是与上述各方法实施例对应的产品实施例，对于本实施例中各结构装置及可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于机器视觉的超声视频流关键图像自动截取系统，其特征在于，包括：

图像识别模块、图像质量评价模块、高分图像显示模块和图像存储显示模块；

所述图像识别模块用于获取输入的视屏流，并截取所述视频流得到视频图像，所述图像质量评价模块用于对每个所述视频图像进行识别评价并得到每个所述视频图像的清晰度或置信度，将所述视频图像根据所述清晰度或所述置信度截图为高分图像并保存到所述图像存储显示模块，所述高分图像显示模块用于读取所述高分图像并显示。

2.根据权利要求1所述的基于机器视觉的超声视频流关键图像自动截取系统，其特征在于：所述图像识别模块用于获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到所述清晰度D(f)，并将所述清晰度达到第一预设值的所述视频图像进行截图保存：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²。

3.根据权利要求1所述的基于机器视觉的超声视频流关键图像自动截取系统，其特征在于：所述图像识别模块用于获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)，根据下列公式得到所述清晰度D(f)，并将所述清晰度达到第预设值的所述视频图像进行截图保存：

4.根据权利要求1所述的基于机器视觉的超声视频流关键图像自动截取系统，其特征在于：所述图像识别模块用于建立深度学习模型，并选取所述深度学习模型的softmax层进行替换训练，得到自动神经识别网络，所述图像识别模块还用于根据所述自动神经识别网络和所述视频图像得到图像置信度，并比较每个所述图像置信度，得到置信度极值，将所述图像置信度达到极值的所述视频图像进行截图保存。

5.一种基于机器视觉的超声视频流关键图像自动截取方法，其特征在于包括以下步骤：

S1：获取输入的视屏流，并截取所述视频流得到视频图像；

S2：对每个所述视频图像进行识别评价并得到每个所述视频图像的清晰度或置信度；

S3：将所述视频图像根据所述清晰度或所述置信度截图为高分图像并保存；

S4：读取所述高分图像并显示。

6.根据权利要求5所述的基于机器视觉的超声视频流关键图像自动截取方法，其特征在于：

步骤S2具体为：

S21：获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到所述清晰度D(f)：

D(f)＝∑_y∑_x|f(x+2，y)-f(x,y)]²；

S23：将所述清晰度达到第一预设值的所述视频图像进行截图保存。

7.根据权利要求5所述的基于机器视觉的超声视频流关键图像自动截取方法，其特征在于：

步骤S2具体为：

S21：获取每个所述视频图像的每个像素点(x,y)对应的灰度值f(x,y)；

S22：根据下列公式得到所述清晰度D(f)：

S23：将所述清晰度达到第一预设值的所述视频图像进行截图保存。

8.根据权利要求5所述的基于机器视觉的超声视频流关键图像自动截取方法，其特征在于：

步骤S2具体为：

S21：建立深度学习模型，并选取所述深度学习模型的softmax层进行替换训练，得到自动神经识别网络；

S22：根据所述自动神经识别网络和所述视频图像得到图像置信度；

S23：比较每个所述图像置信度，得到置信度极值；

S24：将所述图像置信度达到极值的所述视频图像进行截图保存。

Images