CN113822894A - 十二指肠胰头图像识别方法和十二指肠胰头图像识别装置 - Google Patents

Abstract

本申请提供一种十二指肠胰头图像识别方法和十二指肠胰头图像识别装置；该十二指肠胰头图像识别方法通过先找到该视频数据中的白光图像，以使白光图像辅助寻找十二指肠降部胰头，在找到白光图像后通过第二图像识别模型对白光图像进行类型识别，确定白光图像的白光类型，并通过第三图像识别模型剔除非标准超声图像，然后通过第四图像识别模型处理标准超声图像得到多个超声类型以及各超声类型的分类置信度，则可以通过白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，从而通过白光图像辅助确定了十二指肠降部胰头标准超声图像，更加准确的找到十二指肠降部胰头。

Description

十二指肠胰头图像识别方法和十二指肠胰头图像识别装置

技术领域

本申请涉及图像识别领域，尤其是涉及一种十二指肠胰头图像识别方法和十二指肠胰头图像识别装置。

背景技术

为了提高检测效果，现有胰头检测过程中会采用超声内镜进行检测。在超声内镜的使用过程中，需要对胃腔、十二指肠球部和十二指肠降部的胰头全扫，以避免出现遗漏。但在检测过程中，由于十二指肠降部胰头毗邻的结构较多，包括胆胰管、肠系膜动脉、腹主动脉、腹腔干等多个血管环绕，且十二指肠降部胰头形态多变不具备特征性，难以找到十二指肠降部胰头，导致对胃腔胰头和十二指肠球部胰头的判断也产生干扰。即使当前技术中提出了一些采用深度强化学习来识别胰头的方式，但由于十二指肠降部的解剖结构复杂，缺乏特异性，当前技术中对于十二指肠胰头的识别准确率仍然较低。

所以，现有超声内镜的识别过程中存在十二指肠降部胰头缺乏特异性所导致的十二指肠降部胰头的识别准确率较低的技术问题。

发明内容

本申请实施例提供一种十二指肠胰头图像识别方法和十二指肠胰头图像识别装置，用以缓解现有超声内镜的识别过程中存在十二指肠降部胰头缺乏特异性所导致的十二指肠降部胰头的识别准确率较低的技术问题。

本申请实施例提供一种十二指肠胰头图像识别方法，该十二指肠胰头图像识别方法包括：

获取待处理视频数据；

通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；

通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；

通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；

通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；

根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

同时，本申请实施例提供一种十二指肠胰头图像识别装置，该十二指肠胰头图像识别装置包括：

获取模块，用于获取待处理视频数据；

第一图像识别模块，用于通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；

第二图像识别模块，用于通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；

第三图像识别模块，用于通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；

第四图像识别模块，用于通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；

确定模块，用于根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

同时，本申请实施例提供一种服务器，该服务器包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行程序时实现上述实施例中任一项十二指肠胰头图像识别方法中的步骤。

同时，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有多条指令，指令适于处理器进行加载，以执行上述十二指肠胰头图像识别方法中的步骤。

有益效果：本申请提供一种十二指肠胰头图像识别方法和十二指肠胰头图像识别装置；该十二指肠胰头图像识别方法在获取到待处理视频数据后，先通过第一图像识别模型对待处理视频数据进行白光识别，得到待处理视频数据中的白光图像、以及白光图像后的超声图像，然后通过第二图像识别模型对白光图像进行类型识别，得到白光图像的白光类型，然后通过第三图像识别模型对超声图像进行特征识别，得到待处理视频数据中的标准超声图像，然后通过第四图像识别模型处理标准超声图像，得到标准超声图像的多个超声类型以及各超声类型的分类置信度，然后根据白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的标准超声图像的置信值，并在十二指肠降部标准超声图像的置信值高于胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。本申请通过在需要从待处理视频数据中找到十二指肠降部胰头时，通过先找到该视频数据中的白光图像，以使白光图像辅助寻找十二指肠降部胰头，在找到白光图像后通过第二图像识别模型对白光图像进行类型识别，确定白光图像的白光类型，并通过第三图像识别模型剔除非标准超声图像，然后通过第四图像识别模型处理标准超声图像得到多个超声类型以及各超声类型的分类置信度，则可以通过白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，从而通过白光图像辅助确定了十二指肠降部胰头标准超声图像，更加准确的找到十二指肠降部胰头。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的图像识别系统的场景示意图。

图2为本申请实施例提供的十二指肠胰头图像识别方法的流程图。

图3为本申请实施例提供的标准超声图像的图。

图4为本申请实施例提供的十二指肠胰头图像识别装置的结构示意图。

图5为本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的一种图像识别系统的场景示意图，该图像识别系统可以包括多个检测设备11和服务器12、检测设备11之间、服务器12之间、以及检测设备11和服务器12之间通过网络或者网关连接通信，不再赘述，其中：

检测设备11包括超声内镜，用于对胰腺进行检测。

服务器12包括本地服务器和/或远程服务器，该服务器12可以是独立的服务器，也可以是服务器组成的服务器网络或者服务器集群，例如，本申请实施例所描述的服务器12，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。

服务器12获取待处理视频数据；通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

需要说明的是，图1所示的系统场景示意图是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样使用，以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

图2为本申请实施例提供的十二指肠胰头图像识别方法的一种流程示意图，请参阅图2，该十二指肠胰头图像识别方法包括以下步骤：

201：获取待处理视频数据。

在一种实施例中，在超声内镜对胰腺进行检测得到视频数据后，需要对视频数据进行处理，找到各部位的胰腺的图像，从而对图像进行分析确定是否存在异常。本申请通过采用服务器对视频数据进行处理，提高图像识别的准确性。

具体的，在获取待处理视频数据时，可以是超声内镜在检测过程中得到视频数据后自动发送待处理视频数据至服务器，也可以是服务器在与检测设备通信后从检测设备获取待处理视频数据，也可以是服务器从存储设备中获取存储的待处理视频数据。

202：通过第一图像识别模型对待处理视频数据进行白光识别，得到待处理视频数据中的白光图像、以及白光图像后的超声图像。

在一种实施例中，第一图像识别模型指识别白光图像和超声图像的模型，通过第一图像识别模型可以识别出待处理视频数据中的图像是白光图像还是超声图像。且第一图像识别模型是训练后的模型，以提高识别的准确性。

具体的，在使用第一图像识别模型对待处理视频数据进行白光识别前，可以先对第一图像识别模型进行训练，例如选择历史视频作为参考数据，通过第一图像识别模型对历史视频中的白光图像和超声图像进行识别，并对第一图像识别模型进行修正，得到训练后的第一图像识别模型。

具体的，第一图像识别模型包括Resnet（Residual Neural Network，残差网络）图像分类神经网络模型。

针对白光图像和超声图像的色彩不同，可以采用第一图像识别模型对待处理视频数据进行颜色识别，从而确定白光图像和超声图像。在一种实施例中，所述通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像的步骤，包括：通过第一图像识别模型对所述待处理视频数据进行颜色识别，确定所述待处理视频数据中当前帧图像的色彩数据；根据当前帧图像的色彩数据以及第一图像识别模型，确定当前帧图像的色彩数据对应的图像类型，并根据当前帧图像的色彩数据对应的图像类型，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像。

具体的，在超声图像的呈现过程中，超声图像一般仅有黑白两色，即超声图像呈现为黑白色，而白光图像是物体的实际颜色，会通过红绿蓝三原色呈现物体的原色，一般为彩色，因此，可以通过对当前帧的颜色进行识别，确定当前帧是否存在彩色，从而确定当前帧为白光图像还是超声图像，相应的确定后续其他帧的图像的类型。

针对先查找到超声图像时，没有白光图像进行辅助查找，会导致无法准确确定十二指肠降部胰头标准超声图像的问题。在一种实施例中，在所述通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像的步骤之前，还包括：通过第一图像识别模型对所述待处理视频数据进行识别，并在先识别到所述待处理视频数据中的超声图像时，确定各超声图像的预设加权系数；根据各超声图像的预设加权系数以及预设置信度，确定各类型的超声图像的置信值。

具体的，在先识别到超声图像而不是白光图像时，表示此时没有白光图像辅助查看超声图像，则存在无法准确确定十二指肠降部胰头标准超声图像的问题，则通过为超声图像设定预设加权系数，并根据预设加权系数以及预设置信度，确定超声图像的置信值。

具体的，预设加权系数可以设置为胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的加权系数均为0，则超声图像的置信值为0，无需处理这些超声图像，或者设置胃腔胰头标准超声图像不为0，但十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的加权系数为0，使得无需判断该图像是否为十二指肠降部胰头标准超声图像，相应的，预设置信度的设置方式也可以采用预设加权系数的方式进行设置，从而使得在没有确定白光图像时，避免直接判断十二指肠降部胰头标准超声图像影响判断结果。

具体的，在先找到超声图像时，无需确定是否为标准超声图像、无需确定各超声类型的分类置信度，提高待处理视频数据的处理效率。

203：通过第二图像识别模型对白光图像进行类型识别，得到白光图像的白光类型。

在一种实施例中，第二图像识别模型指识别白光类型的模型，通过第二图像识别模型可以识别出待处理视频数据中的图像是白光图像的类型，包括胃腔胰头白光图像、十二指肠球部胰头白光图像和十二指肠降部胰头白光图像。且第二图像识别模型是训练后的模型，以提高识别的准确性。

具体的，在使用第二图像识别模型对待处理视频数据进行类型识别前，可以先对第二图像识别模型进行训练，例如选择历史视频作为参考数据，通过第二图像识别模型对历史视频中的白光图像进行识别，并对第二图像识别模型进行修正，得到训练后的第二图像识别模型。

具体的，第二图像识别模型包括Resnet（Residual Neural Network，残差网络）图像分类神经网络模型。

在一种实施例中，白光类型包括胃腔胰头白光图像、十二指肠球部胰头白光图像和十二指肠降部胰头白光图像。

针对白光图像中不同部位的特征不同，可以通过不同部位的特征来确定白光图像的白光类型。在一种实施例中，所述通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型的步骤，包括：通过第二图像识别模型对所述白光图像进行类型识别，确定所述白光图像中的特征数据；根据所述白光图像中的特征数据以及所述第二图像识别模型，确定所述白光图像中的特征数据对应的白光类型，得到所述白光图像的白光类型。

具体的，胃腔胰头白光图像的特征包括纹理光滑、存在较大色差，十二指肠球部胰头白光图像的特征包括图像纹理粗糙、右下角亮度较低，十二指肠降部胰头白光图像的特征包括图像纹理粗糙，存在多个环形亮度较暗区域，则可以判断白光图像的白光类型。

204：通过第三图像识别模型对超声图像进行特征识别，得到待处理视频数据中的标准超声图像。

在一种实施例中，第三图像识别模型指识别超声图像是否为标准超声图像的模型，由于视频中会存在一些无法识别的超声图像，因此需要采用第三图像识别模型剔除无效的超声图像，以提高图像识别的效率和准确率，因此，通过第三图像识别模型可以识别出待处理视频数据中的超声图像是否为标准超声图像，包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像。且第三图像识别模型是训练后的模型，以提高识别的准确性。

具体的，在使用第三图像识别模型对待处理视频数据进行类型识别前，可以先对第三图像识别模型进行训练，例如选择历史视频作为参考数据，通过第三图像识别模型对历史视频中的超声图像进行识别，并对第三图像识别模型进行修正，得到训练后的第三图像识别模型。

具体的，第三图像识别模型包括Resnet（Residual Neural Network，残差网络）图像分类神经网络模型。

在一种实施例中，所述通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像的步骤，包括：通过第三图像识别模型对所述超声图像进行特征识别，确定各图像的图像特征；根据各图像的图像特征以及第三图像识别模型中预设图像特征，确定具有预设图像特征的目标图像，并根据目标图像得到所述待处理视频数据中的标准超声图像。

具体的，预设图像特征可以设定为以下八个特征，则具有以下八个特征的超声图像为标准超声图像，其中：

图像右侧均匀中低回声、图像中央无回声刀F形管腔、图像上方两无回声圆形管腔紧密排列、中低回声包绕高回声架构、倒Y字形无回声管腔、竖直1字形无回声管腔指该图像为胃腔胰头标准超声图像；

图像紧贴超声探头的无回声管腔指该图像为十二指肠球部胰头标准超声图像；

具备平行无回声管腔特征指该图像为十二指肠降部胰头标准超声图像；即在存在上述八个特征中的任一特征时，表示该图像为标准超声图像，反之为非标准超声图像，需要对非标准超声图像进行剔除或者其他处理，以提高图像识别效率和图像识别准确率，通过该特征确定了标准超声图像后，由于仍然无法准确确定十二指肠降部胰头，因此通过白光图像辅助标准超声图像确定十二指肠降部胰头。

205：通过第四图像识别模型处理标准超声图像，得到标准超声图像的多个超声类型以及各超声类型的分类置信度。

具体的，标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像。

在一种实施例中，第四图像识别模型指确定标准超声图像的各超声类型以及对应的分类置信度的模型，由于标准超声图像中会存在特征的难以确定，因此需要判断该标准超声图像对应的各超声类型以及对应的分类置信度，通过第四图像识别模型来判断各超声类型以及对应的分类置信度，则可以提高图像识别的准确性。且第三图像识别模型是训练后的模型，以提高识别的准确性。

具体的，在使用第四图像识别模型对待处理视频数据进行类型识别前，可以先对第四图像识别模型进行训练，例如选择历史视频作为参考数据，通过第四图像识别模型对历史视频中的超声图像进行识别，并对第四图像识别模型进行修正，得到训练后的第四图像识别模型。

具体的，第四图像识别模型包括Resnet（Residual Neural Network，残差网络）图像分类神经网络模型。

针对采用单个图像识别模型对各超声类型进行分类并确定分类置信度的效果较差的问题。在一种实施例中，所述通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度的步骤，包括：通过第四图像识别模型中的第一子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第一分类置信度和十二指肠球部胰头标准超声图像的第二分类置信度；通过所述第四图像识别模型中的第二子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第三分类置信度和所述十二指肠降部胰头标准超声图像的第四分类置信度；通过所述第四图像识别模型中的第三子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的十二指肠球部胰头标准超声图像的第五分类置信度和所述十二指肠降部胰头标准超声图像的第六分类置信度；根据所述第一分类置信度、第二分类置信度、第三分类置信度、第四分类置信度、第五分类置信度和第六分类置信度，确定胃腔胰头标准超声图像的第七分类置信度、所述十二指肠球部胰头标准超声图像的第八分类置信度和所述十二指肠降部胰头标准超声图像的第九分类置信度。

具体的，通过三个二分类的图像识别模型对胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像进行分类并确定分类置信度，则可以更加准确的准确各超声类型的分类置信度。

206：根据白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的标准超声图像的置信值，并在十二指肠降部胰头标准超声图像的置信值高于胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

在一种实施例中，白光类型的加权系数至不同白光类型下不同超声类型对应的加权系数，在下述实施例中详细说明。

在一种实施例中，在所述根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值的步骤之前，还包括：获取参考视频数据；所述参考视频数据包括胃腔胰头白光图像、胃腔胰头标准超声图像、十二指肠球部胰头白光图像、十二指肠球部胰头标准超声图像、十二指肠降部胰头白光图像和十二指肠降部胰头标准超声图像；通过深度学习模型对参考视频数据中的白光图像进行类型识别，并在识别到白光图像后确定各标准超声图像出现的概率；根据各白光图像后各标准超声图像出现的概率，确定各白光类型的加权系数。

具体的，在确定各白光类型的加权系数时，可以采用深度学习模型对参考视频数据进行处理，确定不同部位的白光图像对不同部位标准超声图像的加权系数，从而确定白光类型的加权系数。

在一种实施例中，所述根据各白光图像后各标准超声图像出现的概率，确定各白光类型的加权系数的步骤，包括：在所述白光类型为所述胃腔胰头白光图像时，获取所述胃腔胰头白光图像对应的所述胃腔胰头标准超声图像的第一加权系数、所述胃腔胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第二加权系数、所述胃腔胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第三加权系数；在所述白光类型为所述十二指肠球部胰头白光图像时，获取所述十二指肠球部胰头白光图像对应的所述胃腔胰头标准超声图像的第四加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第五加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第六加权系数；在所述白光类型为所述十二指肠降部胰头白光图像时，获取所述十二指肠降部胰头白光图像对应的所述胃腔胰头标准超声图像的第七加权系数、所述十二指肠降部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第八加权系数和所述十二指肠降部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第九加权系数。

具体的，针对三种不同的白光类型和三种不同的超声类型，具有九种加权系数，相应的采用九种加权系数和各超声图像的置信度确定各超声图像的置信值。

在一种实施例中，所述根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值的步骤，包括：在所述白光类型为所述胃腔胰头白光图像时，根据所述第一加权系数、所述第二加权系数、所述第三加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；在所述白光类型为所述十二指肠球部胰头白光图像时，根据所述第四加权系数、所述第五加权系数、所述第六加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；在所述白光类型为所述十二指肠降部胰头白光图像时，根据所述第七加权系数、所述第八加权系数、所述第九加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值。

具体的，在确定白光类型后，例如白光类型为胃腔胰头白光图像，则可以根据第一加权系数、第二加权系数、第三加权系数、第七分类置信度、第八分类置信度和第九分类置信度，确定胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值。相应的，在白光类型为十二指肠球部胰头白光图像和十二指肠降部胰头白光图像时，确定对应的置信值。

具体的，例如在某次图像识别过程中，确定了第一加权系数为0.6、第二加权系数为0.4、第三加权系数为0.1；第四加权系数为0.3、第五加权系数为0.5、第六加权系数为0.2；第七加权系数为0.1、第八加权系数为0.1、第九加权系数为0.8；同时确定了白光图像为十二指肠球部胰头标准超声图像，此时第七分类置信度为0.23、第八分类置信度为0.33、第九分类置信度为0.44，则可以确定胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值分别为0.3*0.23、0.5*0.33、0.2*0.44，即分别为0.069、0.165、0.088，则可以确定为该标准超声图像为十二指肠球部胰头标准超声图像。

具体的，胃腔胰头标准超声图像的置信值为第一加权系数与第七分类置信值的乘积、十二指肠球部胰头标准超声图像的置信值为第二加权系数与第八分类置信度的乘积、十二指肠降部胰头白光图像的置信值为第三加权系数与第九分类置信度的乘积。

在上述实施例中，在识别某一白光图像后，确定该白光图像后的各标准超声图像的置信值，在再次查找到下一白光图像后，根据下一白光图像的白光类型以及标准超声图像的分类置信度进行相应的处理确定各标准超声图像的置信值，从而确定十二指肠降部胰头标准超声图像，提高十二指肠降部胰头标准超声图像查找的准确性。

如图3所示，图3中包含6副图，图3中的上面三幅图从左至右依次为胃腔胰头标准超声图像原图、十二指肠球部胰头标准超声图像原图和十二指肠降部胰头标准超声图像原图，图3中的下面三幅图从左至右依次为在胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像中标记胰头的图像，其中，从左至右的白线框分别表示胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像中胰头的位置。

本申请实施例提供一种十二指肠胰头图像识别方法，该十二指肠胰头图像识别方法通过在需要从待处理视频数据中找到十二指肠降部胰头时，通过先找到该视频数据中的白光图像，以使白光图像辅助寻找十二指肠降部胰头，在找到白光图像后通过第二图像识别模型对白光图像进行类型识别，确定白光图像的白光类型，并通过第三图像识别模型剔除非标准超声图像，然后通过第四图像识别模型处理标准超声图像得到多个超声类型以及各超声类型的分类置信度，则可以通过白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，从而通过白光图像辅助确定了十二指肠降部胰头标准超声图像，更加准确的找到十二指肠降部胰头。

请参阅图4，图4为本申请实施例提供的十二指肠胰头图像识别装置的结构示意图；请参阅图4，该十二指肠胰头图像识别装置包括以下模块：

获取模块401，用于获取待处理视频数据；

第一图像识别模块402，用于通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；

第二图像识别模块403，用于通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；

第三图像识别模块404，用于通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；

第四图像识别模块405，用于通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；

确定模块406，用于根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

在一种实施例中，第一图像识别模块402用于通过第一图像识别模型对所述待处理视频数据进行颜色识别，确定所述待处理视频数据中当前帧图像的色彩数据；根据当前帧图像的色彩数据以及第一图像识别模型，确定当前帧图像的色彩数据对应的图像类型，并根据当前帧图像的色彩数据对应的图像类型，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像。

在一种实施例中，第二图像识别模块403用于通过第二图像识别模型对所述白光图像进行类型识别，确定所述白光图像中的特征数据；根据所述白光图像中的特征数据以及所述第二图像识别模型，确定所述白光图像中的特征数据对应的白光类型，得到所述白光图像的白光类型。

在一种实施例中，第三图像识别模块404用于通过第三图像识别模型对所述超声图像进行特征识别，确定各图像的图像特征；根据各图像的图像特征以及第三图像识别模型中预设图像特征，确定具有预设图像特征的目标图像，并根据目标图像得到所述待处理视频数据中的标准超声图像。

在一种实施例中，第四图像识别模块405用于通过第四图像识别模型中的第一子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第一分类置信度和十二指肠球部胰头标准超声图像的第二分类置信度；通过所述第四图像识别模型中的第二子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第三分类置信度和所述十二指肠降部胰头标准超声图像的第四分类置信度；通过所述第四图像识别模型中的第三子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的十二指肠球部胰头标准超声图像的第五分类置信度和所述十二指肠降部胰头标准超声图像的第六分类置信度；根据所述第一分类置信度、第二分类置信度、第三分类置信度、第四分类置信度、第五分类置信度和第六分类置信度，确定胃腔胰头标准超声图像的第七分类置信度、所述十二指肠球部胰头标准超声图像的第八分类置信度和所述十二指肠降部胰头标准超声图像的第九分类置信度。

在一种实施例中，十二指肠胰头图像识别装置还包括加权模块，加权模块用于获取参考视频数据；所述参考视频数据包括胃腔胰头白光图像、胃腔胰头标准超声图像、十二指肠球部胰头白光图像、十二指肠球部胰头标准超声图像、十二指肠降部胰头白光图像和十二指肠降部胰头标准超声图像；通过深度学习模型对参考视频数据中的白光图像进行类型识别，并在识别到白光图像后确定各标准超声图像出现的概率；根据各白光图像后各标准超声图像出现的概率，确定各白光类型的加权系数。

在一种实施例中，加权模块用于在所述白光类型为所述胃腔胰头白光图像时，获取所述胃腔胰头白光图像对应的所述胃腔胰头标准超声图像的第一加权系数、所述胃腔胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第二加权系数、所述胃腔胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第三加权系数；在所述白光类型为所述十二指肠球部胰头白光图像时，获取所述十二指肠球部胰头白光图像对应的所述胃腔胰头标准超声图像的第四加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第五加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第六加权系数；在所述白光类型为所述十二指肠降部胰头白光图像时，获取所述十二指肠降部胰头白光图像对应的所述胃腔胰头标准超声图像的第七加权系数、所述十二指肠降部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第八加权系数和所述十二指肠降部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第九加权系数。

在一种实施例中，确定模块406用于在所述白光类型为所述胃腔胰头白光图像时，根据所述第一加权系数、所述第二加权系数、所述第三加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；在所述白光类型为所述十二指肠球部胰头白光图像时，根据所述第四加权系数、所述第五加权系数、所述第六加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；在所述白光类型为所述十二指肠降部胰头白光图像时，根据所述第七加权系数、所述第八加权系数、所述第九加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值。

在一种实施例中，十二指肠胰头图像识别装置还包括处理模块，处理模块用于通过第一图像识别模型对所述待处理视频数据进行识别，并在先识别到所述待处理视频数据中的超声图像时，确定各超声图像的预设加权系数；根据各超声图像的预设加权系数以及预设置信度，确定各类型的超声图像的置信值。

相应的，本申请实施例还提供一种数据服务器，如图5所示，该数据服务器可以包括射频（RF，Radio Frequency）电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真（WiFi，WirelessFidelity）模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解，图5中示出的数据服务器结构并不构成对数据服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部分，或者不同的部件布置。其中：

RF电路501可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器508处理；另外，将涉及上行的数据发送给基站。存储器502可用于存储软件程序以及模块，处理器508通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。输入单元503可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

显示单元504可用于显示由用户输入的信息或提供给用户的信息以及数据服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

数据服务器还可包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。音频电路506包括扬声器，扬声器可提供用户与数据服务器之间的音频接口。

WiFi属于短距离无线传输技术，数据服务器通过WiFi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块507，但是可以理解的是，其并不属于数据服务器的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器508是数据服务器的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行数据服务器的各种功能和处理数据，从而对手机进行整体监控。

数据服务器还包括给各个部件供电的电源509（比如电池），优选的，电源可以通过电源管理系统与处理器508逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，数据服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，数据服务器中的处理器508会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器508来运行存储在存储器502中的应用程序，从而实现以下功能：

接收至少两个第三方媒体服务器发送的数据查看请求；根据所述数据查看请求，获取所述数据查看请求对应的初始数据；对所述初始数据进行处理，得到包含包头数据和包体数据的目标数据，并将所述目标数据发送至消息队列；所述包头数据包括数据量参数、网络参数和连接参数；在所述网络参数与全局参数相等时，根据所述连接参数、所述数据量参数，从所述消息队列中提取所述目标数据并发送至缓冲区；从所述缓冲区中提取所述目标数据，并将所述目标数据发送至所述第三方媒体服务器。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

获取待处理视频数据；通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种十二指肠胰头图像识别方法和十二指肠胰头图像识别装置、服务器和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (10)

1.一种十二指肠胰头图像识别方法，其特征在于，包括：

获取待处理视频数据；

通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；

通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；

通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；

通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；

根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

2.如权利要求1所述的十二指肠胰头图像识别方法，其特征在于，所述通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像的步骤，包括：

通过第一图像识别模型对所述待处理视频数据进行颜色识别，确定所述待处理视频数据中当前帧图像的色彩数据；

根据当前帧图像的色彩数据以及第一图像识别模型，确定当前帧图像的色彩数据对应的图像类型，并根据当前帧图像的色彩数据对应的图像类型，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像。

3.如权利要求1所述的十二指肠胰头图像识别方法，其特征在于，所述通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型的步骤，包括：

通过第二图像识别模型对所述白光图像进行类型识别，确定所述白光图像中的特征数据；

根据所述白光图像中的特征数据以及所述第二图像识别模型，确定所述白光图像中的特征数据对应的白光类型，得到所述白光图像的白光类型。

4.如权利要求1所述的十二指肠胰头图像识别方法，其特征在于，所述通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像的步骤，包括：

通过第三图像识别模型对所述超声图像进行特征识别，确定各图像的图像特征；

根据各图像的图像特征以及第三图像识别模型中预设图像特征，确定具有预设图像特征的目标图像，并根据目标图像得到所述待处理视频数据中的标准超声图像。

5.如权利要求1所述的十二指肠胰头图像识别方法，其特征在于，所述通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度的步骤，包括：

通过第四图像识别模型中的第一子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第一分类置信度和十二指肠球部胰头标准超声图像的第二分类置信度；

通过所述第四图像识别模型中的第二子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的胃腔胰头标准超声图像的第三分类置信度和所述十二指肠降部胰头标准超声图像的第四分类置信度；

通过所述第四图像识别模型中的第三子图像识别模型处理所述标准超声图像，得到所述标准超声图像中的十二指肠球部胰头标准超声图像的第五分类置信度和所述十二指肠降部胰头标准超声图像的第六分类置信度；

根据所述第一分类置信度、第二分类置信度、第三分类置信度、第四分类置信度、第五分类置信度和第六分类置信度，确定胃腔胰头标准超声图像的第七分类置信度、所述十二指肠球部胰头标准超声图像的第八分类置信度和所述十二指肠降部胰头标准超声图像的第九分类置信度。

6.如权利要求5所述的十二指肠胰头图像识别方法，其特征在于，在所述根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值的步骤之前，还包括：

获取参考视频数据；所述参考视频数据包括胃腔胰头白光图像、胃腔胰头标准超声图像、十二指肠球部胰头白光图像、十二指肠球部胰头标准超声图像、十二指肠降部胰头白光图像和十二指肠降部胰头标准超声图像；

通过深度学习模型对参考视频数据中的白光图像进行类型识别，并在识别到白光图像后确定各标准超声图像出现的概率；

根据各白光图像后各标准超声图像出现的概率，确定各白光类型的加权系数。

7.如权利要求6所述的十二指肠胰头图像识别方法，其特征在于，所述根据各白光图像后各标准超声图像出现的概率，确定各白光类型的加权系数的步骤，包括：

在所述白光类型为所述胃腔胰头白光图像时，获取所述胃腔胰头白光图像对应的所述胃腔胰头标准超声图像的第一加权系数、所述胃腔胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第二加权系数、所述胃腔胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第三加权系数；

在所述白光类型为所述十二指肠球部胰头白光图像时，获取所述十二指肠球部胰头白光图像对应的所述胃腔胰头标准超声图像的第四加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第五加权系数、所述十二指肠球部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第六加权系数；

在所述白光类型为所述十二指肠降部胰头白光图像时，获取所述十二指肠降部胰头白光图像对应的所述胃腔胰头标准超声图像的第七加权系数、所述十二指肠降部胰头白光图像对应的所述十二指肠球部胰头标准超声图像的第八加权系数和所述十二指肠降部胰头白光图像对应的所述十二指肠降部胰头标准超声图像的第九加权系数。

8.如权利要求7所述的十二指肠胰头图像识别方法，其特征在于，所述根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值的步骤，包括：

在所述白光类型为所述胃腔胰头白光图像时，根据所述第一加权系数、所述第二加权系数、所述第三加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；

在所述白光类型为所述十二指肠球部胰头白光图像时，根据所述第四加权系数、所述第五加权系数、所述第六加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值；

在所述白光类型为所述十二指肠降部胰头白光图像时，根据所述第七加权系数、所述第八加权系数、所述第九加权系数、所述第七分类置信度、所述第八分类置信度和所述第九分类置信度，确定所述胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像的置信值。

9.如权利要求1所述的十二指肠胰头图像识别方法，其特征在于，在所述通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像的步骤之前，还包括：

通过第一图像识别模型对所述待处理视频数据进行识别，并在先识别到所述待处理视频数据中的超声图像时，确定各超声图像的预设加权系数；

根据各超声图像的预设加权系数以及预设置信度，确定各类型的超声图像的置信值。

10.一种十二指肠胰头图像识别装置，其特征在于，包括：

获取模块，用于获取待处理视频数据；

第一图像识别模块，用于通过第一图像识别模型对所述待处理视频数据进行白光识别，得到所述待处理视频数据中的白光图像、以及所述白光图像后的超声图像；

第二图像识别模块，用于通过第二图像识别模型对所述白光图像进行类型识别，得到所述白光图像的白光类型；

第三图像识别模块，用于通过第三图像识别模型对所述超声图像进行特征识别，得到所述待处理视频数据中的标准超声图像；

第四图像识别模块，用于通过第四图像识别模型处理所述标准超声图像，得到所述标准超声图像的多个超声类型以及各超声类型的分类置信度；所述标准超声图像的多个超声类型包括胃腔胰头标准超声图像、十二指肠球部胰头标准超声图像和十二指肠降部胰头标准超声图像；

确定模块，用于根据所述白光类型的加权系数以及各超声类型的分类置信度，确定各超声类型的所述标准超声图像的置信值，并在所述十二指肠降部胰头标准超声图像的置信值高于所述胃腔胰头标准超声图像的置信值和十二指肠球部胰头标准超声图像的置信值时，确定十二指肠降部胰头标准超声图像。

Images