CN113177928B - 一种图像识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种图像识别方法、装置、电子设备及存储介质；该方法先获取目标部位对应的医学扫描的初始图像，然后对该初始图像进行预处理，得到目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种，然后基于初始图像和血管的后处理图像进行病灶识别得到病灶区域，接着根据病灶区域和异常区域，确定并识别初始图像中的病灶图像，得到病灶识别结果。本申请采用多种途径对初始图像进行病灶识别，弥补了人工识别的遗漏，提高了识别结果的准确性。

Description

一种图像识别方法、装置、电子设备及存储介质

技术领域

本申请涉及医学图像处理技术领域，尤其涉及一种图像识别方法、装置、电子设备及存储介质。

背景技术

当前在对人体血管出现的病灶进行诊断时，多采用人工识别或采用检测器对待识别图像进行全局检测。然而，人工识别方式经常会出现遗漏的情况，且识别结果大多是靠医生的主观经验进行判断，容易出现判断误差，导致识别结果的准确性较低，而采用检测器对待识别图像进行全局检测时，因为全局检测主要采用训练好的模型来完成检测工作，而通常通过神经网络训练的模型往往会存在误差，所以很可能会出现病灶漏检的问题，导致识别结果的准确性也较低。

因此，需要提供一种图像识别方法，以缓解当前图像识别方法中识别结果准确性较低等技术问题。

发明内容

本申请提供一种图像识别方法、装置、电子设备及存储介质，以提高识别结果的准确性。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供了一种图像识别方法，所述图像识别方法包括：

获取目标部位对应的医学扫描的初始图像；

对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

相应的，本申请还提供了一种图像识别装置，所述图像识别装置包括：

第一获取模块，用于获取目标部位对应的医学扫描的初始图像；

预处理模块，用于对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

第一识别模块，用于识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

病灶识别模块，用于根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

相应的，本申请提供了一种电子设备，其包括处理器和存储器，存储器里存储有计算机程序，处理器执行程序时实现上述图像识别方法中的步骤。

相应的，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述图像识别方法中的步骤。

有益效果：本申请提供了一种图像识别方法、装置、电子设备及存储介质，该方法在获取目标部位对应的医学扫描的初始图像之后，先对该初始图像进行预处理，得到目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种，然后识别该初始图像和血管的后处理图像，得到目标部位对应的病灶区域，最后根据该病灶区域和血管中心线参数存在的异常区域，确定并识别该初始图像中的病灶图像得到病灶识别结果。本申请先根据初始图像和血管的后处理图像，确定病灶区域，然后通过识别病灶区域和血管中心线参数存在的异常区域，确定病灶识别结果，这种通过多种途径对初始图像中的病灶进行识别的方式，，弥补了人工识别的遗漏，提高了识别结果的准确性。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1a是本申请实施例提供的图像识别系统的场景示意图。

图1b是本申请实施例提供的图像识别系统的组网示意图。

图2是本申请实施例提供的图像识别方法的第一种流程示意图。

图3是本申请实施例提供的图像识别方法的第二种流程示意图。

图4是本申请实施例提供的图像识别方法的第三种流程示意图。

图5a至图5g是本申请实施例涉及的医学图像的示意图。

图6是本申请实施例提供的图像识别装置的结构示意图。

图7是本申请实施例提供的终端的结构示意图。

图8是本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像识别方法、装置、电子设备及存储介质。其中，该图像识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

本申请实施例提供的图像识别方法涉及机器学习(ML，Machine Learning)。可以通过训练一系列神经网络模型对初始图像和血管的后处理图像进行病灶识别，得到病灶区域，例如，利用边框回归(Bounding Box)进行病灶区域的目标检测，又例如，利用病灶掩膜，对病灶区域进行分割等。

其中，机器学习(ML，Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门用来研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能核心，是使计算机具有智能的根本途径，能通过经验自动改进算法。

本申请实施例中，所谓后处理图像，指的是例如拉直图像、曲面重建(CPR，CurvedProjection Reformation)图像、探针图像(血管切面图)以及最大密度投影MIP、VR图像等经过一系列后处理操作得到的图像，利用后处理图像能使得病灶识别更精准、快速。其中，后处理操作包括在获取目标对象目标区域对应的医学扫描的初始图像后，对所述初始图像进行分割处理，得到所述初始图像中血管对应的血管数据，然后基于血管掩膜数据，对所述血管数据进行识别，得到所述血管数据对应的关键生理参考信息，然后根据所述关键生理参考信息，对所述血管数据对应的血管中心线进行修复，得到所述血管数据对应的有效血管中心线，最后根据所述有效血管中心线，生成所述目标对象目标区域对应的后处理图像，后处理图像例如虹吸部位对应的血管图像等。

在本申请实施例中，血管中心线参数包括弯曲参数、命名参数和宽度参数等。其中，弯曲参数指的是用于判断血管中心线是否弯曲的指标；命名参数指的是用于判断血管中心线的命名是否缺失的指标；宽度参数指的是用于判断沿血管中心线方向的血管半径是否存在宽度骤变的指标。

请参阅图1a，以该图像识别装置集成在电子设备中为例，该电子设备可以获取医学扫描的初始图像，然后对该初始图像进行预处理，得到初始图像所对应的目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种，接着识别该初始图像和血管的后处理图像，得到目标部位对应的病灶区域，最后根据病灶区域和血管中心线参数存在的异常区域，确定初始图像中的病灶图像，并识别该病灶图像，得到病灶识别结果；例如目标部位为颅内血管，病灶识别结果为动脉瘤等。

请参阅图1b，图1b为本申请实施例所提供的图像识别系统的组网示意图，该系统可以包括终端以及服务器，终端之间、服务器之间、以及终端与服务器之间通过各种网关组成的互联网等方式连接通信，不再赘述，其中，终端包括检测终端101以及用户终端102等，服务器包括识别服务器103以及训练服务器104等；其中：

检测终端101主要包括医疗设备，如计算机断层扫描设备(CT，ComputedTomography)等设备，主要用于根据用户需求输出医学扫描的初始图像。

用户终端102包括但不局限于手机、平板等便携终端，电脑、查询机等固定终端，以及各种虚拟终端等；主要提供待图像的上传功能、识别功能、图像对应的病灶类型识别结果的展示功能等。

服务器包括本地服务器和/或远程服务器等。识别服务器103的识别功能以及训练服务器104的模型训练功能都可以部署在本地服务器，也可以部分或者全部部署在远程服务器上。

在本申请实施例中，电子设备可以获取目标部位对应的医学扫描的初始图像，然后对该初始图像进行预处理，得到初始图像所对应的目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种，接着识别该初始图像和血管的后处理图像，得到目标部位对应的病灶区域，最后根据病灶区域和血管中心线参数存在的异常区域，确定初始图像中的病灶图像，并识别该病灶图像，得到病灶识别结果，例如颅内血管中存在动脉瘤等。本申请通过使用计算机辅助进行图像识别，通过识别血管的后处理图像和初始图像，确定病灶区域，然后基于该病灶区域和血管中心线参数存在异常的区域，确定初始图像中的病灶图像，最后对该病灶图像进行识别，得到病灶识别结果，这种通过多种途径对初始图像中的病灶进行识别的方式，弥补了人工识别的遗漏，提高了识别结果的准确性。

需要说明的是，图1b所示的系统组网示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。本实施例将从图像识别装置的角度进行描述，该图像识别装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、微型处理盒子、或者其他设备等。

图2是本申请实施例提供的图像识别方法的第一种流程示意图，请参阅图2，该图像识别方法包括以下步骤：

201：获取目标部位对应的医学扫描的初始图像。

在本申请实施例中，所谓目标部位指的是人为指定的目标区域中的某个部位，可以是主动脉血管对应的人体组织及结构，也可以是颈部组织及结构，还可以是大脑部分的组织等。

在本申请实施例中，所谓医学扫描的初始图像，可以是由各医学影像采集设备来对生物组织，如头部或者颈部等进行影像采集后，提供给该图像处理装置。其中，该医学影像采集设备可以包括计算机断层扫描设备(CT，Computed Tomography)等电子设备；也可以是存储器内存储的利用计算机断层扫描设备得到的图像。

如图5a所示，该医学扫描的初始图像头颈区域的医学扫描图像，该医学扫描图像即为待处理的图像，可以由各医学影像采集设备采集得到。图中标“A”的地方为血管，标“B”的为骨，需要说明的是，图中并未全部标出所有可见的血管和骨。

其中，目标部位区域可以包括生物的部位区域，例如人体的头部、颈部等对应的部位区域，初始图像包括血管、骨头等人体组成部分。

202：对初始图像进行预处理，得到目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种。

在本申请实施例中，对初始图像进行预处理的步骤可以包括：对所述初始图像进行分割处理，得到所述初始图像中血管对应的血管数据；获取所述血管数据对应的关键生理参考信息；根据所述关键生理参考信息，从所述血管数据中提取血管对应的血管中心线；根据所述血管中心线，得到所述血管的后处理图像和血管中心线参数存在的异常区域中的至少一种。其中，分割处理可以采用二分类分割，将初始图像中的骨和血管分开，得到血管数据，如图5c所示，即对初始图像进行分割后的血管图像。关键生理参考信息可以包括关键点、关键部位以及关键结构。具体地，关键点可以是血管的分叉点、或者是血管具有标示性的一些位置，例如颈内外分叉点、虹吸段起点、肺动脉汇聚的点等；关键部位例如血管的虹吸部位；关键结构例如颈内动脉的颈段、岩段等。而对于血管中心线的提取，通常采用的是骨架算法，例如K3M算法和Zhang-Suen算法等，将血管图像的轮廓向其中心不断细化，最终得到特定血管的血管中心线，从而完成对血管中心线的提取，在提取血管中心线的过程中，可以同时获得血管的后处理图像和血管中心线参数存在的异常区域。

需要说明的是，血管中心线可以代表血管网络的拓扑结构，其完整性与准确性影响着对应各种应用的有效性和鲁棒性。血管中心线位于血管轴线位置，走势与血管整体走势相同，因此可以根据中心线位置得到中心线所对应的血管位置。如图5b所示，血管中心线是根据医学扫描的初始图像提取出来的，可以由各种血管中心线提取方法得到。例如，通过关键生理参考信息提取血管中心线，可以是将分割的血管结果做一个骨架提取算法，得到骨架点，计算机在管理这些骨架点数据的时候，给这些数据有一个存储对象，任何一个数据都是用一个数据结构来管理的，因此，基于这些骨架点，可以建立一个例如图或者树的数据结构，而图结构的本质是从一个点到另一个点，这两个点的连线就是一条边，也可以称作分支、或者路径。基于这些骨架点，可以提取多条分支，每一条分支上都有多个具有先后顺序的点，每一条分支都可以代表一条血管的中心线。在本申请实施例中，根据初始图像得到血管中心线的方法还可以包括基于拓扑细化的方法、基于距离变换的方法、基于路径规划的方法、基于追踪的方法，以及基于回溯路径传播的最小路径方法等。

在本申请实施例中，根据所述血管中心线，得到所述血管的后处理图像和血管中心线参数存在的异常区域中的至少一种的步骤包括：获取血管中心线参数的弯曲参数、命名参数和宽度参数中的至少一种；根据所述弯曲参数、所述命名参数和所述宽度参数中的至少一种，确定所述血管中心线参数存在的异常区域；通过血管中心线修复模型，对所述血管中心线进行修复处理，得到有效血管中心线；根据所述有效血管中心线，生成所述血管的后处理图像。

其中，后处理图像可以是将血管中心线拉直，把血管沿着血管中心线用各个不同的角度去看切开的面，形成拉直图像，如图5d所示；也可以是沿着血管中心线的走向，做一个投影，把血管投到一个面上，它将扭曲、缩短和重叠的血管等结构伸展拉直，展示在同一平面上，形成CPR图像，如图5e所示；还可以是在提取血管数据后，和原始数据做融合，渲染出血管的三维成像等。

具体地，为了避免漏检的问题，采用了三种方式中的至少一种来识别血管中心线参数存在的异常区域。其中，弯曲参数指的是用于判断血管中心线是否弯曲的指标，例如，中心线弯曲后，仍维持原方向，简单的说，从X点到Y点的过程中，血管的中心线方向发生了变化，而这种极短的变化大部分可能是病灶；命名参数指的是用于判断血管中心线的命名是否缺失的指标，当血管中心线的命名缺失时，在对血管中心线进行命名的时候，命名需要试图把中心线连起来，但是在这种情况下，发现命名不上了，因此可以判断血管中心线断裂。而血管中心线断裂对应的现实情况可能是血管仍然正常，也可能是血管发生了病变，所以会将命名缺失的血管中心线对应的区域确定为异常区域；宽度参数指的是用于判断沿血管中心线方向的血管半径是否存在宽度骤变的指标，当利用掩膜对血管进行分割时，若沿血管中心线方向的血管半径出现了宽度异常处，则此处可能存在病灶，因此将此处确定为异常区域。

203：识别初始图像和血管的后处理图像，得到目标部位对应的病灶区域。

在本申请实施例中，本步骤可以包括：调用病灶区域预测模型；通过所述病灶区域预测模型，对所述初始图像和所述血管的后处理图像进行预测，得到所述目标部位对应的病灶区域。具体地，在进行病灶识别时，通常可以利用深度学习神经网络模型对病灶区域进行预测，例如，利用边框回归(Bounding Box)进行病灶区域的目标检测，又例如，利用病灶掩膜，对病灶区域进行分割等。

在本申请实施例中，可以是对初始图像进行识别、也可以对血管的后处理图像进行识别，还可以是对初始图像与后处理图像二者都进行识别，通过对待识别图像的识别检测，把可能的病灶都勾勒出来，得到病灶区域。当对初始图像和血管的后处理图像二者都进行识别时，需要分别对初始图像和血管的后处理图像进行识别，再将二者的识别结果进行处理，如提取强特征等，其处理的结果即为病灶区域。具体地，可以将二者识别结果中空间位置相似度满足阈值条件的病灶区域确定为真实病灶区域，将非真实病灶区域的病灶区域确定为存疑病灶区域，然后提取真实病灶区域的真实病灶特征、以及存疑病灶区域对应的存疑病灶特征，获取真实病灶特征和存疑病灶特征的特征匹配度，将特征匹配度满足修正条件的存疑病灶特征对应的存疑病灶区域，修正为真实病灶区域，得到最终的病灶区域。

204：根据病灶区域和血管中心线参数存在的异常区域，确定并识别初始图像中的病灶图像，得到病灶识别结果。

在本申请实施例中，基于病灶区域和异常区域确定初始图像中病灶图像的步骤包括两种方式，其中一种是先合并异常区域和病灶区域，然后再进行病灶识别和分类，最后得到初始图像中的病灶识别结果，其具体步骤包括：合并所述病灶区域和所述血管中心线参数存在的异常区域，得到目标病灶区域；根据所述目标病灶区域，确定所述初始图像中的病灶图像；获取病灶征象；根据所述病灶征象对所述病灶图像进行识别并分类，得到病灶识别结果。

另一种是先各自对异常区域中的病灶图像和病灶区域的病灶图像进行识别和分类，再将病灶识别结果汇总，其具体步骤包括：根据所述病灶区域，确定所述初始图像中的第一病灶图像；根据所述血管中心线参数存在的异常区域，确定所述初始图像中的第二病灶图像；获取病灶征象；根据所述病灶征象分别对所述第一病灶图像和第二病灶图像进行识别并分类，得到第一病灶识别结果和第二病灶识别结果；将所述第一病灶识别结果和所述第二病灶识别结果进行汇总，得到病灶识别结果。

具体地，汇总第一病灶识别结果和第二病灶识别结果是根据病灶类别进行的，具体步骤包括：匹配所述第一病灶识别结果和所述第二病灶识别结果；根据匹配结果，将病灶类别相同的第一病灶识别结果和第二病灶识别结果汇总，得到病灶识别结果。其中，匹配算法可以包括匈牙利算法、K-M算法等。具体地，在确定病灶识别结果时，会对各病灶结果进行类别标记，根据各病灶结果的CT值，可以将不同的病灶类别加以区别。其中，标记的类别主要包括：动脉瘤、钙化斑块、非钙化斑块、阻塞等。因此，可以根据各病灶结果的类别名称，将相同类别的病灶聚在一起，得到最终的病灶识别结果，例如，将第一病灶识别结果和第二病灶识别结果中所有标记为动脉瘤的病灶划分到类别名称为动脉瘤的病灶识别结果中，将第一病灶识别结果和第二病灶识别结果中所有标记为钙化斑块的病灶划分到类别名称为钙化斑块的病灶识别结果中等，最终得到分类的病灶识别结果。

在本申请实施例中，进行病灶分类的过程实际上是一个去假阳的过程。具体地，就是将病灶区域中的各病灶进行去假阳，例如，动脉瘤这一标签对应的目标病灶候选区域集中有A1，A2，A3三个病灶区域，经过病灶分类，发现A2，A3为假阳，那么输出就只有A1这一个病灶区域，病灶识别结果即为动脉瘤，如图5f所示，方框中即为病灶。其中，病灶分类可以采用深度学习的方法搭建病灶分类模型，例如Alex-net、VGG-NET、Res-Net等，还可以采用机器学习的方法，例如贝叶斯、K-Means、最大似然等。

在本申请实施例中，得到目标部位的病灶识别结果后，需要将结果标注出来，如图5f，将病灶识别结果标注出来，其病灶识别结果为血管中的动脉瘤。

本申请实施例提供了一种图像识别方法，该方法通过使用计算机辅助进行图像识别，并采用多种途径对初始图像中的病灶进行识别，同时采用多种方式识别血管中心线参数存在的异常区域，弥补了人工识别的遗漏，提高了识别结果的准确性。

现以医学扫描的初始图像为头颈CT图像为场景，结合附图说明头颈CT图像的病灶识别过程。

图3是本申请实施例提供的图像识别方法的第二种流程示意图，本实施例的图像识别方法由用户终端(例如医生的电脑等)进行详细描述；请参阅图3，该图像识别方法包括以下步骤：

S301：训练服务器104进行医学扫描图像后处理网络的训练。

在本申请实施例中，对医学扫描图像后处理网络的训练主要是通过训练分割模型、关键生理参考信息提取模型、血管中心线提取模型以及血管中心线修复模型完成的，通过对这一系列模型的训练，最后得到后处理图像。

其中，分割模型可以将大量随机头颈分割数据的仿真结果作为深度神经网络的训练样本，同时获取标注的分割结果，将训练样本输入到分割模型中，得到预测分割结果，根据预测分割结果和标注的分割结果，采用深度学习方法训练得到分割模型。主要用于分割初始图像中的骨和血管，以得到去骨的血管数据。

关键生理参考信息提取模型可以将大量关键生理参考信息掩膜图像作为深度神经网络的训练样本，同时获取标注的关键生理参考信息，将训练样本输入到关键生理参考信息提取模型中，得到预测提取结果，根据预测提取结果和标注的关键生理参考信息，采用深度学习方法训练得到关键生理参考信息提取模型。

血管中心线提取模型的训练过程主要包括：先获取多组标准图像，确定多组标准图像中的血管中心线；然后，将多组血管中心线映射在同一坐标系中；最后，对多组血管中心线上对应位置坐标取平均值，得到血管中心线提取模型。

血管中心线修复模型主要用于修复存在问题的血管中心线，从而得到有效血管中心线，为后续图像生成提供基础。其模型训练过程主要包括：先获取多组标准图像，确定多组标准图像中的血管中心线，将所述血管中心线作为训练样本；同时获取标注的血管中心线，将训练样本输入到血管中心线修复模型中，得到预测修复结果，根据预测修复结果和标注的血管中心线，采用深度学习方法训练得到血管中心线修复模型。

S302：训练服务器104进行血管中心线参数异常区域识别模型的训练。

在本申请实施例中，对血管中心线参数的异常区域进行识别可以采用血管中心线参数异常区域识别模型，训练血管中心线参数异常区域识别模型的过程主要包括：根据各种血管中心线参数，构建异常区域识别训练样本；获取标注的异常区域；将所述异常区域识别训练样本输入所述血管中心线参数异常区域识别模型中，得到所述异常区域识别训练样本的预测异常区域；根据所述预测异常区域和所述标注的异常区域，对所述血管中心线参数的异常区域进行训练，得到训练后的血管中心线参数异常区域识别模型。其中，异常区域主要包括：中心线弯曲后，维持原方向的区域；命名缺失处对应的区域；沿血管中心线方向的血管半径宽度骤变的区域等。

S303：训练服务器104进行病灶区域预测模型的训练。

在本申请实施例中，对初始图像和血管的后处理图像进行识别可以采用病灶区域预测模型，病灶区域预测模型的训练过程主要包括：将大量初始图像以及后处理图像的病灶识别结果作为深度神经网络的训练样本，同时获取标注的病灶区域，将训练样本输入到病灶区域预测模型中，得到预测病灶区域，根据预测病灶区域和标注的病灶区域，采用深度学习方法训练得到病灶区域预测模型。其中病灶区域预测模型可以为边框回归(BoundingBox)等。

S304：训练服务器104进行病灶分类模型的训练。

在本申请实施例中，病灶的分类主要是通过病灶的征象来识别病灶为钙化、动脉瘤以及阻塞等。

S305：用户终端102向检测终端101发送数据请求。

在本申请实施例中，医生通过用户终端向CT设备等检测终端，发送数据请求，以请求病患的头颈CT图像。

S306：检测终端101向用户终端102发送数据响应。

在本实施例中，CT设备等检测终端根据数据请求，对病患进行CT扫描，并生成头颈CT图像，如图5a所示，作为初始图像，然后通过数据响应发送至医生的用户终端。

S307：用户终端102对头颈CT图像进行识别，得到目标部位的病灶类型识别结果。

在本申请实施例中，用户终端在接收到数据响应后，对数据响应进行解析，得到头颈CT图像作为初始图像，并根据初始图像确定目标区域，其中目标区域可以是颈内动脉虹吸部等。

之后，用户终端对初始图像进行处理，得到血管的后处理图像，并采用血管中心线参数异常区域识别模型对初始图像进行识别，得到血管中心线参数的异常区域，然后，使用病灶区域预测模型识别初始图像和血管的后处理图像，得到病灶区域，然后，基于病灶区域和异常区域，确定初始图像中的病灶图像，并识别该病灶图像，得到病灶识别结果，最后，使用病灶分类模型，对所述病灶识别结果进行分类，得到最终的分类后的病灶识别结果例如颅内血管中存在动脉瘤等。

S308：用户终端102展示头颈CT图像的病灶类型识别结果。

在本申请实施例中，用户终端展示该头颈CT图像的病灶类型识别结果，包括对哪些病灶类型进行了识别，识别结果是什么，根据哪些目标部位进行识别的；这样医生就可以在这个基础上进一步进行疾病诊断等。例如，如图5g所示，该头颈CT图像的病灶类型识别结果可以是：

对病灶类型为动脉瘤进行了识别，识别结果为动脉瘤，是根据头颈CT图像中的颅内动脉的图像内容识别得到的。

本实施例以用户终端实现识别为例，详细说明了本申请如何基于机器学习来根据头颈CT图像识别病灶，弥补了人工识别的遗漏，并且提高了识别的准确性。

图4是本申请实施例提供的图像识别方法的第三种流程示意图，本实施例图像识别方法由服务器实现的场景进行详细描述；请参阅图4，该图像识别方法包括以下步骤：

S401：训练服务器104进行医学扫描图像后处理网络的训练。

本步骤与步骤S301的实现步骤相同。

S402：训练服务器104进行血管中心线参数异常区域识别模型的训练。

本步骤与步骤S302的实现步骤相同。

S403：训练服务器104进行病灶区域预测模型的训练。

本步骤与步骤S303的实现步骤相同。

S404：训练服务器104进行病灶分类模型的训练。

本步骤与步骤S304的实现步骤相同。

S405：用户终端102向检测终端101发送数据请求。

在本申请实施例中，医生通过用户终端向CT设备等检测终端，发送数据请求，以请求病患的头颈CT图像。

S406：检测终端101向用户终端102发送数据响应。

在本实施例中，CT设备等检测终端根据数据请求，对病患进行CT扫描，并生成头颈CT图像，如图5a所示，作为初始图像，然后通过数据响应发送至医生的用户终端。

S407：用户终端102向处理服务器103发送图像处理请求。

在本申请实施例中，用户终端在接收到数据响应后，对数据响应进行解析，得到头颈CT图像，作为初始图像；然后将初始图像添加到图像处理请求中，发送给识别服务器，请求识别服务器处理头颈CT图像。

S408：识别服务器103对头颈CT图像进行识别，得到目标部位的病灶类型识别结果。

在本实施例中，识别服务器在接收到图像处理请求后，对图像处理请求进行解析，得到需要识别的头颈CT图像作为初始图像。

之后，根据初始图像确定目标区域，其中目标区域可以是颈内动脉虹吸部等。用户终端对初始图像进行处理，得到血管的后处理图像，并采用血管中心线参数异常区域识别模型对初始图像进行识别，得到血管中心线参数的异常区域，然后，使用病灶区域预测模型识别初始图像和血管的后处理图像，得到病灶区域，然后，基于病灶区域和异常区域，确定初始图像中的病灶图像，并识别该病灶图像，得到病灶识别结果，最后，使用病灶分类模型，对所述病灶识别结果进行分类，得到最终的分类后的病灶识别结果；例如颈部血管中存在钙化斑块等。

S409：识别服务器103向用户终端102发送图像处理响应。

在本申请实施例中，识别服务器将头颈CT图像对应都存在哪些病灶识别结果，添加至图像处理响应中，并发送至用户终端。

S410：用户终端102展示头颈CT图像的病灶类型识别结果。

在本申请实施例中，如图5g所示，用户终端展示该头颈CT图像的血管动脉瘤的病灶识别结果，本步骤的实现方式可以参考步骤S308的实现方式。

本申请实施例以服务器实现图像识别为例，详细说明了本申请如何基于机器学习来识别头颈CT图像中的病灶，弥补了人工识别的遗漏，并且提高了识别的准确性。

相应的，图6是本申请实施例提供的图像识别装置的第一种结构示意图，请参阅图6，该图像识别装置包括以下模块：

第一获取模块610，用于获取目标部位对应的医学扫描的初始图像；

预处理模块620，用于对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

第一识别模块630，用于识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

病灶识别模块640，用于根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。；

在一种实施例中，预处理模块620包括：

分割模块，用于对所述初始图像进行分割处理，得到所述初始图像中血管对应的血管数据；

第二获取模块，用于获取所述血管数据对应的关键生理参考信息；

提取模块，用于根据所述关键生理参考信息，从所述血管数据中提取各血管对应的血管中心线；

第一确定模块，用于根据所述血管中心线，得到所述血管的后处理图像和血管中心线参数存在的异常区域中的至少一种。

在一种实施例中，第一确定模块包括：

第三获取模块，用于获取血管中心线参数的弯曲参数、命名参数和宽度参数中的至少一种；

第二确定模块，用于根据所述弯曲参数、所述命名参数和所述宽度参数中的至少一种，确定所述血管中心线参数存在的异常区域；

修复模块，用于通过血管中心线修复模型，对所述血管中心线进行修复处理，得到有效血管中心线；

生成模块，用于根据所述有效血管中心线，生成所述血管的后处理图像。

在一种实施例中，第一识别模块630包括：

模型调用模块，用于调用病灶区域预测模型；

预测模块，用于通过所述病灶区域预测模型，对所述初始图像和所述血管的后处理图像进行预测，得到所述目标部位对应的病灶区域。

在一种实施例中，病灶识别模块640包括：

合并模块，用于合并所述病灶区域和所述血管中心线参数存在的异常区域，得到目标病灶区域；

第三确定模块，用于根据所述目标病灶区域，确定所述初始图像中的病灶图像；

第四获取模块，用于获取病灶征象；

第一分类模块，用于根据所述病灶征象对所述病灶图像进行识别并分类，得到病灶识别结果。在一种实施例中，病灶识别模块640还包括：

第四确定模块，用于根据所述病灶区域，确定所述初始图像中的第一病灶图像；

第五确定模块，用于根据所述血管中心线参数存在的异常区域，确定所述初始图像中的第二病灶图像；

第五获取模块，用于获取病灶征象；

第二分类模块，用于根据所述病灶征象分别对所述第一病灶图像和第二病灶图像进行识别并分类，得到第一病灶识别结果和第二病灶识别结果；

汇总模块，用于将所述第一病灶识别结果和所述第二病灶识别结果进行汇总，得到病灶识别结果。

在一种实施例中，汇总模块包括：

匹配模块，用于匹配所述第一病灶识别结果和所述第二病灶识别结果；

第六确定模块，用于根据匹配结果，将病灶类别相同的第一病灶识别结果和第二病灶识别结果汇总，得到病灶识别结果。

在一种实施例中，尽管图中未示出，但图像识别装置还包括第一模型训练模块，用于根据初始图像进行血管中心线参数异常区域识别模型的训练；第二模型训练模块，用于病灶区域预测模型的训练；第三模型训练模块，用于病灶分类模型的训练等。

本申请实施例的图像识别装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一种实施例中，本申请实施例提供的电子设备包括终端和服务器等，现分别进行说明。

本申请实施例还提供一种终端，如图7所示，该终端可以包括有一个或者一个以上处理核心的处理器701、无线(WiFi，Wireless Fidelity)模块702、有一个或一个以上计算机可读存储介质的存储器703、音频电路704、显示单元705、输入单元706、传感器707、电源708、以及射频(RF，Radio Frequency)电路709等部件。本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器703内的软件程序和/或模块，以及调用存储在存储器703内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。在一种实施例中，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

WiFi属于短距离无线传输技术，终端通过WiFi模块702可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块702，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

存储器703可用于存储软件程序以及模块，处理器701通过运行存储在存储器703的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器703可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器703可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器703还可以包括存储器控制器，以提供处理器701和输入单元706对存储器703的访问。

音频电路704包括扬声器，传声器可提供用户与终端之间的音频接口。音频电路704可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路704接收后转换为音频数据，再将音频数据输出处理器701处理后，经RF电路709以发送给比如另一终端，或者将音频数据输出至存储器703以便进一步处理。音频电路704还可能包括耳塞插孔，以提供外设耳机与终端的通信。

显示单元705可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元705可包括显示面板，在一种实施例中，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器701以确定触摸事件的类型，随后处理器701根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

输入单元706可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元706可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器701，并能接收处理器701发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元706还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

终端还可包括至少一种传感器707，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

终端还包括给各个部件供电的电源708(比如电池)，优选的，电源可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源708还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

RF电路709可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器701处理；另外，将涉及上行的数据发送给基站。通常，RF电路709包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路709还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器703中，并由处理器701来运行存储在存储器703中的应用程序，从而实现以下功能：

获取目标部位对应的医学扫描的初始图像；

对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

本申请实施例还提供一种服务器，如图8所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、输入单元803和电源804等部件。本领域技术人员可以理解，图8中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器801是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器801对存储器802的访问。

该服务器还可包括输入单元803，该输入单元803可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

服务器还包括给各个部件供电的电源804，优选的，电源804可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源804还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现以下功能：

获取目标部位对应的医学扫描的初始图像；

对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

获取目标部位对应的医学扫描的初始图像；

对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像和血管中心线参数存在的异常区域中的至少一种；

识别所述初始图像和所述血管的后处理图像，得到所述目标部位对应的病灶区域；

根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像识别方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (8)

1.一种图像识别方法，其特征在于，包括：

获取目标部位对应的医学扫描的初始图像；

对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像；

获取血管中心线参数的弯曲参数、命名参数和宽度参数中的至少一种；

根据所述弯曲参数、所述命名参数和所述宽度参数中的至少一种，确定所述血管中心线参数存在的异常区域；其中，所述异常区域包括血管中心线弯曲的区域、血管中心线的命名缺失的区域以及沿血管中心线方向的血管半径宽度异常的区域；

分别对所述初始图像和所述血管的后处理图像进行识别，并对所述初始图像和所述血管的后处理图像的识别结果进行处理，得到所述目标部位对应的病灶区域，所述后处理图像为根据所述目标部位中血管的有效血管中心线生成的图像；

根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

2.根据权利要求1所述的图像识别方法，其特征在于，所述分别对所述初始图像和所述血管的后处理图像进行识别，并对所述初始图像和所述血管的后处理图像的识别结果进行处理，得到所述目标部位对应的病灶区域的步骤，包括：

调用病灶区域预测模型；

通过所述病灶区域预测模型，对所述初始图像和所述血管的后处理图像进行预测，得到所述目标部位对应的病灶区域。

3.根据权利要求1所述的图像识别方法，其特征在于，所述根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果的步骤，包括：

合并所述病灶区域和所述血管中心线参数存在的异常区域，得到目标病灶区域；

根据所述目标病灶区域，确定所述初始图像中的病灶图像；

获取病灶征象；

根据所述病灶征象对所述病灶图像进行识别并分类，得到病灶识别结果。

4.根据权利要求1所述的图像识别方法，其特征在于，所述根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果的步骤，包括：

根据所述病灶区域，确定所述初始图像中的第一病灶图像；

根据所述血管中心线参数存在的异常区域，确定所述初始图像中的第二病灶图像；

获取病灶征象；

根据所述病灶征象分别对所述第一病灶图像和第二病灶图像进行识别并分类，得到第一病灶识别结果和第二病灶识别结果；

将所述第一病灶识别结果和所述第二病灶识别结果进行汇总，得到病灶识别结果。

5.根据权利要求4所述的图像识别方法，其特征在于，所述将所述第一病灶识别结果和所述第二病灶识别结果进行汇总，得到病灶识别结果的步骤，包括：

匹配所述第一病灶识别结果和所述第二病灶识别结果；

根据匹配结果，将病灶类别相同的第一病灶识别结果和第二病灶识别结果汇总，得到病灶识别结果。

6.一种图像识别装置，其特征在于，包括：

第一获取模块，用于获取目标部位对应的医学扫描的初始图像；

预处理模块，用于对所述初始图像进行预处理，得到所述目标部位中血管的后处理图像；

第三获取模块，用于获取血管中心线参数的弯曲参数、命名参数和宽度参数中的至少一种；

第二确定模块，用于根据所述弯曲参数、所述命名参数和所述宽度参数中的至少一种，确定所述血管中心线参数存在的异常区域；其中，所述异常区域包括血管中心线弯曲的区域、血管中心线的命名缺失的区域以及沿血管中心线方向的血管半径宽度异常的区域；

第一识别模块，用于分别对所述初始图像和所述血管的后处理图像进行识别，并对所述初始图像和所述血管的后处理图像的识别结果进行处理，得到所述目标部位对应的病灶区域，所述后处理图像为根据所述有效血管中心线生成的图像；

病灶识别模块，用于根据所述病灶区域和所述血管中心线参数存在的异常区域，确定并识别所述初始图像中的病灶图像，得到病灶识别结果。

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器里存储有计算机程序，所述处理器执行程序时实现如权利要求1至5任一项所述的图像识别方法中的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至5任一项所述的图像识别方法中的步骤。

Images