CN114092426A - 一种图像关联方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像关联方法、装置、电子设备和存储介质；本申请实施例可以获取图像处理对象针对医学图像的图像操作信息；基于图像操作信息生成图像处理对象针对医学图像的关注区域；基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像，提高了医学图像关联的灵活性和准确度。

Description

一种图像关联方法、装置、电子设备和存储介质

技术领域

本申请涉及通讯技术领域，具体涉及一种图像关联方法、装置、电子设备和存储介质。

背景技术

随着科学技术的发展，依赖科学技术手段对患者进行诊断已经成为了常用的医疗手段。例如，可以通过电子计算机断层扫描和磁共振检查等科学技术手段对患者进行诊断。而这些科学技术手段一般是以医学图像的形式作为诊断信息。

在现有技术中，当显示医学图像序列时，通常可以在后端对展示的医学图像序列预先进行关联。而在前端，可以在电子设备的屏幕上设置图像关联控件。当医生需要查看关联的图像时，可以通过图像关联控件选择需要查看的关联图像。

然而，由于现在扫描方式的增多，医生在诊断的过程中，会结合多种不同的扫描图像进行综合诊断。而当医生随机调取多种不同的扫描图像时，若仍利用现有的关联算法对图像序列进行关联的方式，会降低图像关联的灵活性，导致关联得到的图像无法满足医生的需求。

发明内容

本申请实施例提出了一种图像关联方法、装置、电子设备和存储介质，可以提高医学图像关联的灵活性和准确性。

本申请实施例提供了一种图像关联方法，包括：

获取图像处理对象针对医学图像的图像操作信息；

基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

相应的，本申请实施例还提供了一种图像关联装置，包括：

获取单元，用于获取图像处理对象针对医学图像的图像操作信息；

生成单元，用于基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

图像关联单元，用于基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

在一实施例中，图像关联单元，包括：

特征提取子单元，用于对所述关注区域进行特征提取，得到所述关注区域的关键特征；

第一筛选子单元，用于基于所述关键特征从多个预设医学图像中筛选出所述关联图像。

在一实施例中，第一筛选子单元，包括：

获取模块，用于获取所述预设医学图像的预设关键特征；

计算模块，用于计算所述关键特征和所述预设关键特征之间的相似度；

筛选模块，用于基于所述相似度从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，图像关联单元，包括：

标识识别子单元，用于对所述关注区域进行标识识别，得到所述关注区域的图像标识；

第一匹配子单元，用于将所述图像标识和多个预设医学图像的预设图像标识进行匹配，得到匹配结果；

第二筛选子单元，用于根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，图像关联单元，包括：

病灶识别子单元，用于对所述关注区域进行病灶识别，得到所述关注区域对应的病灶类型；

第二匹配子单元，用于将所述病灶类型和多个预设医学图像的预设病灶类型进行匹配，得到匹配结果；

第三筛选子单元，用于根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，生成单元，包括：

解析子单元，用于对所述图像操作信息进行解析，得到图像处理对象所述医学图像的操作类型和所述操作类型对应的操作位置信息；

类型匹配子单元，用于将所述操作类型和预设操作类型进行匹配，得到匹配结果；

区域生成子单元，用于基于所述匹配结果，根据所述操作位置信息生成所述医学图像的关注区域。

在一实施例中，获取单元，包括：

接收子单元，用于接收图像操作触发指令，所述图像操作触发指令携带图像操作工具的位置标识；

识别子单元，用于基于所述位置标识对所述医学图像进行识别，得到所述医学图像的调整信息；

信息打包子单元，用于将所述位置标识和所述调整信息进行信息打包，得到所述医学图像的图像操作信息。

相应的，本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例任一提供的图像关联方法。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例任一提供的图像关联方法。

本申请实施例可以获取图像处理对象针对医学图像的图像操作信息；基于图像操作信息生成图像处理对象针对医学图像的关注区域；基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像，提高了医学图像关联的灵活性和准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像关联方法的场景示意图；

图2是本申请实施例提供的图像关联方法的流程示意图；

图3是本申请实施例提供的位置标识的场景示意图；

图4是本申请实施例提供的关注区域的场景示意图；

图5是本申请实施例提供的图像关联方法的又一流程示意图；

图6是本申请实施例提供的图像关联装置的结构示意图；

图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出了一种图像关联方法，该图像关联方法可以由图像关联装置执行，该图像关联装置可以集成在电子设备中。其中，该电子设备可以包括终端以及服务器等中的至少一个。即该图像关联方法可以由终端执行，也可以由服务器执行。

其中，该终端可以包括智能电视、智能手机、智能家居、可穿戴电子设备、VR/AR产品、车载计算机、智能电脑等等。

其中，服务器可以为多个异构系统之间的互通服务器或者产品验证测试系统的后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。

在一实施例中，如图1所示，图像关联装置可以集成在终端或服务器等电子设备上，以实施本申请实施例提出的图像关联方法。具体地，电子设备可以获取医学分类媒体内容和医学分类媒体内容的预设排版逻辑；基于预设排版逻辑，对医学分类媒体内容进行排版处理，得到排版后医学分类媒体内容。

以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例将从图像关联装置的角度进行描述，该图像关联装置可以集成在电子设备中，该电子设备可以包括终端，还可以包括服务器等等。

如图2所示，提供了一种图像关联方法，具体流程包括：

101、获取图像处理对象针对医学图像的图像操作信息。

在一实施例中，当病人的身体出现异常时，往往会通过科学技术手段对身体的情况进行诊断。例如，可以通过核磁共振检查、B超检查等科学技术手段对身体的情况进行诊断。其中，这些科学技术手段一般是以医学图像的形式作为诊断信息。

在一实施例中，有的病人的诊断信息可能包括多张医学图像，因此该多张医学图像会以图像序列的形式显示。在现有技术中，当显示医学图像序列时，通常可以在后端对展示的医学图像序列预先进行关联。而在前端，可以在电子设备的屏幕上设置图像关联控件。当医生需要查看关联的图像时，可以通过图像关联控件选择需要查看的关联图像。例如，屏幕上有4个影像序列，点击图像关联控件或按钮，从下拉菜单中选择中心线匹配、图像配准、病灶关联等选项。根据选择项目，展示关联的图像。

然而，由于现在扫描方式的增多，医生在诊断的过程中，会结合多种不同的扫描图像进行综合诊断。而当医生随机调取多种不同的扫描图像时，若仍利用现有的关联算法对图像序列进行关联的方式，会导致关联得到的图像无法满足医生的需求，从而会影响医生的诊疗速度，增加医生的疲劳度。

因此，本申请实施例提出了一种图像关联方法，通过本申请实施例提出的方法，可以对用户的操作行为进行解析，通过解析数据触发图像的自动关联，从而满足医生自由选取图像序列时，快速根据医生的操作行为对图像进行关联，方便医生对多个图像序列进行查看，从而综合地对病灶进行识别和诊断。

具体的，本申请实施例可以获取图像处理对象针对医学图像的图像操作信息；基于图像操作信息生成图像处理对象针对医学图像的关注区域；基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。

其中，医学图像可以包括具有跟医学相关的信息的图像。例如，该医学图像可以是生理组织图像，等等。例如，医学图像可以包括电子计算机断层扫描(ComputedTomography，CT)图像、磁共振检查(MagneticResonance,MR)图像和超声波图像，等等。

在一实施例中，本申请实施例并没有限定医学图像的数量。本申请实施例所提到的医学图像可以指一张医学图像，也可以指多张医学图像。

其中，图像处理对象可以包括医生和/或医师等等会对医学图像进行处理的对象。

其中，图像操作信息可以包括当图像处理对象对医学图像进行操作时所产生的信息。其中，图像处理对象对医学图像的操作可以包括对医学图像进行点击、悬停和放大等操作，等等。例如，当医生对医学图像进行放大操作时，图像操作信息可以包括医生对医学图像操作的类型，以及医学图像的变化，等等。

在一实施例中，图像处理对象还可以借助图像操作工具对医学图像进行操作。其中，图像操作工具可与包括鼠标、电子笔和手指等等可以实现对医学图像进行操作的工具。例如，医生可以借助鼠标对医学图像进行点击、悬停和放大等操作。

在一实施例中，当图像处理对象通过图像操作工具对医学图像进行操作时，图像关联装置便会接收到图像操作触发指令，该图像操作触发指令携带图像操作工具的位置标识。然后，便可以基于该位置标识获取医学图像的图像操作信息。具体的，步骤“获取图像处理对象针对医学图像的图像操作信息”，可以包括：

接收图像操作触发指令，图像操作触发指令携带图像操作工具的位置标识；

基于位置标识对医学图像进行识别，得到医学图像的调整信息；

将位置标识和调整信息进行信息打包，得到医学图像的图像操作信息。

在一实施例中，当医生通过鼠标或者电子笔等图像操作工具对医学图像进行操作处理时，图像关联装置可以接收到图像操作触发指令。其中，该图像操作触发指令往往会携带者图像操作工具的位置标识。

其中，图像操作工具的位置标识可以包括图像关联装置可以识别出图像操作工具的操作位置的记号。即通过位置标识，图像关联装置可以知道图像操作对象正在对医学图像的那个位置进行操作，以及进行那种类型的操作。

例如，如图3所示，当医生通过鼠标双击医学图像001中的位置002，从而实现对医学图像001进行放大操作时，图像关联装置便会接收到携带位置标识的图像操作触发指令。通过该位置标识，图像关联装置可以知道医生在图像001中的位置002对图像进行双击放大图像的操作。

在一实施例中，图像关联装置可以基于位置标识对医学图像进行识别，得到医学图像的调整信息。

其中，医学图像的调整信息可以包括说明图像操作对象对医学图像进行操作的前后，医学图像变化的信息。即通过医学图像的调整信息，图像关联装置可以知道医学图像的变化。

例如，医学图像原来的图像尺寸为5cm*5cm。医生对医学图像进行放大，被放大后的医学图像的图像尺寸为10cm*10cm，则调整信息可以包括医学图像的图像尺寸从5cm*5cm变化为10cm*10cm。

又例如，医生对医学图像的某个区域进行标注，则调整信息可以包括医生对医学图像进行标注的内容，以及标注内容对应的区域。

又例如，当鼠标在医学图像的某个区域悬停了一段时间，则调整信息可以包括鼠标所悬停的区域。

在一实施例中，当图像关联装置得到图像操作工具的位置标识时，图像关联装置可以对位置标识进行实时跟踪，并在跟踪的同时不断地对医学图像进行识别，从而得到医学图像的调整信息。

例如，如图3所示，当医生通过鼠标双击医学图像001中的位置002，从而实现对医学图像001的放大操作时，图像关联装置便会获取到鼠标的位置标识，通过对位置标识进行识别，图像关联装置便会知道医生在医学图像001中的位置002对医学图像进行了操作。同时，通过对医学图像进行识别，图像关联装置可以知道医生对医学图像进行放大操作。

接下来，如图3所示，若医生通过鼠标在医学图像001中的位置003进行标注，则通过对鼠标的位置标识进行跟踪，图像关联装置便会知道医生在医学图像001的位置003对医学图像001进行操作。而通过对医学图像001进行识别，图像关联装置可以知道医生对医学图像进行标注。

在一实施例中，在得到位置标识和调整信息之后，可以将位置标识和调整信息进行信息打包，从而得到医学图像的图像操作信息。

其中，在信息打包时，位置标识和调整信息是一一对应的。

例如，医生通过电子笔在医学图像的位置A对医学图像进行了放大操作，而在医学图像的位置B对医学图像进行了标识操作。则，在对位置标识和调整信息进行信息打包时，则有位置A和放大操作对应，而位置B和标识操作对应。

譬如，可以建立一种数据结构将位置标识和调整信息进行信息打包，得到医学图像的图像操作信息。例如，数据结构可以为{{位置A：放大操作}，{位置B：标识操作}}，则图像操作信息可以为{{位置A，放大操作}，{位置B，标识操作}}。

在一实施例中，图像关联装置可以接收搜图像操作触发指令，图像操作触发指令携带图像操作工具的位置标识；基于位置标识对医学图像进行识别，得到医学图像的调整信息；将位置标识和调整信息进行信息打包，得到医学图像的图像操作信息，可以提高后续操作的效率，从而提高对医学图像进行关联的效率。例如，通过对位置标识和调整信息进行信息打包，可以提高信息的规整程度，从而使得图像关联装置可以快速地基于图像操作信息生成关注区域。

102、基于图像操作信息生成图像处理对象针对医学图像的关注区域。

在一实施例中，图像关联装置可以基于图像操作信息生成图像处理对象针对医学图像的关注区域。

其中，关注区域可以包括图像操作对象对医学图像中关注或者感兴趣的区域。

例如，关注区域可以包括图像操作对象对医学图像进行操作的区域，等等。又例如，关注区域可以包括医学图像中，存在病变信息的区域，等等。

例如，医生查看的数据为CT图像，若医生利用鼠标选择并放大CT图像中的某个区域，则该区域可以为关注区域。

在一实施例中，关注区域还可以包括图像序列中多个图像对应的区域。其中，该图像序列中的多个图像可以是具有关联性的图像。例如，图像序列中的多个图像可以是患者的器官在多个不同角度拍摄得到的图像。其中，若医生都对图像序列中多个图像中的某个区域进行查看，则被查看的区域可以为该图像序列中的关注区域。

在一实施例中，步骤“基于图像操作信息生成图像处理对象针对医学图像的关注区域”，可以包括：

对图像操作信息进行解析，得到图像处理对象针对医学图像的操作类型和操作类型对应的操作位置信息；

将操作类型和预设操作类型进行匹配，得到匹配结果；

基于匹配结果，根据操作位置信息生成医学图像的关注区域。

其中，操作类型可以说明图像处理对象对医学图像进行了什么操作。例如，当操作类型为点击操作类型时，说明医生对医学图像进行了点击操作。又例如，当操作类型为悬停操作类型时，说明医生在医学图像上悬停了。又例如，当操作类型为放大操作类型时，说明医生对医学图像进行了放大操作。

其中，操作位置信息可以包括操作类型在医学图像进行操作时，该操作对应的位置信息。例如，操作位置信息可以是一个坐标信息，等等.

在一实施例中，并不是图像处理对象对医学图像的所以操作都会生成关注区域，所以可以将操作类型和预设操作类型进行匹配，从而判断该操作类型是否是需要生成医学图像的关注区域的类型。

例如，当操作类型是放大操作类型时，则需要生成医学图像的关注区域。而当操作类型是快速滚动时，则不需要生成医学图像的关注区域。

在一实施例中，可以根据操作位置信息生成医学图像的关注区域。

例如，可以对操作位置信息进行延伸，从而生成医学图像的关注区域。例如，可以以操作位置信息为中心，生成一个涵盖这个操作位置信息的矩形,并将矩形在医学图像汇总覆盖的区域作为关注区域。例如，如图所示，可以以操作位置信息004为中心，生成一个涵盖这个操作位置信息的矩形005,并将矩形在医学图像汇总覆盖的区域作为关注区域。

103、基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。

在一实施例中，在得到关注区域之后，可以基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。

其中，关联图像可以包括和医学图像具有关联关系的图像。例如，关联图像可以包括关注区域和医学图像的关注区域相似的图像。又例如，关联图像可以包括关注区域和医学图像的关注区域有共同特点的图像，等等。

在一实施例中，有多种方式可以基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。

在一实施例中，可以通过关注区域的关键特征，得到医学图像的关联图像。具体的，步骤“基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像”，可以包括：

对关注区域进行特征提取，得到关注区域的关键特征；

基于关键特征从多个预设医学图像中筛选出关联图像。

其中，关键特征可以包括一些能够展现器官、病灶或骨骼等生理组织特性的关键信息。例如，关键特征可以包括血管的重要拐点或特殊形态血管的段落(wills环)等等。又例如，关键特征可以包括病灶的征象信息(即表示病灶性质的特征现象信息)。例如，关键特征可以包括颈部骨骼的弯曲段。又例如，关键特征可以包括心脏的回血口等等。

其中，有多种方式可以对关注区域进行特征提取，得到关注区域的关键特征。

例如，可以对关注区域进行采样，然后将采样得到的数据进行卷积运算，从而得到关注区域的关键特征。

又例如，预先训练好一个图像识别模型，然后通过该图像识别模型对关注区域进行特征提取，得到关注区域的关键特征，等等。

其中，图像识别模型可以为深度学习模型或机器学习模型。例如，图像识别模型可以包括卷积神经网络(ConvolutionalNeuralNetworks，CNN)、反卷积神经网络(De-ConvolutionalNetworks，DN)、深度神经网络(DeepNeuralNetworks，DNN)、深度卷积逆向图网络(DeepConvolutionalInverseGraphicsNetworks，DCIGN)、基于区域的卷积网络(Region-basedConvolutionalNetworks，RCNN)、基于区域的快速卷积网络(FasterRegion-basedConvolutionalNetworks，FasterRCNN)和双向编解码(BidirectionalEncoderRepresentationsfromTransformers，BERT)模型等等中的任意一种。

例如，利用标记有关键点等关键特征的医学图像对图像识别模型进行训练，得到训练好的图像识别模型。然后，可以利用图像识别模型，确定医学图像中关注区域内的关键特征，利用关键特征对不同医学图像的关注区域进行关联。例如，在看第一组医学图像序列中某个医学图像的第一区域时，会自动关联上第二组医学图像序列中某个医学图像的第二区域。这样，即可让医生在不同图像序列中，查看相关联的图像序列(或者同一生理组织和病灶对应的图像序列)。

在一实施例中，在得到关键特征之后，便可以基于关键特征从多个预设医学图像中筛选出关联图像。具体的，步骤“基于关键特征从多个预设医学图像中筛选出关联图像”，可以包括：

获取预设医学图像的预设关键特征；

计算关键特征和预设关键特征之间的相似度；

基于相似度从多个预设医学图像中筛选出关联图像。

其中，预设医学图像可以包括预先存储在图像关联装置或者服务器中的医学图像。

例如，当预设医学图像是存储在图像关联装置时，图像关联装置可以直接获取预设医学图像的预设关键特征。又例如，当预设医学图像是存储在服务器中时，图像关联装置可以向服务器请求获取预设医学图像的预设关键特征。

在一实施例中，获取得到预设医学图像的预设关键特征之后，可以比较医学图像的关键特征和预设关键特征之间的相似度，从而基于相似度从多个预设预先图像中筛选出关联图像。

例如，可以计算关键特征和预设关键特征之间的欧式距离，然后将计算得到的欧式距离作为关键特征和预设关键特征之间的相似度。又例如，可以计算关键特征和预设关键特征之间的余弦距离，然后将计算得到的余弦距离作为关键特征和预设关键特征之间的相似度。

在一实施例中，当关注区域包括多个关键特征时，可以计算分别基于多个关注特征从多个预设医学图像中筛选出关联图像。

例如，关注区域的关键特征包括病灶的轮廓和病灶的征象信息。然后，可以分别基于病灶的轮廓和征象信息从多个预设医学图像中筛选出关联图像。

例如，可以基于病灶的轮廓从多个预设医学图像中筛选出第一关联图像。还可以基于病灶的征象信息从多个预设医学图像中筛选出第二关联图像。然后将第一关联图像和第二关联图像作为医学图像的关联图像。

在一实施例中，当基于相似度从多个预设医学图像中筛选出关联图像时，可以将相似度高的预设医学图像确定为关联图像。

例如，当相似度为欧式距离时，由于欧式距离越小，说明相似度越高，此时便可以选择欧式距离小的预设医学图像作为关联图像。

在一实施例中，不同类型的医学图像，生理组织的呈现形式会不同。例如，主血管在CT图像中会亮一些，而在MR图像中主血管会暗一些。因此，可以通过这种特殊的表现形式，将医学图像中的这些生理结构关联起来，从而实现不同类型的医学图像的自动关联。

在一实施例中，可以通过关注区域的图像标识，实现不同类型的医学图像的自动关联。具体的，步骤“基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像”，可以包括：

对关注区域进行标识识别，得到关注区域的图像标识；

将图像标识和多个预设医学图像的预设图像标识进行匹配，得到匹配结果；

根据匹配结果从多个预设医学图像中筛选出关联图像。

其中，图像标识可以包括由已有先验知识形成的标识。根据已有的先验知识，可以从医学图像识别或提取出和先验知识相对应的图像标识。

例如，先验知识中记载着主血管在CT图像中会亮一点。则图像关联装置在对关注区域进行标识识别时，若识别到关注区域的图像会比较亮，则会判断该关注区域中的图像信息是不是主血管。若判断得到关注区域中的图像信息是主血管，便会生成该关注区域是CT图像中的主血管的图像标识。

又例如，先验知识记载着血管瘤区域在MR图像中与其他生理组织相比起来，对比度有明显差异(例如，差异度达到60％)。因此，可以通过对关注区域的图像进行提取，得到关注区域的对比度和其他区域的差别。若差别超过60％，可以生成该关注区域是MR图像中的血管瘤区域的图像标识。

在一实施例中，在得到关注区域的图像标识之后，可以将图像标识和多个预设医学图像的预设图像标识进行匹配，得到匹配结果，然后，根据匹配结果从更多个预设医学图像中筛选出关联图像。

例如，当关注区域的图像标识为CT图像中的主血管时，图像关联设备可以将图像标识也是CT图像中的主血管的预设医学图像作为关联图像。

在一实施例中，还可以将具有相同类型病灶区域的不同医学图像进行自动关联。具体的，步骤“基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像”，可以包括：

对关注区域进行病灶识别，得到关注区域对应的病灶类型；

将病灶类型和多个预设医学图像的预设病灶类型进行匹配，得到匹配结果；

根据匹配结果从多个预设医学图像中筛选出关联图像。

在一实施例中，可以利用预先训练好的病灶识别模型对关注区域进行病灶识别，得到关注区域的病灶类型。

其中，可以利用标记有病灶区域的图像对病灶识别模型进行训练，从而得到可以训练好的病灶识别模型。

其中，病灶识别模型可以是深度学习网络。例如，病灶识别模型可以是CNN或RNN等深度学习网络。

在一实施例，在得到关注区域对应的病灶类型之后，可以将病灶类型和多个预设医学图像的预设病灶类型进行匹配，得到匹配结果。然后，可以根据匹配结果从多个预设医学图像中筛选出关联图像。

本申请实施例提出的图像关联方法可以获取图像处理对象针对医学图像的图像操作信息；基于图像操作信息生成图像处理对象针对医学图像的关注区域；基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。通过图像处理对象针对医学图像的图像操作信息将医学图像进行关联处理，可以根据图像操作信息实时地检测出医学图像可能关联的图像，从而提高了图像关联的灵活性。此外，还可以根据图像操作信息生成关注区域，并基于关注区域对医学图像进行关联处理，从而根据图像处理对象的关注区域确定医学图像的关联图像，从而提高了图像关联的准确性。

此外，本申请实施例还可以采用多种方式对医学图像进行关联处理。例如，可以基于关注特征对医学图像进行关联处理。又例如，可以基于图像标识对医学图像进行关联处理。又例如，可以基于病灶类型对医学图像进行关注处理。通过采用不同的方式对医学图像进行关联处理，可以提高对医学图像进行关联处理的准确性

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

本申请实施例将以图像处理方法集成在电子设备上为例来介绍本申请实施例方法。例如，如图5所示，本申请实施例提出的图像关联方法可以包括：

201、电子设备获取图像处理对象针对医学图像的图像操作信息。

本申请实施例可以对医生的操作行为进行解析，通过解析数据触发医学图像的自动关联，从而满足医生自由选取医学图像时，快速根据医生的操作行为对医学图像进行关联，方便医生对多个医学图像进行查看，从而综合的对病灶进行识别和诊断。

202、电子设备基于图像操作信息生成图像处理对象针对医学图像的关注区域。

在一实施例中，电子设备可以识别多组不同医学图像序列中的关注区域。

例如，医生使用鼠标/电子笔等工具，分别在多组不同的医学图像序列上的某个区域执行了点击、悬停、放大等操作，此时，通过这些操作初步确定用户可能关注不同医学图像序列中的某个区域。

其中，多组不同医学图像序列可以为：不同扫描类型的医学图像序列；不同扫描范围的医学图像序列(例如人体胸部扫描图，与单独的心脏区域或肺部区域的扫描图)；不同尺寸的医学图像序列等等。

在一实施例中，对于某个区域的选择，可以以工具当前坐标为中心，设定预定区域，该预定区域即为多组不同医学图像序列中的某个区域，即关注区域。

例如，需要查看的医学影像为CT影像序列和MR影像序列。例如，用户利用鼠标选择和滚轮放大CT影像的第一区域，且在CT影像序列的多个影像中均查看第一区域。此外，用户利用鼠标选择、滚轮放大MR影像的第二区域，且在MR影像序列的多个影像中查看第二图区域。此时，可以确定，用户在CT影像序列中关注的区域为第一区域；用户在MR影像序列中关注的区域为第二区域。第一区域和第二区域将会作为后续建立自动关联的两个区域。

又例如，需要查看的医学图像为历史影像序列和当前影像序列。用户利用鼠标选择查看历史影像序列，利用鼠标悬停在历史影像序列的第一区域，查看几秒。用户利用鼠标选择查看当前影像序列，利用鼠标悬停在当前影像序列的第二区域，查看几秒。此时，通过鼠标悬停的区域，可以确定用户在历史影像序列中关注的区域为第一区域；用户在当前影像序列中关注的区域为第二区域。第一区域和第二区域将会作为后续建立自动关联的两个区域。

又例如，需要查看的医学影像为CT影像序列和MR影像序列。用户利用滚轮翻看CT影像序列时，在第一层区间(层区间为第M张到第N张之间的影像序列数量)影像中有往复的翻看动作，则确定第一层区间为关注区域。用户利用滚轮翻看MR影像序列时，在第二层区间影像中有往复的翻看动作，则确定第二层区间为关注区域。第一层区间和第二层区间将会作为后续建立自动关联的两个区域。

优选地，用户的选择可以是主动选择(点击、放大等)，也可以是非主动选择(短暂悬停或翻看等)。

203、电子设备基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像。

在一实施例中，可以基于关键特征得到医学图像的关联图像。

例如，利用标记有关键点等关键特征的影像作为输入，利用深度学习神经网络，经过多次训练，得到关键特征识别模型。利用关键特征识别模型，确定不同影像序列中关注区域内的关键特征，利用关键特征对不同影像序列中的关注区域进行关联。例如，在看第一组影像序列中某个影像的第一区域时，会自动关联上第二组影像序列中某个影像的第二区域。这样，即可让医生在不同影像序列中，查看相关联的影像序列(或者同一生理组织和病灶对应的影像序列)。

在一实施例中，可以提取关键层，并基于关键层得到医学图像的关联图像。

例如，在层区间的影像序列中识别感兴趣区域。将第一层区间和第二层区间内，两张感兴趣区的相似度到达预定阈值的影像关联起来。例如，利用关键点、病灶区域等等的识别模型，对第一层区间和第二层区间内的每张影像序列进行识别，获得每张影像序列中的感兴趣区。比较第一层区间内每张影像序列中的感兴趣区和第二层区间内每张影像序列的感兴趣区的相似度，将相似度大于90％的第一层区间内的影像序列与第二层区间的影像序列进行关联，即将第一层区间内的影像序列中的感兴趣区与第二层区间的影像序列中的感兴趣区进行关联。这样，即可让医生在不同影像序列中，查看相关联的影像序列(或者同一生理组织和病灶对应的影像序列)。

在一实施例中，可以提取图像标识，并基于图像标识确定医学图像的关联图像。

例如，在不同类型的影像序列中，生理组织的展现形式不同。例如，CT影像中主血管在影像中会亮一些；而在MR影像中主血管会暗一些。通过这种特殊的表现形式，将影像中的这些生理结构关联起来，从而实现对不同类型影像序列中，两张影像的自动关联。

在一实施例中，可以根据病灶类型确定医学图像的关联图像。

例如，利用标记有病灶区域的影像作为输入，利用深度学习神经网络，经过多次训练，得到病灶识别模型。利用病灶识别模型，确定不同影像序列中关注区域内的病灶区域，将具有相同类型病灶区域的不同影像序列进行关联。自动关联时，对关注区域或病灶区域进行关联，从而实现对不同类型影像序列中，两张影像的自动关联。

本申请实施例提出的图像关联方法中，电子设备可以获取图像处理对象针对医学图像的图像操作信息；电子设备基于图像操作信息生成图像处理对象针对医学图像的关注区域；电子设备基于关注区域将医学图像进行图像关联处理，得到医学图像的关联图像，提高了医学图像关联的灵活性和准确度。

为了更好地实施本申请实施例提供的图像关联方法，在一实施例中还提供了一种图像关联装置，该图像关联装置可以集成于电子设备中。其中名词的含义与上述图像关联方法中相同，具体实现细节可以参考方法实施例中的说明。

在一实施例中，提供了一种图像关联装置，该图像关联装置具体可以集成在电子设备中，如图6所示，该图像关联装置包括：获取单元301、生成单元302和图像关联单元303，具体如下：

获取单元301，用于获取图像处理对象针对医学图像的图像操作信息；

生成单元302，用于基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

图像关联单元303，用于基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

在一实施例中，图像关联单元303，包括：

特征提取子单元，用于对所述关注区域进行特征提取，得到所述关注区域的关键特征；

第一筛选子单元，用于基于所述关键特征从多个预设医学图像中筛选出所述关联图像。

在一实施例中，第一筛选子单元，包括：

获取模块，用于获取所述预设医学图像的预设关键特征；

计算模块，用于计算所述关键特征和所述预设关键特征之间的相似度；

筛选模块，用于基于所述相似度从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，图像关联单元303，包括：

标识识别子单元，用于对所述关注区域进行标识识别，得到所述关注区域的图像标识；

第一匹配子单元，用于将所述图像标识和多个预设医学图像的预设图像标识进行匹配，得到匹配结果；

第二筛选子单元，用于根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，图像关联单元303，包括：

病灶识别子单元，用于对所述关注区域进行病灶识别，得到所述关注区域对应的病灶类型；

第二匹配子单元，用于将所述病灶类型和多个预设医学图像的预设病灶类型进行匹配，得到匹配结果；

第三筛选子单元，用于根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

在一实施例中，生成单元302，包括：

解析子单元，用于对所述图像操作信息进行解析，得到图像处理对象所述医学图像的操作类型和所述操作类型对应的操作位置信息；

类型匹配子单元，用于将所述操作类型和预设操作类型进行匹配，得到匹配结果；

区域生成子单元，用于基于所述匹配结果，根据所述操作位置信息生成所述医学图像的关注区域。

在一实施例中，获取单元301，包括：

接收子单元，用于接收图像操作触发指令，所述图像操作触发指令携带图像操作工具的位置标识；

识别子单元，用于基于所述位置标识对所述医学图像进行识别，得到所述医学图像的调整信息；

信息打包子单元，用于将所述位置标识和所述调整信息进行信息打包，得到所述医学图像的图像操作信息。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

通过上述的图像关联装置可以提高对医学图像进行关联的灵活性和准确度。

本申请实施例还提供一种电子设备，该电子设备可以包括终端或服务器，比如，电子设备可以作为图像关联终端，该图像关联终端可以为智能电视等等；又比如计算机产品可以为服务器，如图像关联服务器等。如图7所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机产品的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括排版单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取图像处理对象针对医学图像的图像操作信息；

基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机产品的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机产品执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像关联方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取图像处理对象针对医学图像的图像操作信息；

基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像关联方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像关联方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像关联方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像关联方法，其特征在于，包括：

获取图像处理对象针对医学图像的图像操作信息；

基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像，包括：

对所述关注区域进行特征提取，得到所述关注区域的关键特征；

基于所述关键特征从多个预设医学图像中筛选出所述关联图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述关键特征从多个预设医学图像中筛选出所述关联图像，包括：

获取所述预设医学图像的预设关键特征；

计算所述关键特征和所述预设关键特征之间的相似度；

基于所述相似度从所述多个预设医学图像中筛选出所述关联图像。

4.根据权利要求1所述的方法，其特征在于，所述基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像，包括：

对所述关注区域进行标识识别，得到所述关注区域的图像标识；

将所述图像标识和多个预设医学图像的预设图像标识进行匹配，得到匹配结果；

根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像，包括：

对所述关注区域进行病灶识别，得到所述关注区域对应的病灶类型；

将所述病灶类型和多个预设医学图像的预设病灶类型进行匹配，得到匹配结果；

根据所述匹配结果从所述多个预设医学图像中筛选出所述关联图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域，包括：

对所述图像操作信息进行解析，得到图像处理对象所述医学图像的操作类型和所述操作类型对应的操作位置信息；

将所述操作类型和预设操作类型进行匹配，得到匹配结果；

基于所述匹配结果，根据所述操作位置信息生成所述医学图像的关注区域。

7.根据权利要求1所述的方法，其特征在于，所述获取图像处理对象针对所述医学图像的图像操作信息，包括：

接收图像操作触发指令，所述图像操作触发指令携带图像操作工具的位置标识；

基于所述位置标识对所述医学图像进行识别，得到所述医学图像的调整信息；

将所述位置标识和所述调整信息进行信息打包，得到所述医学图像的图像操作信息。

8.一种图像关联装置，其特征在于，包括：

获取单元，用于获取图像处理对象针对医学图像的图像操作信息；

生成单元，用于基于所述图像操作信息生成所述图像处理对象针对所述医学图像的关注区域；

图像关联单元，用于基于所述关注区域将所述医学图像进行图像关联处理，得到所述医学图像的关联图像。

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的图像关联方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的图像关联方法。

Images