CN115908392A - 图像评估方法及装置、可读存储介质及电子设备 - Google Patents

Abstract

本申请提供了一种图像评估方法及装置、可读存储介质及电子设备，涉及图像检测技术领域。该图像评估方法包括：确定包括病变区域的待评估医学影像；确定病变区域对应的多个视角位置；基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息；基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果，将点云特征进一步结合影像组学特征，有利于从不同的角度和层次评估图像，综合多角度信息，避免片面性，减少失误，从而帮助医生更准确地进行疾病诊断。

Description

图像评估方法及装置、可读存储介质及电子设备

技术领域

本申请涉及图像检测技术领域，具体涉及一种图像评估方法及装置、可读存储介质及电子设备。

背景技术

目前肺部等疾病的筛查主要依赖影像学手段，主要的影像学手段为常规电子计算机断层扫描(Computed Tomography，CT)，层厚为5mm。但由于其层厚大，像素大，空间分辨率低，对隐匿性强的疾病不利于早发现早诊断。传统技术通过对CT影像进行靶重建并进行影像学分析，从而寻找判断疾病的可靠征象。

然而，仅仅依靠临床医生进行诊断，一方面，诊断效率低下，另一方面，仅将医生的诊断结果作为病人的最终诊断结果，无法保证诊断的准确率，如果出现误诊，会影响患者及时就诊。

发明内容

为了解决上述技术问题，提出了本申请。本申请实施例提供了一种图像评估方法及装置、可读存储介质及电子设备。

第一方面，本申请一实施例提供了一种图像评估方法，该方法包括：确定包括病变区域的待评估医学影像；确定病变区域对应的多个视角位置；基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息；基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。

结合第一方面，在第一方面的某些实现方式中，基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，包括：确定多个视角位置各自所属的组织区域；基于多个视角位置各自所属的组织区域，确定病变区域对应的多个点云特征和多个影像组学特征。

结合第一方面，在第一方面的某些实现方式中，病变区域为肺部病变区域，基于多个视角位置各自所属的组织区域，确定病变区域对应的多个点云特征和多个影像组学特征，包括：针对多个视角位置中的每一个视角位置，若确定视角位置属于病变组织，则确定病变组织对应的影像组学特征；若确定视角位置属于解剖组织，则确定解剖组织内视角位置对应的影像组学特征；若确定视角位置属于肺野区域，则确定肺野区域内视角位置对应的点云特征。

结合第一方面，在第一方面的某些实现方式中，确定肺野区域内视角位置对应的点云特征，包括：确定肺部病变区域的靶重建结果；基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征。

结合第一方面，在第一方面的某些实现方式中，基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征，包括：确定以肺野区域内视角位置为起点，在预设角度取值范围内，能够抵达靶重建结果表面的多条射线；基于多条射线各自的长度值，确定肺野区域内视角位置对应的点云特征。

结合第一方面，在第一方面的某些实现方式中，确定解剖组织内视角位置对应的影像组学特征，包括：对待评估医学影像进行影像组学特征提取，确定解剖组织内视角位置对应的影像组学特征；和/或，确定病变组织对应的影像组学特征，包括：对病变组织进行影像组学特征提取，确定病变组织对应的影像组学特征。

结合第一方面，在第一方面的某些实现方式中，基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果，包括：对多个点云特征和多个影像组学特征进行特征转换，确定待评估医学影像对应的分类项特征，分类项特征用于表征待评估医学影像中病变区域的类别特征；基于待评估医学影像对应的分类项特征，确定评估结果。

结合第一方面，在第一方面的某些实现方式中，确定病变区域对应的多个视角位置，包括：确定病变区域的位置和尺寸信息；基于病变区域的位置和尺寸信息，确定病变区域对应的多个视角位置。

第二方面，本申请一实施例提供了一种图像评估装置，该装置包括：第一确定模块，用于确定包括病变区域的待评估医学影像；第二确定模块，用于确定病变区域对应的多个视角位置；第三确定模块，用于基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息；第四确定模块，用于基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。

第三方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序用于执行上述第一方面所提及的方法。

第四方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器以及用于存储处理器可执行指令的存储器；处理器用于执行上述第一方面所提及的方法。

本申请实施例提供的图像评估方法，确定包括病变区域的待评估医学影像；确定病变区域对应的多个视角位置；基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果，利用点云特征可以实现关注病变外形变化的目的，利用影像组学特征能够反映病变微环境变化在影像上导致的改变，将点云特征进一步结合影像组学特征，有利于从不同的角度和层次评估图像，综合多角度信息，避免片面性，减少失误，从而帮助医生更准确地进行疾病诊断。

附图说明

图1所示为本申请实施例所适用的一场景示意图。

图2所示为本申请实施例所适用的另一场景示意图。

图3所示为本申请一示例性实施例提供的图像评估方法的流程示意图。

图4所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。

图5a所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。

图5b所示为本申请一示例性实施例提供的病变区域中的视角位置的示意图。

图6所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。

图7所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。

图8所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。

图9所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。

图10所示为本申请一实施例提供的图像评估装置的结构示意图。

图11所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。

由于本申请实施例涉及医学图像特征提取和深度学习方面的应用，为了便于理解，下面先对本申请实施例可能涉及的相关术语及深度学习等相关概念进行简单介绍。

(1)CT：它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：X射线CT(X-CT)以及γ射线CT(γ-CT)等。

(2)影像组学(Radiomics)：一种医学影像分析方法，通过事先定义的计算方法将影像转换为高通量特征，用于量化分析。影像组学的概念最早由荷兰学者Lambin于2012年提出，是指从影像(CT、MRI、PET等)中高通量地提取大量影像信息，实现肿瘤分割，特征提取与模型建立，凭借对海量数据进行更深层次的挖掘、预测和分析来辅助医师做出最准确的诊断。

(3)深度学习(Deep Learning，DL)：深度学习是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks，ANNs)，在计算系统中实现人工智能。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习(Representation Learning)能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层ANN具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，学习的常见方法为梯度下降算法及其变体，一些统计学习理论被用于学习过程的优化。在应用方面，深度学习被用于对复杂结构和大样本的高维数据进行学习，按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等，且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。

(4)卷积神经网络(Convolutional Neural Networks，CNN)：卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks)，是深度学习的代表算法之一。卷积神经网络仿造生物的视知觉(Visual Perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(Grid-like Topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(Feature Engineering)要求。

(5)靶重建是为了提高对一侧肺或某一疑似区域的空间分辨率达到该区域图像放大而使用的一种重建技术。它是在常规螺旋CT扫描的基础上，设置成靶扫描的条件，利用原始数据资料进行回顾性重建，依据64排螺旋CT“各向同性”原理，单纯靶重建即可达到与靶扫描一致的图像效果。

在对肺部占位性病变的CT扫描中，靶重建技术较高分辨力CT有避免再曝光、减少球管损耗、操作方便安全、获得更多影像信息等优点，所以靶重建技术可以取代高分辨力CT在肺内结节中的应用。

胸膜侵犯(Visceral Pleural Invasion，VPI)是肺癌预后的重要因素之一。对于无VPI的周围型非小细胞肺癌患者，可以用肺段切除代替肺叶切除，从而在不影响生存率的情况下尽可能保护肺功能。另外，对于手术切除的肺癌，如果存在VPI则其复发概率显著增加。目前判断VPI的金标准是病理检查，但是病理检查属于侵入式检查，并且费时费力。CT是肺癌患者的常规检查方式，传统技术提出对CT影像进行靶重建并进行影像学分析，从而寻找判断VPI的可靠征象。但是，这种方法容易受医生主观判断影响。

为了解决上述技术问题，本申请实施例提供一种图像评估方法及装置、计算机可读存储介质及电子设备，该方法利用点云特征可以实现关注病变外形变化的目的，利用影像组学特征能够反映病变微环境变化在影像上导致的改变，将点云特征进一步结合影像组学特征，有利于从不同的角度和层次评估图像，综合多角度信息，避免片面性，减少失误，从而帮助医生更准确地进行疾病诊断。

示例性系统

图1所示为本申请实施例所适用的一场景示意图。如图1所示，本申请实施例所适用的场景中包括服务器1和图像采集设备2，其中，服务器1和图像采集设备2之间存在通信连接关系。

具体而言，图像采集设备2用于采集受试者对应的包括病变区域的待评估医学影像。图像采集设备2可以是CT扫描仪，待评估医学影像可以为CT图像序列。CT扫描仪用于对人体部位进行X线扫描，得到人体病变组织器官对应的CT图像序列。图像采集设备2也可以是X线机、核磁共振成像(Magnetic Resonance Imaging，MRI)设备，也可以是其它具有图像采集功能的设备，只要是可以采集包括病变区域的待评估医学影像即可，本申请对图像采集设备2的结构不做具体限定。

服务器1可以是一台服务器，也可以是多台服务器组成的服务器组，还可以是一个虚拟化平台或者一个云计算服务中心，本申请对服务器1的类型不做具体限定。服务器1用于获取图像采集设备2采集的待评估医学影像，确定病变区域对应的多个视角位置；基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息；基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。即，该场景实现了一种图像评估方法。由于图1所示的上述场景利用服务器1实现了图像评估方法，因此，该场景不但能够提高场景的适应能力，而且能够有效降低图像采集设备2的计算量。

需要说明的是，本公开还适用于另一场景。图2所示为本申请实施例所适用的另一场景示意图。具体地，该场景中包括图像处理设备3，其中，图像处理设备3包括图像采集模块31和计算模块32，并且，图像采集模块31和计算模块32之间存在通信连接关系。

具体而言，图像处理设备3中的图像采集模块31用于采集受试者对应的待评估医学影像，图像处理设备3中的计算模块32用于获取包括病变区域的待评估医学影像；确定病变区域对应的多个视角位置；基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息；基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。即，该场景实现了一种图像评估方法。由于图2所示的上述场景利用图像处理设备3实现了图像评估方法，无需与服务器等相关装置进行数据传输操作，因此，上述场景能够保证图像评估方法的实时性。

应当理解，本申请实施例提供的可以应用于其他场景，比如医学图像阅片系统(Medical Imaging Reading System，MIRS)等。本申请对图像评估方法的应用场景不做具体限定。

示例性方法

图3所示为本申请一示例性实施例提供的图像评估方法的流程示意图。具体地，如图3所示，本申请实施例提及的图像评估方法，包括如下步骤。

步骤S310，确定包括病变区域的待评估医学影像。

待评估医学影像可以为电子计算机断层成像(Computed Tomography，CT)图像、核磁共振成像(Magnetic Resonance Imaging，MRI)图像、计算机放射成像(ComputedRadiography，CR)图像或数字放射成像(Digital radiography，DR)图像，本申请实施例对此不做具体限定。本申请实施例提供的图像评估方法能够适用于所有的医学影像，具有普适性。

本申请实施例并不限定待评估医学影像的具体形式，可以是原始医学影像，也可以是经过预处理的医学影像，还可以是原始医学影像中的部分图像系列，即原始医学影像的一部分。此外，待评估医学影像对应的采集对象可以是人体，也可以是动物体。

示例性地，病变区域可以包括以下区域：肺部区域、口部区域、食道区域，胃区域，肠区域，肝脏区域，胆囊区域，胰脏区域、脑部区域等。病变区域可以由专家对待评估医学影像中的感兴趣区域进行勾画得到，本申请对此不做具体限定。

步骤S320，确定病变区域对应的多个视角位置。

在一些实施例中，可以确定病变区域的位置和尺寸信息，基于病变区域的位置和尺寸信息，确定病变区域对应的多个视角位置。具体而言，当确定病变区域中的病变位置后，可以根据病变中心及其病变的最大径，确定一个包含病变的立方体。在该立方体的每个角、边、面上各取一个位置作为视角位置，由此可得26个视角位置，再加上病变组织自身的位置，共27个视角位置。本申请实施例对视角位置的数量和位置不做具体限定，可以根据实际情况任意决定视角位置和数量，只要合理即可。

步骤S330，基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征。

其中，点云特征用于表征病变外形信息。点云特征能够模仿人类专家的观察模式，关注病变的外形变化。影像组学特征用于表征病变及病变周围解剖组织的纹理信息，能够反映肿瘤微环境变化在影像上导致的改变。

步骤S340，基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。

在一些实施例中，结合多个点云特征和多个影像组学特征，通过训练变压器网络的方式，构建疾病鉴别诊断模型，利用疾病鉴别诊断模型，确定疾病类型，从而确定待评估医学影像对应的评估结果。

在一些实施例中，将基于肺癌区域确定的多个点云特征和多个影像组学特征，输入变压器结构，结合自注意力机制，实现对胸膜侵犯的非侵入式鉴别诊断，确定待评估医学影像对应的肺癌评估结果。

本申请实施例提供的图像评估方法，利用点云特征可以关注病变外形变化的目的，利用影像组学特征能够反映病变微环境变化在影像上导致的改变，将点云特征进一步结合影像组学特征，有利于从不同的角度和层次评估图像，综合多角度信息，避免片面性，减少失误，从而帮助医生更准确地进行疾病诊断。

图4所示为本申请另一示例性实施例提供的图像评估方法的流程示意图。具体地，在图3所示实施例的基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与3所示实施例的不同之处，相同之处不再赘述。

如图4所示，基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征(步骤S330)，包括如下步骤。

步骤S410，确定多个视角位置各自所属的组织区域。

在一些实施例中，对于肺癌病变区域，多个视角位置各自所属的组织区域包括：病变组织区域、解剖组织区域以及肺野区域中的至少一种。

步骤S420，基于多个视角位置各自所属的组织区域，确定病变区域对应的多个点云特征和多个影像组学特征。

具体而言，可以根据视角位置各自所属的组织区域，将视角位置分为病变区域和非病变区域，在多个视角位置下根据所属的组织区域的不同类型，提取不同特征并进行量化分析。

本申请实施例提供的图像评估方法，基于多个视角位置各自所属的组织区域，采用多视角分析方法，根据多个视角位置所属的组织区域的不同类型，提取不同特征进行量化分析，实现确定病变区域对应的多个点云特征和多个影像组学特征的目的，从而能够更加全面准确地分析病变区域。

图5a所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。具体地，在图4所示实施例的基础上延伸出图5a所示实施例，下面着重叙述图5a所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5a所示，在本实施例提供的图像评估方法中，病变区域为肺部病变区域，基于多个视角位置各自所属的组织区域，确定病变区域对应的多个点云特征和多个影像组学特征(步骤S420)，针对多个视角位置中的每一个视角位置，执行如下步骤。

步骤S510，判断视角位置所属的组织区域。若确定视角位置属于病变组织，则执行步骤S520。若确定视角位置属于解剖组织，则执行步骤S530。若确定视角位置属于肺野区域，则执行步骤S540。

步骤S520，确定病变组织对应的影像组学特征。

步骤S530，确定解剖组织内视角位置对应的影像组学特征。

步骤S540，确定肺野区域内视角位置对应的点云特征。

图5b所示为本申请一示例性实施例提供的病变区域中的视角位置的示意图。如图5b所示，对于肺癌病变区域，根据病变中心及其病变的最大径，确定一个包含病变的立方体。在该立方体的每个角、边、面上各取一个位置作为视角位置，加上病变组织自身的位置，一共有27个视角位置。根据视角位置处解剖位置的实际情况，将27个视角位置分为三个类别，并分别提取特征。视角位置14表示病变组织，可以使用影像组学对整个病变组织提取特征。视角位置1-3，4-6，10-12，15，19-21分别表示处于解剖组织，比如胸膜区域，可以使用影像组学分别对固定大小的立方体区域(即处于解剖组织的视角位置)提取影像组学特征。视角位置7-9，13，16-18，22-27分别表示属于肺野内的区域，则对于肺野区域内的视角位置，根据靶重建结果提取点云特征。

本申请实施例提供的图像评估方法，若确定视角位置属于病变组织，则确定病变组织对应的影像组学特征；若确定视角位置属于解剖组织，则确定解剖组织内视角位置对应的影像组学特征；若确定视角位置属于肺野区域，则确定肺野区域内视角位置对应的点云特征；根据多个视角位置所属的组织区域的不同类型，提取不同特征进行量化分析，对评估图像中病变性质、侵及范围、毗邻关系有着明显优势。

图6所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。具体地，在图5a所示实施例的基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图5a所示实施例的不同之处，相同之处不再赘述。

如图6所示，本申请实施例提及的图像评估方法，确定肺野区域内视角位置对应的点云特征(步骤S540)，包括如下步骤。

步骤S610，确定肺部病变区域的靶重建结果。

对肺部病变区域执行靶重建，获得肺部病变区域的靶重建结果，靶重建结果能够表征肺部病变的表面外观。

步骤S620，基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征。

具体而言，对于肺野区域内的视角位置，可以根据肺部病变区域的靶重建结果构建基于点云信息的特征，即肺野区域内视角位置对应的点云特征。

本申请实施例提供的图像评估方法，确定肺部病变区域的靶重建结果，

基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征，可以模仿人类在不同角度下对病变外观的观察效果，让病变区域的分析过程可视化，为疾病治疗提供了更多可以参考的诊断信息，同时也为未来研究疾病病变提供了更多的参考数据。

图7所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。具体地，在图6所示实施例的基础上延伸出图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。

如图7所示，本申请实施例提供的图像评估方法，基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征(步骤S620)，包括如下步骤。

步骤S710，确定以肺野区域内视角位置为起点，在预设角度取值范围内，能够抵达靶重建结果表面的多条射线。

步骤S720，基于多条射线各自的长度值，确定肺野区域内视角位置对应的点云特征。

继续如图5b所示，以视角位置9为例，其代表病变区域角上的一个视角位置。将视角位置9作为极坐标系的原点，可以用两个角度表示以该点为起点构建的射线。由于视角位置9属于病变区域角上的位置，其两个角度的取值范围都是0至90°。将取值空间均匀地分为N份，对于每一个角度构建相应角度的射线。如果该射线能够抵达病变靶重建结果的表面，则将这条射线的长度记为这一方向上的特征值；如果射线不会抵达病变靶重建结果的表面，则记这一方向上的特征值为-1。由此，可以得到N个特征值，基于N个特征值，可确定肺野区域内视角位置对应的N个点云特征。

以视角位置18为例，其代表病变区域边上的一个视角位置。将视角位置18作为极坐标系的原点，其两个角度的取值范围分别为0至90°和0至180°。使用与上述相同方法，可以得到N个特征值。以视角位置17为例，其两个角度的取值范围均为0至180°，使用与上述相同方法，同样可以得到N个特征值。

根据以上规则，肺野区域内的每个视角位置均可以得到一个N维的点云特征，其模仿了人类在不同角度下对病变外观的观察效果。

本申请实施例提供的图像评估方法，确定以肺野区域内视角位置为起点，在预设角度取值范围内，能够抵达靶重建结果表面的多条射线；基于多条射线各自的长度值，确定肺野区域内视角位置对应的点云特征，通过模仿人类在不同角度下对病变外观的观察效果，利用各个视角位置对应的特征，大大提高病变分析的准确性。

在一些实施例中，确定解剖组织内视角位置对应的影像组学特征，包括：对待评估医学影像进行影像组学特征提取，确定解剖组织内视角位置对应的影像组学特征；和/或，确定病变组织对应的影像组学特征，包括：对病变组织进行影像组学特征提取，确定病变组织对应的影像组学特征。通过影像组学特征提取的方式，提取病变组织和/或解剖组织的纹理信息，关注肿瘤微环境变化在影像上导致的改变，可提高病变组织在医学影像上的分析精度，对肺癌患者的临床精准治疗具有重要的指导意义。

图8所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。具体地，在图3所示实施例的基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图3所示实施例的不同之处，相同之处不再赘述。

如图8所示，本申请实施例提供的图像评估方法，基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果(步骤S340)，包括如下步骤。

步骤S810，对多个点云特征和多个影像组学特征进行特征转换，确定待评估医学影像对应的分类项特征。

其中，分类项特征用于表征待评估医学影像中病变区域的类别特征。比如，对于肺癌病变区域的评估，若输出分类项特征为1，则表示胸膜未侵犯，若输出分类项特征为0，则表示胸膜侵犯。

步骤S820，基于待评估医学影像对应的分类项特征，确定评估结果。

图9所示为本申请又一示例性实施例提供的图像评估方法的流程示意图。如图9所示，将肺癌病变区域对应的多个点云特征和多个影像组学特征输入变压器结构，其中包括肺野区域内每个视角位置对应的N维点云特征，解剖组织内的每个视角位置对应的M维影像组学特征，以及病变组织对应的P维影像组学特征。对于每一类特征，使用不同的编码器(编码器A、编码器B、编码器C)对其进行特征转换，统一特征长度为T，之后使用位置编码将位置信息融合到各个特征中。此外，为了实现分类，可以加入一个额外的分类项，分类项可以为一个T维的空白特征向量。将该空白特征向量与其他特征共同输入变压器网络中，通过自注意力机制进行计算，最终将分类项特征输出，分类项特征能够预测是否存在胸膜侵犯，通过变压器网络结合自注意力机制，实现对胸膜侵犯的非侵入式鉴别诊断。

在一些实施例中，将多个点云特征和多个影像组学特征作为神经网络模型的输入特征，以确定疾病分类特征。可选地，神经网络可以为卷积神经网络(ConvolutionalNeuralNetwork，CNN)、深度神经网络(DeepNeuralNetwork，DNN)或循环神经网络(RecurrentNeuralNetwork，RNN)等。本申请实施例对此不做具体限定。

本申请实施例提供的图像评估方法，对多个点云特征和多个影像组学特征进行特征转换，确定待评估医学影像对应的分类项特征，分类项特征用于表征待评估医学影像中病变区域的类别特征；基于待评估医学影像对应的分类项特征，确定评估结果，为临床诊断提供实用价值，有利于实现更高效、更标准的医学诊断。

上文结合图1至图9，详细描述了本申请的方法实施例，下面结合图10和图11，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图10所示为本申请一实施例提供的图像评估装置的结构示意图。如图10所示，本申请实施例提供的图像评估装置1000包括第一确定模块1001、第二确定模块1002、第三确定模块1003以及第四确定模块1004。第一确定模块1001用于，确定包括病变区域的待评估医学影像。第二确定模块1002用于，确定病变区域对应的多个视角位置。第三确定模块1003用于，基于病变区域对应的多个视角位置，确定病变区域对应的多个点云特征和多个影像组学特征，其中，点云特征用于表征病变外形信息，影像组学特征用于表征病变及病变周围解剖组织的纹理信息。第四确定模块1004用于，基于多个点云特征和多个影像组学特征，确定待评估医学影像对应的评估结果。

在一些实施例中，第三确定模块1003还用于，确定多个视角位置各自所属的组织区域；基于多个视角位置各自所属的组织区域，确定病变区域对应的多个点云特征和多个影像组学特征。

在一些实施例中，第三确定模块1003还用于，针对多个视角位置中的每一个视角位置，若确定视角位置属于病变组织，则确定病变组织对应的影像组学特征；若确定视角位置属于解剖组织，则确定解剖组织内视角位置对应的影像组学特征；若确定视角位置属于肺野区域，则确定肺野区域内视角位置对应的点云特征。

在一些实施例中，第三确定模块1003还用于，确定肺部病变区域的靶重建结果；基于肺部病变区域的靶重建结果，确定肺野区域内视角位置对应的点云特征。

在一些实施例中，第三确定模块1003还用于，确定以肺野区域内视角位置为起点，在预设角度取值范围内，能够抵达靶重建结果表面的多条射线；基于多条射线各自的长度值，确定肺野区域内视角位置对应的点云特征。

在一些实施例中，第三确定模块1003还用于，对待评估医学影像进行影像组学特征提取，确定解剖组织内视角位置对应的影像组学特征；和/或，对病变组织进行影像组学特征提取，确定病变组织对应的影像组学特征。

在一些实施例中，第四确定模块1004还用于，对多个点云特征和多个影像组学特征进行特征转换，确定待评估医学影像对应的分类项特征，分类项特征用于表征待评估医学影像中病变区域的类别特征；基于待评估医学影像对应的分类项特征，确定评估结果。

在一些实施例中，第二确定模块1002还用于，确定病变区域的位置和尺寸信息；基于病变区域的位置和尺寸信息，确定病变区域对应的多个视角位置。

下面，参考图11来描述根据本申请实施例的电子设备。图11所示为本申请一实施例提供的电子设备的结构示意图。

如图11所示，电子设备1100包括一个或多个处理器1101和存储器1102。

处理器1102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1100中的其他组件以执行期望的功能。

存储器1102可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1102可以运行程序指令，以实现上文提及的本申请的各个实施例的图像评估方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如待评估医学影像等各种内容。

在一个示例中，电子设备1100还可以包括：输入装置1103和输出装置1104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置1103可以包括例如键盘、鼠标等等。

该输出装置1104可以向外部输出各种信息，包括评估结果等。该输出装置1104可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备1100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1100还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的图像评估方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的图像评估方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种图像评估方法，其特征在于，包括：

确定包括病变区域的待评估医学影像；

确定所述病变区域对应的多个视角位置；

基于所述病变区域对应的多个视角位置，确定所述病变区域对应的多个点云特征和多个影像组学特征，其中，所述点云特征用于表征病变外形信息，所述影像组学特征用于表征病变及病变周围解剖组织的纹理信息；

基于所述多个点云特征和所述多个影像组学特征，确定所述待评估医学影像对应的评估结果。

2.根据权利要求1所述的图像评估方法，其特征在于，所述基于所述病变区域对应的多个视角位置，确定所述病变区域对应的多个点云特征和多个影像组学特征，包括：

确定所述多个视角位置各自所属的组织区域；

基于所述多个视角位置各自所属的组织区域，确定所述病变区域对应的多个点云特征和多个影像组学特征。

3.根据权利要求2所述的图像评估方法，其特征在于，所述病变区域为肺部病变区域，所述基于所述多个视角位置各自所属的组织区域，确定所述病变区域对应的多个点云特征和多个影像组学特征，包括：

针对所述多个视角位置中的每一个视角位置，

若确定所述视角位置属于病变组织，则确定所述病变组织对应的影像组学特征；

若确定所述视角位置属于解剖组织，则确定所述解剖组织内所述视角位置对应的影像组学特征；

若确定所述视角位置属于肺野区域，则确定所述肺野区域内所述视角位置对应的点云特征。

4.根据权利要求3所述的图像评估方法，其特征在于，所述确定所述肺野区域内所述视角位置对应的点云特征，包括：

确定所述肺部病变区域的靶重建结果；

基于所述肺部病变区域的靶重建结果，确定所述肺野区域内所述视角位置对应的点云特征。

5.根据权利要求4所述的图像评估方法，其特征在于，所述基于所述肺部病变区域的靶重建结果，确定所述肺野区域内所述视角位置对应的点云特征，包括：

确定以所述肺野区域内所述视角位置为起点，在预设角度取值范围内，能够抵达所述靶重建结果表面的多条射线；

基于所述多条射线各自的长度值，确定所述肺野区域内所述视角位置对应的点云特征。

6.根据权利要求3所述的图像评估方法，其特征在于，

所述确定所述解剖组织内所述视角位置对应的影像组学特征，包括：

对所述待评估医学影像进行影像组学特征提取，确定所述解剖组织内所述视角位置对应的影像组学特征；

和/或，所述确定所述病变组织对应的影像组学特征，包括：

对所述病变组织进行影像组学特征提取，确定所述病变组织对应的影像组学特征。

7.根据权利要求1至6任一项所述的图像评估方法，其特征在于，所述基于所述多个点云特征和所述多个影像组学特征，确定所述待评估医学影像对应的评估结果，包括：

对所述多个点云特征和所述多个影像组学特征进行特征转换，确定所述待评估医学影像对应的分类项特征，所述分类项特征用于表征所述待评估医学影像中病变区域的类别特征；

基于所述待评估医学影像对应的分类项特征，确定所述评估结果。

8.根据权利要求1至6任一项所述的图像评估方法，其特征在于，所述确定所述病变区域对应的多个视角位置，包括：

确定所述病变区域的位置和尺寸信息；

基于所述病变区域的位置和尺寸信息，确定所述病变区域对应的多个视角位置。

9.一种图像评估装置，其特征在于，包括：

第一确定模块，用于确定包括病变区域的待评估医学影像；

第二确定模块，用于确定所述病变区域对应的多个视角位置；

第三确定模块，用于基于所述病变区域对应的多个视角位置，确定所述病变区域对应的多个点云特征和多个影像组学特征，其中，所述点云特征用于表征病变外形信息，所述影像组学特征用于表征病变及病变周围解剖组织的纹理信息；

第四确定模块，用于基于所述多个点云特征和所述多个影像组学特征，确定所述待评估医学影像对应的评估结果。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至8任一项所述的方法。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至8任一项所述的方法。

Images