CN113344890B - 医学图像识别方法、识别模型训练方法及装置 - Google Patents

Abstract

本申请公开了医学图像识别方法、识别模型训练方法及装置，涉及人工智能领域，进一步涉及智慧医疗、计算机视觉技术领域。具体实现方案为：确定医学图像对应的目标候选点集合；基于目标候选点集合和预设的第一识别模型，确定目标候选点集合中每个目标候选点对应的初始识别结果；基于初始识别结果和预设的第二识别模型，确定目标识别结果。本实现方式可以提高图像识别精准度。

Description

医学图像识别方法、识别模型训练方法及装置

技术领域

本公开涉及人工智能领域，进一步涉及智慧医疗、计算机视觉技术领域，尤其涉及医学图像识别方法、识别模型训练方法及装置。

背景技术

目前，随着计算机技术的不断发展，经常将计算机技术应用至医学图像识别领域，用以提高医学图像识别效率以及准确度。

在实践中发现，在对计算机断层扫描图像进行识别，确定肺结节类别的过程中，肺结节包含多种不同的分类，而现有的医学图像识别方法在识别肺结节图像的类别时，无法精准识别每种类别的肺结节，存在着精准度较差的问题。

发明内容

本公开提供了一种医学图像识别方法、识别模型训练方法及装置。

根据第一方面，提供了一种医学图像识别方法，包括：确定医学图像对应的目标候选点集合；基于目标候选点集合和预设的第一识别模型，确定目标候选点集合中每个目标候选点对应的初始识别结果；基于初始识别结果和预设的第二识别模型，确定目标识别结果。

根据第二方面，提供了一种识别模型训练方法，包括：获取第一样本图像；基于第一样本图像，确定正样本图像和负样本图像；将正样本图像和负样本图像输入第一初始模型，得到第一初始模型输出的第一识别结果；基于第一识别结果、预设的真实结果和预设的第一损失函数，对第一初始模型进行训练，直至预设的第一损失函数满足收敛条件，得到训练好的第一识别模型。

根据第三方面，提供了一种识别模型训练方法，包括：获取第二样本图像；基于第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和目标样本的标注信息；将目标样本输入第二初始模型，得到第二初始模型输出的第二识别结果；基于第二识别结果、目标样本的标注信息以及预设的第二损失函数，对第二初始模型进行训练，直至预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

根据第四方面，提供了一种医学图像识别装置，包括：集合确定单元，被配置成确定医学图像对应的目标候选点集合；初始结果确定单元，被配置成基于目标候选点集合和预设的第一识别模型，确定目标候选点集合中每个目标候选点对应的初始识别结果；目标结果确定单元，被配置成基于初始识别结果和预设的第二识别模型，确定目标识别结果。

根据第五方面，提供了一种识别模型训练装置，包括：第一图像获取单元，被配置成获取第一样本图像；第一样本获取单元，被配置成基于第一样本图像，确定正样本图像和负样本图像；第一结果识别单元，被配置成将正样本图像和负样本图像输入第一初始模型，得到第一初始模型输出的第一识别结果；第一模型训练单元，被配置成基于第一识别结果、预设的真实结果和预设的第一损失函数，对第一初始模型进行训练，直至预设的第一损失函数满足收敛条件，得到训练好的第一识别模型。

根据第六方面，提供了一种识别模型训练装置，包括：第二图像获取单元，被配置成获取第二样本图像；第二样本获取单元，被配置成基于第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和目标样本的标注信息；第二结果识别单元，被配置成将目标样本输入第二初始模型，得到第二初始模型输出的第二识别结果；第二模型训练单元，被配置成基于第二识别结果、目标样本的标注信息以及预设的第二损失函数，对第二初始模型进行训练，直至预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

根据第七方面，提供了一种执行医学图像识别方法或者识别模型训练方法的电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任意一项医学图像识别方法或者识别模型训练方法。

根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上任意一项医学图像识别方法或者识别模型训练方法。

根据第九方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上任意一项医学图像识别方法或者识别模型训练方法。

根据本申请的技术，提供一种医学图像识别方法，能够先确定医学图像对应的目标候选点集合，再将目标候选点集合中的各个目标候选点依次输入第一识别模型、第二识别模型，得到目标识别结果。由于第一识别模型在训练时基于简单样本进行训练，并且第二识别模型在训练时基于困难样本进行训练，从而采用第一识别模型和第二识别模型相结合的医学图像识别方式，能够较为精准地识别困难医学图像数据，从而提高了医学图像识别精准度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的医学图像识别方法的一个实施例的流程图；

图3是根据本申请的医学图像识别方法的一个应用场景的示意图；

图4是根据本申请的医学图像识别方法的另一个实施例的流程图；

图5是根据本申请的识别模型训练方法的一个实施例的流程图；

图6是根据本申请的识别模型训练方法的一个实施例的流程图；

图7是根据本申请的医学图像识别装置的一个实施例的结构示意图；

图8是根据本申请的识别模型训练装置的一个实施例的结构示意图；

图9是根据本申请的识别模型训练装置的一个实施例的结构示意图；

图10是用来实现本公开实施例的医学图像识别方法或者识别模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以为手机、电脑以及平板等电子设备，终端设备101、102、103可以基于摄像装置或者本地存储信息，获取医学图像，并将医学图像基于网络104传输给服务器105，以使服务器105返回对医学图像的目标识别结果。又或者，在训练第一识别模型和第二识别模型时，终端设备101、102、103可以基于摄像装置或者本地存储信息，获取第一样本图像和第二样本图像，并将第一样本图像和第二样本图像基于网络104传输给服务器105，以使服务器105训练第一识别模型和第二识别模型。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于电视、智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如，在终端设备101、102、103发送需要进行医学图像识别的医学图像之后，服务器105可以先从医学图像中确定得到目标候选点集合，再基于预设的第一识别模型、第二识别模型，对目标候选点集合中的每个目标候选点进行识别，得到目标识别结果，并将目标识别结果基于网络104返回给终端设备101、102、103。又或者，服务器105还可以接收终端设备101、102、103传输的第一样本图像和第二样本图像，并基于第一样本图像训练第一初始模型，得到第一识别模型，以及基于第二样本图像训练第二初始模型，得到第二识别模型。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的医学图像识别方法或者识别模型训练方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，医学图像识别装置或者识别模型训练装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的医学图像识别方法的一个实施例的流程200。本实施例的医学图像识别方法，包括以下步骤：

步骤201，获取医学图像。

在本实施例中，执行主体(如图1中的服务器105或者终端设备101、102、103)可以获取需要进行图像识别的医学图像，其中，医学图像可以预先存储在本地，直接读取本地存储数据获取。医学图像也可以预先存储在其他建立连接的电子设备中，执行主体基于与其他电子设备的连接关系，从其他电子设备中获取医学图像。可选的，执行主体中可以预先设有摄像装置或者扫描装置，基于摄像装置或者扫描装置对目标物体进行拍摄或扫描，得到医学图像。其中，医学图像指的是为了医疗或医学研究，从人体或人体部分所获取的内部组织图像，例如肺部电子计算机断层扫描图像、甲状腺电子计算机断层扫描图像、乳腺电子计算机断层扫描图像等。

需要说明的是，步骤201可选执行，在实际应用中，执行主体也可以直接执行步骤202至步骤204。

步骤202，确定医学图像对应的目标候选点集合。

在本实施例中，需要进行图像识别的医学图像可以为需要识别结节的图像，此时的目标候选点集合中各个目标候选点即为初步识别出的疑似结节位置点。具体的，目标候选点集合中的每个目标候选点的表现形式可以为位置坐标，该位置坐标用于表示该目标候选点在医学图像中的位置。例如，在医学图像为肺部电子计算机断层扫描图像的情况下，目标候选点集合为各个疑似肺结节的位置点对应的坐标组成的集合。

步骤203，基于目标候选点集合和预设的第一识别模型，确定目标候选点集合中每个目标候选点对应的初始识别结果。

在本实施例中，预设的第一识别模型用于识别第一结节类别，第一结节类别指的是对第一识别模型进行测试的情况下，第一识别模型基于输入数据输出的识别数据不处于预设的数据区间时，该输入数据对应的结节类别。举例来说，如果输出的识别数据为1指示该输入数据对应的结节类别为阳性，且输出的识别数据为0指示该输入数据对应的结节类别为阴性，则预设的数据区间可以为0.5附近的区间，如大于0.2且小于0.8的区间。执行主体可以分别将目标候选点集合中的各个目标候选点对应的图像，输入预设的第一识别模型，得到每个目标候选点对应的初始识别结果。其中，执行主体在根据各个目标候选点所在坐标提取对应的图像时，可以将坐标位置作为中心，并且按照预设的大小进行提取，如以坐标位置作为中心提取长宽高均为36的立方体，将提取得到的三维图像作为第一识别模型的输入数据。进一步的，第一识别模型的输出数据可以为用于表示目标候选点为阳性结节或者阴性结节的指标值，例如，输出数据可以映射至[0，1]区间，如果输出数据越接近0，指示目标候选点越接近阴性结节，如果输出数据越接近1，指示目标候选点越接近阳性结节。此时初始识别结果即为模型输出的数值。可选的，初始识别结果也可以采用其他用于衡量接近阴性或者阳性的指标，本实施例对此不做限定。

步骤204，基于初始识别结果和预设的第二识别模型，确定目标识别结果。

在本实施例中，预设的第二识别模型用于识别第二结节类别，第二结节类别指的是对第一识别模型进行测试的情况下，第一识别模型基于输入数据输出的识别数据处于上述预设的数据区间时，该输入数据对应的结节类别。可以用来对初始识别结果进行修正，得到修正后的目标识别结果。执行主体在获取初始识别结果之后，可以判断初始识别结果是否指示结果难辨别，如果初始识别结果指示结果难辨别，则可以将难辨别的目标候选点输入预设的第二识别模型，得到预设的第二识别模型输出的目标识别结果。如果初始识别结果指示结果容易辨别，则将初始识别结果确定为最终的目标识别结果。例如，在初始识别结果为[0，1]区间的数值时，如果初始识别结果对应的数值为0.5左右，则说明相应的目标候选点较难辨别，此时可以将相应的目标候选点输入预设的第二识别模型，得到目标识别结果。又或者，如果初始识别结果对应的数值小于0.2，则说明相应的目标候选点容易辨别，属于阴性结节，此时直接确定目标识别结果为0.2对应的阴性结节。又或者，如果初始识别结果对应的数值大于0.8，则说明相应的目标候选点容易辨别，属于阳性结节，此时直接确定目标识别结果为0.8对应的阳性结节。其中，目标识别结果可以为预设的第一识别模型或者预设的第二识别模型输出的数值，也可以为其他用于衡量接近阴性或者阳性的指标。进一步的，执行主体还可以基于数值或者指标值确定相应的结节类别，将具有对应关系的数值和结节类别确定为目标识别结果，或者将具有对应关系的指标值和结节类别确定为目标识别结果。

进一步的，基于LUNA-16(Lung Nodule Analysis 16，16年推出的一个肺部结节检测数据集)数据集，分别测试本申请中的图像识别方法与普通分类方法的AUC(ROC曲线下与坐标轴围成的面积，一种二分类模型的模型评价指标)结果请参阅表一：

表一

如表一所示，采用LUNA-16测试普通分类方法(即直接识别医学图像中的肺部结节)，所得到的AUC数值为0.8834，而采用本申请中的医学图像识别方法(即双重模型进行识别的方法)，所得到的AUC数值为0.9324，可见，本申请中的医学图像识别方法识别效果更好。

继续参见图3，其示出了根据本申请的医学图像识别方法的一个应用场景的示意图。在图3的应用场景中，执行主体可以先获取肺部CT数据(肺部电子计算机断层扫描数据)301，将肺部CT数据301作为上述的医学图像，再确定肺部CT数据301对应的疑似结节候选点302。其中，疑似结节候选点302的候选点数量通常为多个，构成了上述的目标候选点集合。之后，执行主体可以将各个疑似结节候选点302输入简单模型303，简单模型303相当于上述的第一识别模型，以使简单模型303输出初始识别结果304，如[0，1]区间的数值。再基于简单模型303输出的数值确定是否要将相应的疑似结节候选点302输入困难模型305进行进一步的修正，如果是，则将相应的疑似结节候选点302输入困难模型305，得到最终的目标识别结果306。如果基于简单模型303输出的数值确定无需将相应的疑似结节候选点302输入困难模型305进行进一步的修正，则直接将简单模型303输出的数值确定为目标识别结果306，从而实现了对各个疑似结节候选点302的类别识别，最终的目标识别结果306用于指示各个疑似结节候选点302的类别为阴性或者阳性。

本申请上述实施例提供的医学图像识别方法，能够先确定医学图像对应的目标候选点集合，再将目标候选点集合中的各个目标候选点依次输入第一识别模型、第二识别模型，得到目标识别结果。由于第一识别模型在训练时基于简单样本进行训练，并且第二识别模型在训练时基于困难样本进行训练，从而采用第一识别模型和第二识别模型相结合的医学图像识别方式，能够较为精准地识别困难医学图像数据，从而提高了医学图像识别精准度。

继续参见图4，其示出了根据本申请的医学图像识别方法的另一个实施例的流程400。如图4所示，本实施例的用医学图像识别方法可以包括以下步骤：

步骤401，获取医学图像。

在本实施例中，对于步骤401的详细描述，请参照对于步骤201的详细描述，在此不再赘述。

需要说明的是，步骤401可选执行，在实际应用中，执行主体也可以直接执行步骤402至步骤406。步骤402，基于医学图像和预设的二维识别模型，得到目标候选点集合。

在本实施例中，预设的二维识别模型用于遍历医学图像对应的各个二维切片，得到目标候选点集合。其中，目标候选点集合指的是初步筛选出的各个疑似结节的位置点坐标。预设的二维识别模型可以基于以下步骤训练得到：在样本医学图像中，确定结节对应的二维图像切片；将二维图像切片和切片标注信息作为训练样本，输入待训练模型，不断调整待训练模型的参数，以使待训练模型能够输出二维图像切片对应着的切片标注信息，得到预设的二维识别模型。其中，切片标注信息用于表示结节为阴性或者结节为阳性。

步骤403，对于目标候选点集合中的每个目标候选点，基于该目标候选点的坐标信息进行坐标变化，得到至少一个该目标候选点的变化坐标。

在本实施例中，坐标变换可以包括对目标候选点的坐标信息的各个维度坐标值进行变换。可选的，可以预设有进行变换的数值范围，如预设有进行变换的数值范围为(-2，+2)。此时，执行主体可以对目标候选点的坐标信息(x，y，z)的x值、y值以及z值在正负2的范围内随机变换。进一步可选的，还可以预设有进行变换的次数，如预设进行变换6次。此时，执行主体可以对目标候选点的坐标信息(x，y，z)的x值、y值以及z值在正负2的范围内随机变换6次，得到6个变化坐标。对于预设的变换次数、预设的变换数值范围的具体数值本实施例中不做限定。

步骤404，基于该目标候选点的坐标信息、至少一个该目标候选点的变化坐标以及预设的第一识别模型，确定该目标候选点对应的初始识别结果。

在本实施例中，执行主体可以在获取至少一个目标候选点的变化坐标之后，分别将该目标候选点的坐标信息和至少一个变化坐标作为坐标中心，在医学图像中根据各个坐标中心，按照预设的大小提取立方体图像，作为模型输入数据，如以上述的6个变化坐标和原始坐标作为坐标中心，提取长宽高均为36的立方体。之后，执行主体可以基于各个模型输入数据以及预设的第一识别模型，确定每个目标候选点对应的初始识别结果。对于每个立方体图像具有相应的识别结果，而每个目标候选点对应有多个立方体图像。此时，执行主体可以将每个目标候选点对应的多个立方体图像的识别结果进行平均计算，得到初始识别结果。如识别结果为[0，1]区间的数值，则计算目标候选点对应的每个立方体图像的数值的平均数，作为初始识别结果。采用这种方式能够降低单个点坐标导致的模型误差，使得第一识别模型充分识别各个目标候选点周围的图像信息，实现了单模型的集成效果。

进一步的，请参阅表二，表二是基于LUNA-16数据集，分别测试不进行坐标变化、进行坐标变化的平均召回率。

表二

如表二所示，对于未变化和坐标变化的方案，分别确定每个方案在医学图像上出现8、4、2、1、1/2、1/4、1/8个假阳性结节的召回率，最终计算平均召回率(AverageConditional Recall，ACR)。可见，采用坐标变化的方案相较于坐标未变化的方案，能够提高识别假阳性结节的召回率。

步骤405，对于目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果不满足预设的识别条件，基于该目标候选点和预设的第二识别模型，确定目标识别结果。

在本实施例中，预设的识别条件用于判断识别结果是否准确，对于识别结果为[0，1]区间的数值而言，预设的识别条件可以为识别结果的数值小于0.2或者大于0.8。对于识别结果为判别难易类别而言，预设的识别条件可以为识别结果为难判别类别。如果初始识别结果不满足预设的识别条件，则说明第一识别模型不能精准地判断目标候选点对应的结节类别，此时可以进一步将目标候选点输入预设的第二识别模型，以使第二识别模型识别得到目标识别结果。可选的，在第二识别模型确定各个目标候选点对应的识别结果时，也可以采用上述的坐标变化、计算平均结果的方式，得到每个目标候选点对应的识别结果，用以提高识别结果的确定精准度。

步骤406，对于目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果满足预设的识别条件，将初始识别结果确定为目标识别结果。

在本实施例中，执行主体还可以在确定目标候选点的初始识别结果满足预设的识别条件时，将初始识别结果确定为目标识别结果。其中，如果目标候选点的初始识别结果满足预设的识别条件，则说明初始识别结果能够精准地判断目标候选点对应的结节类别。此时可以将初始识别结果确定为目标识别结果。

本申请的上述实施例提供的医学图像识别方法，还可以在确定初始识别结果时，采用坐标变化的方式，得到每个目标候选点的变化坐标，再基于变化坐标和目标候选点的坐标信息，分别构建立方体图像，基于计算平均结果的方式，得到初始识别结果，从而提高了初始识别结果的准确度。以及可以在初始识别结果不满足预设的识别条件时，基于目标候选点和预设的第二识别模型，得到目标识别结果，由于第二识别模型用于识别不常见的结节类别，因而基于第二识别模型进行修正的目标识别结果能够更加精准的判断结节为阳性还是阴性。

继续参考图5，示出了根据本申请的识别模型训练方法的一个实施例的流程500。本实施例的识别模型训练方法，包括以下步骤：

步骤501，获取第一样本图像。

在本实施例中，第一样本图像可以为用于训练第一识别模型的图像，如包含结节的电子计算机断层扫描图像，例如肺部电子计算机断层扫描图像、甲状腺电子计算机断层扫描图像、乳腺电子计算机断层扫描图像等。对于第一样本图像的获取方式请参照对于步骤201的详细描述，在此不再赘述。

步骤502，基于第一样本图像，确定正样本图像和负样本图像。

在本实施例中，正样本图像指的是阳性结节对应的样本图像，负样本图像指的是阴性结节对应的样本图像。执行主体在获取第一样本图像之后，可以从第一样本图像中确定结节所在位置，结节所在位置可以由人工预先标注。在确定得到结节所在位置之后，基于结节所在位置坐标作为中心，提取预设大小的立方体作为阳性结节对应的样本图像，即作为正样本图像。以及在第一样本图像中确定任意的非结节所在位置坐标，作为中心，提取预设大小的立方体作为阴性结节对应的样本图像，即作为负样本图像。

在本实施例的一些可选的实现方式中，还可以执行以下步骤：响应于确定正样本图像和负样本图像的数量差值大于预设的差值阈值，对正样本图像或者负样本图像进行数据增强，直至数量差值小于或者等于预设的差值阈值。

在本实施例中，如果正样本图像和负样本图像的数量差值较大，则可以对正样本图像或者负样本图像进行数据增强，直至数量差值小于或者等于预设的差值阈值。在实际应用中，由于阳性结节较少，因而正样本图像数量通常会小于负样本图像，在这种情况下，会对正样本图像进行数据增强。如果出现特殊的、负样本图像远小于正样本图像的情况，也可以对负样本图像进行数据增强。其中，数据增强的方式可以包括但不限于图像翻转、图像镜像、图像平移等，本实施例对此不做限定。最终进行数据增强后的正样本图像和负样本图像的数量优选为近似相等。

步骤503，将正样本图像和负样本图像输入第一初始模型，得到第一初始模型输出的第一识别结果。

在本实施例中，第一初始模型可以将efficientb0-net(一种基础网络模型)作为主干网络，用于识别三维图像，实现结节的简单分类。上述的正样本图像和负样本图像优选采用三维的、立方体图像。第一初始模型输出的第一识别结果是基于正样本图像和负样本图像识别得到的识别结果，用于表示结节为阴性或者结节为阳性。

步骤504，基于第一识别结果、预设的真实结果和预设的第一损失函数，对第一初始模型进行训练，直至预设的第一损失函数满足收敛条件，得到训练好的第一识别模型。

在本实施例中，正样本图像对应的预设的真实结果即为阳性结节，负样本图像对应的预设的真实结果即为阴性结节。预设的第一损失函数优选采用focal loss(一种用于困难样本挖掘的损失函数)。对于每个样本图像，将该样本图像的第一识别结果和预设的真实结果代入预设的第一损失函数，基于损失值对模型进行训练，直至第一损失函数满足收敛条件，得到训练好的第一识别模型。

本申请的上述实施例提供的识别模型训练方法，可以采用数据增强的方式解决第一识别模型训练过程中的样本不均衡问题，提高了第一识别模型的精准度。

继续参考图6，示出了根据本申请的识别模型训练方法的一个实施例的流程600。本实施例的识别模型训练方法，包括以下步骤：

步骤601，获取第二样本图像。

在本实施例中，第二样本图像可以为用于训练第二识别模型的图像，如包含结节的电子计算机断层扫描图像，例如肺部电子计算机断层扫描图像、甲状腺电子计算机断层扫描图像、乳腺电子计算机断层扫描图像等。对于第二样本图像的获取方式请参照对于步骤201的详细描述，在此不再赘述。

步骤602，基于第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和目标样本的标注信息。

在本实施例中，执行主体可以基于预设的二维识别模型和第二样本图像，得到第二样本图像中的各个阳性结节候选点。对于基于预设的二维识别模型和第二样本图像，得到第二样本图像中的各个阳性结节候选点的详细描述请参照对于步骤402的详细描述，在此不再赘述。在得到各个阳性结节候选点之后，可以分别将每个阳性结节候选点输入已经训练好、预设的第一识别模型，得到每个阳性结节候选点对应的初始识别结果。再基于初始识别结果筛选得到难以识别的困难样本，也即是目标样本。并进一步确定目标样本的标注信息。

在本实施例的一些可选的实现方式中，基于第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和目标样本的标注信息，包括：基于第二样本图像和预设的二维识别模型，确定第二样本图像对应的样本候选点集合；基于样本候选点集合和预设的第一识别模型，确定样本候选点集合中每个样本候选点对应的样本识别结果；基于样本识别结果，在样本候选点集合中确定目标样本候选点；将目标样本候选点作为目标样本，以及将目标样本候选点对应的样本标注信息作为目标样本的标注信息。

在本实现方式中，基于样本识别结果在样本候选点集合中确定目标样本候选点的方式可以为：基于样本识别结果在样本候选点集合中确定结果满足预设条件的样本候选点，作为目标样本候选点。其中，在样本识别结果为[0，1]区间的数值时，预设条件可以为样本识别结果大于0.5且标注信息为阴性。执行主体将满足预设条件的样本识别结果大于0.5的阴性样本候选点作为目标样本候选点。

在本实施例的另一些可选的实现方式中，还可以执行以下步骤：基于样本候选点集合中各个样本候选点之间的距离信息，确定边缘样本候选点；将边缘样本候选点作为目标样本，以及将边缘样本候选点对应的样本标注信息作为目标样本的标注信息。

在本实现方式中，执行主体还可以确定样本候选点集合中各个样本候选点之间的距离信息，如欧几里得距离。将与其他样本候选点的欧几里得距离满足第一距离条件的阴性样本候选点作为边缘样本候选点，以及将与其他样本候选点的欧几里得距离满足第二距离条件的阳性样本候选点作为边缘样本候选点。例如，第一距离条件为与其他所有样本候选点的距离均处于(R:R+3]范围内，第二距离条件为与其他所有样本候选点的距离均处于[R-5:R)范围内。其中，R指的是预先标注的结节半径。

步骤603，将目标样本输入第二初始模型，得到第二初始模型输出的第二识别结果。

在本实施例中，第二初始模型可以将efficientb0-net作为主干网络，用于识别三维图像，实现结节的困难分类。上述的目标样本优选采用三维的、立方体图像。第二初始模型输出的第二识别结果是基于目标样本识别得到的识别结果，用于表示结节为阴性或者结节为阳性。

步骤604，基于第二识别结果、目标样本的标注信息以及预设的第二损失函数，对第二初始模型进行训练，直至预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

在本实施例中，对于第二识别模型的训练方式可参照对于第一识别模型的训练方式，即步骤504的详细描述，在此不再赘述。

本申请的上述实施例提供的识别模型训练方法，可以基于第一识别模型挖掘困难样本，将其作为用于训练第二识别模型的输入数据，以使第二识别模型能够精准识别困难样本的类别，提高第二识别模型的精准度。并且困难样本的挖掘基于边缘样本和第一识别模型的初始识别结果两个维度确定，困难样本更加精准、覆盖面更全。

进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种医学图像识别装置的一个实施例，该装置实施例与图7所示的方法实施例相对应，该装置具体可以应用于各种服务器或者终端设备中。

如图7所示，本实施例的医学图像识别装置700包括：图像获取单元701、集合确定单元702、初始结果确定单元703、目标结果确定单元704。

图像获取单元701，被配置成获取医学图像。

需要说明的是，图像获取单元701可选配置，在实际应用中，医学图像识别装置700可以不包含图像获取单元701。

集合确定单元702，被配置成确定医学图像对应的目标候选点集合。

初始结果确定单元703，被配置成基于目标候选点集合和预设的第一识别模型，确定目标候选点集合中每个目标候选点对应的初始识别结果。

目标结果确定单元704，被配置成基于初始识别结果和预设的第二识别模型，确定目标识别结果。

在本实施例的一些可选的实现方式中，集合确定单元702进一步被配置成：基于医学图像和预设的二维识别模型，得到目标候选点集合。

在本实施例的一些可选的实现方式中，初始结果确定单元703进一步被配置成：对于目标候选点集合中的每个目标候选点，基于该目标候选点的坐标信息进行坐标变化，得到至少一个该目标候选点的变化坐标；基于该目标候选点的坐标信息、至少一个该目标候选点的变化坐标以及预设的第一识别模型，确定该目标候选点对应的初始识别结果。

在本实施例的一些可选的实现方式中，目标结果确定单元704进一步被配置成：对于目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果不满足预设的识别条件，基于该目标候选点和预设的第二识别模型，确定目标识别结果。

在本实施例的一些可选的实现方式中，目标结果确定单元704进一步被配置成：对于目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果满足预设的识别条件，将初始识别结果确定为目标识别结果。

应当理解，医学图像识别装置700中记载的单元701至单元704分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对医学图像识别方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。

进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种识别模型训练装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种服务器或者终端设备中。

如图8所示，本实施例的识别模型训练装置800包括：第一图像获取单元801、第一样本获取单元802、第一结果识别单元803、第一模型训练单元804。

第一图像获取单元801，被配置成获取第一样本图像。

第一样本获取单元802，被配置成基于第一样本图像，确定正样本图像和负样本图像。

第一结果识别单元803，被配置成将正样本图像和负样本图像输入第一初始模型，得到第一初始模型输出的第一识别结果。

第一模型训练单元804，被配置成基于第一识别结果、预设的真实结果和预设的第一损失函数，对第一初始模型进行训练，直至预设的第一损失函数满足收敛条件，得到训练好的第一识别模型。

在本实施例的一些可选的实现方式中，上述装置还包括：数据增强单元，被配置成响应于确定正样本图像和负样本图像的数量差值大于预设的差值阈值，对正样本图像或者负样本图像进行数据增强，直至数量差值小于或者等于预设的差值阈值。

应当理解，识别模型训练装置800中记载的单元801至单元804分别与参考图5中描述的方法中的各个步骤相对应。由此，上文针对识别模型训练方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。

进一步参考图9，作为对上述各图所示方法的实现，本申请提供了一种识别模型训练装置的一个实施例，该装置实施例与图6所示的方法实施例相对应，该装置具体可以应用于各种服务器或者终端设备中。

如图9所示，本实施例的识别模型训练装置900包括：第二图像获取单元901、第二样本获取单元902、第二结果识别单元903、第二模型训练单元904。

第二图像获取单元901，被配置成获取第二样本图像。

第二样本获取单元902，被配置成基于第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和目标样本的标注信息。

第二结果识别单元903，被配置成将目标样本输入第二初始模型，得到第二初始模型输出的第二识别结果。

第二模型训练单元904，被配置成基于第二识别结果、目标样本的标注信息以及预设的第二损失函数，对第二初始模型进行训练，直至预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

在本实施例的一些可选的实现方式中，第二样本获取单元902进一步被配置成：基于第二样本图像和预设的二维识别模型，确定第二样本图像对应的样本候选点集合；基于样本候选点集合和预设的第一识别模型，确定样本候选点集合中每个样本候选点对应的样本识别结果；基于样本识别结果，在样本候选点集合中确定目标样本候选点；将目标样本候选点作为目标样本，以及将目标样本候选点对应的样本标注信息作为目标样本的标注信息。

在本实施例的一些可选的实现方式中，上述装置还包括：样本扩充单元，被配置成基于样本候选点集合中各个样本候选点之间的距离信息，确定边缘样本候选点；将边缘样本候选点作为目标样本，以及将边缘样本候选点对应的样本标注信息作为目标样本的标注信息。

应当理解，识别模型训练装置900中记载的单元901至单元904分别与参考图6中描述的方法中的各个步骤相对应。由此，上文针对识别模型训练方法描述的操作和特征同样适用于装置900及其中包含的单元，在此不再赘述。

根据本申请的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了用来实现本公开实施例的医学图像识别方法或者识别模型训练方法的电子设备1000的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用推送信息。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如医学图像识别方法或者识别模型训练方法。例如，在一些实施例中，医学图像识别方法或者识别模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的医学图像识别方法或者识别模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行医学图像识别方法或者识别模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种医学图像识别方法，包括：

确定医学图像对应的目标候选点集合；

对于所述目标候选点集合中的每个目标候选点，基于该目标候选点的坐标信息进行坐标变化，得到至少一个该目标候选点的变化坐标；基于该目标候选点的坐标信息、至少一个该目标候选点的变化坐标以及预设的第一识别模型，确定该目标候选点对应的初始识别结果，其中，所述第一识别模型在训练时基于简单样本进行训练；

对于所述目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果不满足预设的识别条件，基于该目标候选点和预设的第二识别模型，确定目标识别结果，其中，所述第二识别模型在训练时基于困难样本进行训练。

2.根据权利要求1所述的方法，其中，所述确定所述医学图像对应的目标候选点集合，包括：

基于所述医学图像和预设的二维识别模型，得到所述目标候选点集合。

3.根据权利要求1所述的方法，其中，所述方法还包括：

对于所述目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果满足所述预设的识别条件，将所述初始识别结果确定为所述目标识别结果。

4.一种识别模型训练方法，包括：

获取第二样本图像；

基于所述第二样本图像和预设的二维识别模型，确定所述第二样本图像对应的样本候选点集合；基于所述样本候选点集合和预设的第一识别模型，确定所述样本候选点集合中每个样本候选点对应的样本识别结果；基于所述样本识别结果，在所述样本候选点集合中确定目标样本候选点；将所述目标样本候选点作为所述目标样本，以及将所述目标样本候选点对应的样本标注信息作为所述目标样本的标注信息；

将所述目标样本输入第二初始模型，得到所述第二初始模型输出的第二识别结果；

基于所述第二识别结果、所述目标样本的标注信息以及预设的第二损失函数，对所述第二初始模型进行训练，直至所述预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

5.根据权利要求4所述的方法，其中，所述基于所述第二样本图像、预设的二维识别模型以及预设的第一识别模型，确定目标样本和所述目标样本的标注信息，包括：

基于所述第二样本图像和所述预设的二维识别模型，确定所述第二样本图像对应的样本候选点集合；

基于所述样本候选点集合和所述预设的第一识别模型，确定所述样本候选点集合中每个样本候选点对应的样本识别结果；

基于所述样本识别结果，在所述样本候选点集合中确定目标样本候选点；

将所述目标样本候选点作为所述目标样本，以及将所述目标样本候选点对应的样本标注信息作为所述目标样本的标注信息。

6.根据权利要求5所述的方法，其中，所述方法还包括：

基于所述样本候选点集合中各个样本候选点之间的距离信息，确定边缘样本候选点；

将所述边缘样本候选点作为所述目标样本，以及将所述边缘样本候选点对应的样本标注信息作为所述目标样本的标注信息。

7.一种医学图像识别装置，包括：

集合确定单元，被配置成确定医学图像对应的目标候选点集合；

初始结果确定单元，被配置成对于所述目标候选点集合中的每个目标候选点，基于该目标候选点的坐标信息进行坐标变化，得到至少一个该目标候选点的变化坐标；基于该目标候选点的坐标信息、至少一个该目标候选点的变化坐标以及预设的第一识别模型，确定该目标候选点对应的初始识别结果，其中，所述第一识别模型在训练时基于简单样本进行训练；

目标结果确定单元，被配置成对于所述目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果不满足预设的识别条件，基于该目标候选点和预设的第二识别模型，确定目标识别结果，其中，所述第二识别模型在训练时基于困难样本进行训练。

8.根据权利要求7所述的装置，其中，所述集合确定单元进一步被配置成：

基于所述医学图像和预设的二维识别模型，得到所述目标候选点集合。

9.根据权利要求7所述的装置，其中，所述目标结果确定单元进一步被配置成：

对于所述目标候选点集合中的每个目标候选点，响应于确定该目标候选点的初始识别结果满足所述预设的识别条件，将所述初始识别结果确定为所述目标识别结果。

10.一种识别模型训练装置，包括：

第二图像获取单元，被配置成获取第二样本图像；

第二样本获取单元，被配置成基于所述第二样本图像和预设的二维识别模型，确定所述第二样本图像对应的样本候选点集合；基于所述样本候选点集合和预设的第一识别模型，确定所述样本候选点集合中每个样本候选点对应的样本识别结果；基于所述样本识别结果，在所述样本候选点集合中确定目标样本候选点；将所述目标样本候选点作为所述目标样本，以及将所述目标样本候选点对应的样本标注信息作为所述目标样本的标注信息；

第二结果识别单元，被配置成将所述目标样本输入第二初始模型，得到所述第二初始模型输出的第二识别结果；

第二模型训练单元，被配置成基于所述第二识别结果、所述目标样本的标注信息以及预设的第二损失函数，对所述第二初始模型进行训练，直至所述预设的第二损失函数满足收敛条件，得到训练好的第二识别模型。

11.根据权利要求10所述的装置，其中，所述装置还包括：

样本扩充单元，被配置成基于所述样本候选点集合中各个样本候选点之间的距离信息，确定边缘样本候选点；将所述边缘样本候选点作为所述目标样本，以及将所述边缘样本候选点对应的样本标注信息作为所述目标样本的标注信息。

12. 一种执行医学图像识别方法或者识别模型训练方法的电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。