CN111209946A - 三维图像处理方法、图像处理模型训练方法及介质 - Google Patents

三维图像处理方法、图像处理模型训练方法及介质 Download PDF

Info

Publication number
CN111209946A
CN111209946A CN201911422683.9A CN201911422683A CN111209946A CN 111209946 A CN111209946 A CN 111209946A CN 201911422683 A CN201911422683 A CN 201911422683A CN 111209946 A CN111209946 A CN 111209946A
Authority
CN
China
Prior art keywords
image
processed
image processing
training
processing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911422683.9A
Other languages
English (en)
Other versions
CN111209946B (zh
Inventor
张伟
沈宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201911422683.9A priority Critical patent/CN111209946B/zh
Publication of CN111209946A publication Critical patent/CN111209946A/zh
Application granted granted Critical
Publication of CN111209946B publication Critical patent/CN111209946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本申请提供一种三维图像处理方法、图像处理模型训练方法及介质，所述方法包括：根据不同阶段的图像处理模型，从待处理的三维图像集中确定用于训练至少一批图像子集，并基于至少一批图像子集及对应的图像处理结果，构建用于训练图像处理模型的训练集，利用经训练的图像处理模型对三维图像集中图像进行处理，得到对应的图像处理结果。从而可提高模型训练效率，进而提高了三维图像处理效率和准确率，减少了人员工作量。

Description

三维图像处理方法、图像处理模型训练方法及介质
技术领域
本申请涉及计算机图像处理技术领域，尤其涉及一种三维图像处理方法、图像处理模型训练方法及介质。
背景技术
医疗影像数据为临床检测和辅助诊断中重要医疗数据之一，目前对于医疗影像数据的分析和处理主要依靠经验丰富的医生来完成。然而，由于医疗影像数据的分析处理过程复杂繁琐，尤其是处理一些难度高的任务(例如颅脑影像、病理图像)和高维医疗影像数据(例如三维影像)等，因此现有的通过人工阅片和手动勾画的方式，不仅会消耗大量的人力和时间，处理效率低，而且由于人为误差的存在而会导致处理结果的准确性和精度并不高。
人工智能技术虽被应用到医疗领域中，但其仍未达到成熟应用的阶段。目前，应用人工智能技术的主要方式是利用网络模型或算法对医疗影像数据进行快速分析处理，然而该网络模型或算法往往是采用大量训练样本数据训练得到的，通常大量的训练样本数据非常依赖于经验丰富的医生来完成，如此会增加人员工作量。此外，现有的基于人工智能技术的网络模型或算法，其对三维医学图像处理的准确率和效率有待进一步提高。
发明内容
本申请提供了一种三维图像处理方法、图像处理模型训练方法及介质，以解决以上至少一种技术问题。
一方面，本申请提供了一种三维图像处理方法，包括：
获取待处理的三维图像集；
根据不同阶段的图像处理模型，从所述三维图像集中确定用于训练图像处理模型的至少一批图像子集；
构建训练集，所述训练集包含至少一批所述图像子集及对应的图像处理结果，所述训练集用于训练所述图像处理模型；
利用经训练的图像处理模型，确定所述三维图像集中图像的图像处理结果。
另一方面，还提供一种三维图像处理装置，包括：
图像集获取模块，用于获取待处理的三维图像集；
图像子集确定模块，用于根据不同阶段的图像处理模型，从所述三维图像集中确定至少一批图像子集；
构建模块，用于构建训练集，所述训练集包含至少一批所述图像子集及对应的图像处理结果，所述训练集用于训练图像处理模型；
图像处理模块，用于利用经训练的图像处理模型，确定三维图像集中图像的图像处理结果。
另一方面，还提供一种图像处理模型训练方法，包括：
获取三维图像样本数据和当前图像处理模型，所述三维图像样本数据包括已处理图像样本集和待处理图像样本集，所述当前图像处理模型的训练样本集包括所述已处理图像样本集；
基于已处理图像样本集和所述待处理图像样本集中每例待处理样本图像，利用不同阶段的图像处理模型，从所述待处理图像样本集中确定用于训练模型的下一批待处理图像样本子集；
利用当前图像处理模型对所述下一批待处理图像样本子集进行预测，得到预测样本图像处理结果；
基于对所述预测样本图像处理结果所对应的核验结果，更新所述训练样本集；
基于更新的训练样本集训练所述当前图像处理模型，得到更新的图像处理模型；
将更新的图像处理模型作为当前图像处理模型，迭代确定下一批待处理图像子集的步骤及其后续步骤，直至满足训练结束条件。
另一方面，还提供一种图像处理模型训练装置，包括：
获取模块，用于获取三维图像样本数据和当前图像处理模型，所述三维图像样本数据包括已处理图像样本集和待处理图像样本集，所述当前图像处理模型的训练样本集包括所述已处理图像样本集；
图像样本子集确定模块，用于基于已处理图像样本集和所述待处理图像样本集中每例待处理样本图像，利用不同阶段的图像处理模型，从所述待处理图像样本集中确定用于训练模型的下一批待处理图像样本子集；
预测模块，用于利用当前图像处理模型对所述下一批待处理图像样本子集进行预测，得到预测样本图像处理结果；
更新模块，用于基于对所述预测样本图像处理结果所对应的核验结果，更新所述训练样本集；
训练模块，用于基于更新的训练样本集训练所述当前图像处理模型，得到更新的图像处理模型；
迭代模块，用于将更新的图像处理模型作为当前图像处理模型，迭代确定下一批待处理图像子集的步骤及其后续步骤，直至满足训练结束条件。
另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行如上述任一项所述的三维图像处理方法，和上述所述的图像处理模型训练方法的步骤。
另一方面还提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的三维图像处理方法，和上述所述的图像处理模型训练方法的步骤。
本申请提供的一种三维图像处理方法、图像处理模型训练方法及介质，具有如下技术效果：
本申请实施例通过根据不同阶段的图像处理模型，从待处理的三维图像集中确定用于训练至少一批图像子集，并基于至少一批所述图像子集及对应的图像处理结果，构建用于训练图像处理模型的训练集，利用经训练的图像处理模型对三维图像集中图像进行处理，得到对应的图像处理结果。整个三维图像处理过程是交替进行筛选至少一批具有训练意义的图像子集、和利用筛选的图像子集训练不同训练阶段的图像处理模型，从而可根据少量的图像子集训练图像处理模型来快速迭代至达到同样的训练效果，提高模型训练效率和性能，同时进行图像处理模型训练和三维图像处理过程，进而提高了三维图像处理效率和准确率。并且无需对所有三维图像集进行人工处理，减少了人员工作量，节省人力开销。此外，随着模型训练过程的不断继续，模型预测准确性越高，需要修正的预测处理结果慢慢减少，进一步减少人员工作量。非常适用于无处理标签数据量大和有处理标签数据人工处理成本大、复杂度高、耗时长等情况。
此外，根据不同阶段的图像处理模型来确定至少一批图像子集，充分利用当前模型训练阶段的中间结果来进行图像处理建议的筛选，所确定的图像子集更具有针对性，无需额外构建和训练其他网络，减少模型训练耗时，提高图像处理效果和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种三维图像处理方法的流程示意图；
图3是本申请实施例提供的步骤S204的流程示意图；
图4是本申请实施例提供的另一种三维图像处理方法的流程示意图；
图5是本申请实施例提供的步骤S304的流程示意图；
图6是本申请实施例提供的图像处理建议算法的流程示意图；
图7是本申请实施例提供的步骤S506的流程示意图；
图8是本申请实施例提供的构建训练集的流程示意图；
图9是本申请实施例提供的一种图像处理模型训练方法的流程示意图；
图10a是应用本申请实施例的训练结束的图像处理模型对脑部医学图像进行全局分割处理的结果示意图；
图10b是应用本申请实施例的训练结束的图像处理模型对前列腺医学图像进行局部分割处理的结果示意图；
图11是本申请实施例提供的一种三维图像处理装置的结构框图；
图12是本申请实施例提供的一种图像处理模型训练装置的结构框图；
图13是本申请提供的一种用于实现本申请实施例所提供的方法的计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请实施例提供的一种应用环境的示意图。如图1所示，三维图像处理方法和图像处理模型训练方法应用于图像处理系统。该图像处理系统包括通过网络连接的第一终端01和第二终端02。
第一终端01可以包括医学设备，该医学设备可以包括分开配置的医学仪器和服务器，该服务器可以是独立的服务器，也可以是由多个独立服务器组成的服务器集群，或者分布式服务器，或者是提供云计算服务器、云数据库、云存储等基础云计算服务的云服务器。分布式服务器具体可以为区块链(Block Chain)结构，该区块链结构中的任意一个节点都可以执行或参与执行三维图像处理方法和图像处理模型训练方法。该医学设备也可包括集成了用于执行三维图像处理方法和图像处理模型训练方法的服务器的医学仪器。医学仪器可以为磁共振成像(MRI)、计算机断层(CT)、正电子发射断层扫描(PET)、正电子发射型计算机断层显像-电子计算机断层(PET-CT)、正电子发射型计算机断层显像-磁共振扫描(PET-MR)等。第二终端02可以是智能手机、台式电脑、平板电脑、笔记本电脑、数字助理等中至少一种。
应理解，图1中示出的应用环境仅仅是与本申请方案一种应用环境，并不构成对本申请方案应用环境的限定，其他的应用环境还可以包括比图中所示更多或更少的计算机设备，或者计算机设备网络连接关系。
以下介绍本申请一种三维图像处理方法的具体实施例，图2是本申请实施例提供的一种三维图像处理方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。如图2所示，该方法可应用于上述实施环境中的第一终端01，也可应用于上述实施环境中的第二终端02。该方法可以包括：
S202，获取待处理的三维图像集。
其中，三维图像集可以是至少一种三维成像模态对应的多个三维图像的集合。该三维成像模态可以为磁共振成像(MRI)、计算机断层(CT)、正电子发射断层扫描(PET)等单模态，也可为正电子发射型计算机断层显像-电子计算机断层(PET-CT)、正电子发射型计算机断层显像-磁共振扫描(PET-MR)等多模态。
待处理的三维图像集可以是需要进行图像处理的多个三维图像的集合，其可以包括针对至少一个目标对象的多例影像。在医学领域，目标对象可以为器官、组织、病灶、脉管等中至少一种，比如颅脑、肺、肝、胸、前列腺、软组织等。示例的，若目标对象为颅脑，待处理的三维图像集可以为多名患者经MRI设备扫描得到的多例颅脑MRI影像。若目标对象为肺，待处理的三维图像集可以为多名患者经CT设备扫描得到的多例肺CT影像。
在一实施例中，终端可以根据接收到的图像处理请求指令，从数据库或数据池中获取多个未处理三维图像，以构建待处理的三维图像集。终端也可以与医学仪器建立通信，在接收到图像处理请求指令后，从对应的医学仪器处获取所扫描得到的多个未处理图像数据，之后利用映射到图像域的多个待处理的三维图像，构建待处理的三维图像集。
S204，根据不同阶段的图像处理模型，从三维图像集中确定用于训练图像处理模型的至少一批图像子集。
其中，图像处理模型可以为用于对三维图像进行诸如分割、标注、分类等处理的机器学习模型。图像子集可以是待处理的三维图像集的非空子集。终端利用当前阶段的图像处理模型，从三维图像集中筛选用于训练该当前阶段的图像处理模型的当前批图像子集，经当前批图像子集训练的图像处理模型作为下一阶段的图像处理模型，利用下一阶段的图像处理模型，继续从三维图像集中筛选用于训练下一阶段的图像处理模型的下一批图像子集，以此类推，直至模型满足训练结束条件。也即，根据不同阶段的图像处理模型，从三维图像集中筛选不同批的图像子集，所确定的每批图像子集可以分别用于训练处于不同训练阶段的图像处理模型。
需要说明的是，图像子集的批次数量可预先设定，其也可根据待训练模型的实际训练情况进行调整。每批图像子集中的图像数量可为随机值、固定值、或者按预设比例调整的数值。对此，本申请不作具体限定。
对于不同阶段的图像处理模型，三维图像集中每例待处理图像被处理的难易程度或准确度并不同。为了提升图像处理模型的性能，从三维图像集中筛选出对不同阶段的图像处理模型更具有训练意义的至少一批图像子集，从而可根据少量的图像子集训练图像处理模型，提高模型训练效率，进而提高图像处理效率和准确率，同时大大减少对全部三维图像的人工处理量，节省人力开销。
S206，构建训练集，训练集包含至少一批图像子集及对应的图像处理结果，训练集用于训练图像处理模型。
其中，图像子集的图像处理结果可为人工处理结果。优选地，图像处理结果为对图像处理模型所预测的结果进行修正所得的修正后的图像处理结果。所构建的训练集数量可为至少一个，其包含至少一批图像子集及对应的图像处理结果。示例的，当前训练集可包括上一个训练集和所确定的当前批图像子集。优选地，所构建的训练集中还可包括携带已处理结果的三维图像。
在一实施例中，终端获取对所确定的至少一批图像子集的图像处理结果，可以将每批图像子集及对应的图像处理结果按先后顺序分别发送至模型训练模块，以使该模型训练模块基于所接收的至少一批图像子集及对应的图像处理结果，构建对应的训练集，并利用不同训练集来训练处于不同训练阶段的图像处理模型，直至达到训练结束条件，得到经训练的图像处理模型。
S208，利用经训练的图像处理模型，确定三维图像集中图像的图像处理结果。
经训练的图像处理模型可以是经过训练后具备图像处理能力的目标图像处理模型。该目标图像处理模型是通过所构建的训练集学习具备诸如分割、标注、分类等图像处理能力。相应的，图像处理结果可包括对应的图像分割结果、图像标注结果、图像分类结果等。
该目标图像处理模型可为机器学习模型，该机器学习模型可以是神经网络模型(例如卷积神经网络等)、支持向量机、逻辑回归模型等中至少一种。
在一可能实施例中，目标图像处理模型可通过以下方式实现：
所构建的当前训练集可包括当前批次之前的所有批次的图像子集，在确定了下一批图像子集后，利用当前训练得到的图像处理模型对该下一批图像子集进行预测，判断预测结果是否满足训练结束条件，若满足训练结束条件，则将当前训练得到的图像处理模型作为经训练的图像处理模型，也即目标图像处理模型。若不满足训练结束条件，则将该下一批图像子集及对应的图像处理结果添加至当前训练集中，即更新当前训练集得到下一个训练集。将下一个训练集作为当前训练集，迭代训练当前训练阶段的图像处理模型，直至达到训练结束条件，得到经训练的图像处理模型，也即目标图像处理模型。
在一实施例中，终端可以获取经训练的图像处理模型，利用经训练的图像处理模型对三维图像集中所有图像进行处理，得到对应的图像处理结果。
在另一实施例中，由于筛选的图像子集的图像处理结果已经确定，为了提高处理效率，终端也可获取经训练的图像处理模型，可以利用经训练的图像处理模型，仅对三维图像集中除所确定的图像子集之外的其他图像进行处理，得到对应的图像处理结果。
上述实施例中，通过根据不同阶段的图像处理模型，从待处理的三维图像集中确定用于训练至少一批图像子集，并基于至少一批所述图像子集及对应的图像处理结果，构建用于训练图像处理模型的训练集，利用经训练的图像处理模型对三维图像集中图像进行处理，得到对应的图像处理结果。整个三维图像处理过程是交替进行筛选至少一批具有训练意义的图像子集、和利用筛选的图像子集训练不同训练阶段的图像处理模型，从而可根据少量的图像子集训练图像处理模型来快速迭代至达到同样的训练效果，提高模型训练效率，同时进行图像处理模型训练和三维图像处理过程，进而提高了三维图像处理效率和准确率。并且无需对所有三维图像集进行人工处理，减少了人员工作量，节省人力开销。此外，随着模型训练过程的不断继续，模型预测准确性越高，需要修正的预测处理结果慢慢减少，进一步减少人员工作量。非常适用于无处理标签数据量大和有处理标签数据人工处理成本大、复杂度高、耗时长等情况。
此外，根据不同阶段的图像处理模型来确定至少一批图像子集，充分利用当前模型训练阶段的中间结果来进行图像处理建议的筛选，所确定的图像子集更具有针对性，无需额外构建和训练其他网络，减少模型训练耗时，提高图像处理效果和准确性。
如图3和4所示，步骤S204，根据不同阶段的图像处理模型，从所述三维图像集中确定用于训练图像处理模型的至少一批图像子集可以包括：
S302，获取携带图像处理结果的已处理图像集。
其中，已处理图像集可以为重新采集的、且携带图像处理结果的三维图像的集合，其也可为对待处理的三维图像集中部分三维图像经过人工处理或第三方处理所构建的三维图像的集合。所确定的当前批图像子集可以为对模型训练具有更多训练意义的图像。
S304，基于已处理图像集和三维图像集中每例待处理图像，根据当前阶段的图像处理模型，从三维图像集中确定用于训练当前阶段图像处理模型的当前批图像子集。
在一实施例中，终端获取已处理图像集，基于已处理图像集和三维图像集中每例待处理图像，可以根据当前阶段的图像处理模型和图像处理建议算法，从三维图像集中筛选用于训练当前阶段图像处理模型的当前批图像子集，可表示为第i批图像子集，其中i为正整数。
示例的，可通过当前阶段的图像处理模型对筛选的当前批图像子集进行预测，得到预测结果，对所得预测结果进行人工复核，将当前批图像子集及对应的修正后的预测结果添加到训练集中，得到当前训练集，利用当前训练集对当前阶段图像处理模型进行训练，得到经当前批图像子集训练的图像处理模型，也即下一阶段图像处理模型。
S306：利用当前批图像子集更新已处理图像集，并基于更新的已处理图像集和三维图像集中每例待处理图像，根据经当前批图像子集训练的图像处理模型，从三维图像集中确定用于训练下一阶段图像处理模型的下一批图像子集。
在确定了当前批图像子集，将当前批图像子集及对应的图像处理结果添加至已处理图像集中，得到更新的已处理图像集。若当前批图像子集对应的预测结果不符合训练结束条件，则基于更新的已处理图像集和三维图像集中每例待处理图像，继续从三维图像集中确定用于训练下一阶段图像处理模型的下一批图像子集，可表示为第i+n批图像子集，其中i和n均为正整数。所确定的下一批图像子集可用于更新训练集以继续训练图像处理模型、和/或作为训练集来测试图像处理模型。优选地，下一批图像子集和当前批图像子集可以不存在交集。
S308：将下一批图像子集作为当前批图像子集，迭代地从三维图像集中确定下一批图像子集，直至满足迭代结束条件。
在一实施例中，利用当前图像处理模型对下一批图像子集进行预测，若预测结果不符合训练结束条件，则将下一批图像子集添加至当前训练集中，将更新的训练集对当前图像处理模型进行训练，同时可将下一批图像子集作为当前批图像子集，迭代从三维图像集中确定下一批图像子集，直至满足迭代结束条件。训练结束条件可为训练次数满足预设阈值或预测误差满足预设阈值等收敛条件。迭代结束条件可包括以下至少一种：1)当前批图像子集对应的预测结果的准确性符合要求(比如预测结果的准确性为95％-100％)；2)三维图像集中不存在需要处理的三维图像；3)第三方也无法正确评估当前批图像子集的图像处理结果的准确性，也即三维图像集中未被筛选的剩余图像是对模型训练意义不大的或者起副作用的训练样本。
上述实施例，通过基于已处理图像集和三维图像集中每例待处理图像，根据不同阶段的图像处理模型，从三维图像集中确定用于训练当前阶段图像处理模型的不同批图像子集，从而分批次的对待训练的图像处理模型进行训练，如此充分利用了已处理图像集所携带的信息量，和不同阶段的图像处理模型的预测能力，筛选出对不同阶段的图像处理模型更具有训练意义的至少一批图像子集，利于提升模型性能，提高图像处理效果和准确率，同时进一步减少人员工作量。
在一实施例中，继续参见图4所示，在步骤S302，获取携带图像处理结果的已处理图像集可以包括以下步骤：
S3022：获取初始三维图像数据。
初始三维图像数据可以包括步骤S202中的待处理的三维图像集对应的数据。初始三维图像数据与待处理的三维图像集所对应的数据的数据类型一般情况下是一致的。在另一实施方式中，初始三维图像数据也可为额外采集、数据类型一致的三维图像数据。
S3024：获取针对所述初始三维图像数据的人工处理结果，或者，获取利用初始图像处理模型对所述初始三维图像数据进行预测所得到的预测处理结果。
在获取初始三维图像数据后，先判断是否存在初始图像处理模型，若判定不存在初始图像处理模型，则选取部分初始三维图像数据并交由至少一个专业人员进行处理，得到对应的人工处理结果。若专业人员的数量为多个时，可以对多名专业人员的处理结果进行合并，即合并多名专业人员的处理图像中的重叠区域，得到最终的人工处理结果。
若判定存在初始图像处理模型，则可利用初始图像处理模型对预设比例的初始三维图像数据进行预测，以得到预测处理结果。初始图像处理模型可以为与待训练模型具有相同结构的模型，也可为与待训练模型具有不同结构的模型。仅作为示例，该预设比例可为初始三维图像数据总数的5％～20％。
初始图像处理模型可以为还未训练好的初始模型，其模型参数可能为一些初始值，因此初始图像模型的预测能力不够。或者，初始图像处理模型可以为经过其他样本集训练得到的待优化模型，其模型参数可能做了一些调整，但是利用初始图像处理模型对待处理的三维图像集进行预测所得到的预测结果不理想，因此需要利用基于待处理的三维图像集所构建的训练集来进一步训练模型，优化模型参数。
可以理解的是，为了减少后续复核过程，可以对预测处理结果进行人工复核，即至少两名人员对预测处理结果(例如分割边界等)进行人工复核后再对复核结果进行合并，将合并后的初步复核结果作为最终的预测处理结果。
S3026：获取对所述人工处理结果或所述预测处理结果进行抽样复核，得到的初始三维图像数据对应的复核处理结果。
在获取人工处理结果或预测处理结果后，可以通过第三方对处理结果进行抽样复核。具体的，可以将人工处理结果或者预测处理结果发送至第三方进行抽样复核；对于人工处理结果或预测处理结果中不准确处进行修改，得到修改后的处理结果，且将修改后的处理结果和其他未经抽样复核的处理结果一起作为复核处理结果。
其中，抽样复核比例可根据实际情况进行调整，比如包括但不限于为10～100％。第三方的数量可为1个或多个，本申请对此不作具体限定。
S3028：基于所述复核处理结果和对应的初始三维图像数据，获得携带图像处理结果的已处理图像集。
通过对各处理结果进行抽样复核，可以提高所确定的训练集的结果准确性。由于训练集用于进行模型训练，通过提高训练集的结果准确性，可提高后续模型训练的可靠性和效果，利于提升目标图像处理模型的性能，提高图像处理效率。
上述实施例，通过对人工处理结果或图像预测处理结果进行抽样复核，基于抽样复核结果和对应的初始三维图像数据来构建已处理图像集。如此，可以确保用于与图像子集一起构建训练图像处理模型的训练集的精度，减少误差，提高模型训练效果和效率，进而提高图像处理效率和准确性。
在一实施例中，如图5和6所示，步骤S304，基于已处理图像集和三维图像集中每例待处理图像，根据当前阶段的图像处理模型，从三维图像集中确定用于训练当前阶段图像处理模型的当前批图像子集，可以包括：
S502，根据当前阶段的图像处理模型，确定所述三维图像集中每例待处理图像的平均不确定度。
其中，平均不确定度可以表征待处理图像被图像处理模型处理的难易程度。
在一实施例中，利用当前阶段的图像处理模型对三维图像集中每例待处理图像进行预测，基于预测结果，确定三维图像集中每例待处理图像的平均不确定度。该图像处理模型可为初始图像处理模型，或者训练中的图像处理模型。
在一具体实施例中，每例待处理图像包括若干切片图像。步骤S502，根据当前阶段的图像处理模型，确定所述三维图像集中每例待处理图像的平均不确定度，可以包括：
S5022，利用当前阶段的图像处理模型中的特征提取模块，对三维图像集中每例待处理图像进行处理，确定三维图像集中每例待处理图像的特征图；
S5024，利用当前阶段的图像处理模型中的特征分类模块，对所确定的每例待处理图像的特征图进行处理，确定每例待处理图像的特征图中每个像素所属类别的分类结果；
S5026，基于属于同一切片图像的特征图中所有像素的分类结果，分别确定每例待处理图像中若干切片图像的不确定度。
S5028，基于所有的切片图像的不确定度，确定每例待处理图像的平均不确定度。
在本申请实施例中，图像处理模型是训练过程中的处理模型，也即未达到训练结束条件的不同训练阶段的处理模型。图像处理模型可为基于机器学习的网络模型，其可包括任何基于像素级分类的机器学习网络结构，例如包括但不限于为全卷积网络(比如v-net、u-net等网络结构)。
在一具体实施例中，特征提取模块可以包括下采样部分和上采样部分，下采样部分可以包括多个卷积层和池化层，上采样部分包括反卷积层，每个反卷积层与下采样部分对应层连接。利用图像处理模型中下采样部分的卷积层和池化层对三维图像集中每例待处理图像进行处理，提取每例待处理图像的特征，再进行上采样操作，将最后一个卷积层的特征图作为每例待处理图像的特征图。特征分类模块可以包括分类器，其作用于上采样操作输出的特征图，对图像进行诸如分类、分割、标注等处理，以得到每个特征图中每个像素所属类别的分类结果。该分类结果可包括分类得分。
该图像处理模型可以为基于像素级分类的机器学习网络结构，每例待处理图像均包括若干切片图像，每例待处理图像的平均不确定度可为该例处理图像中多个切片图像的不确定度的均值。每个切片图像的不确定度可为切片图像中所有像素不确定的均值，每个像素的不确定度可由输出的特征图中每个像素所属类别的分类结果确定。
在一实施例中，确定每例待处理图像的平均不确定度Uncertainty，可以表示为：
Figure BDA0002352736250000131
其中，n是三维待处理图像的切片总数，m是单个切片图像中像素的总数，f(s,p)是第s个切片图像中的位置p处的像素，在模型输出的C张特征图相对应位置的分类概率函数，其中，C是图像处理类别总数。
S504，基于平均不确定度，从三维图像集中确定初始图像子集。
在本申请实施例中，对平均不确定度按从大到小进行排序，从三维图像集中确定排序靠前的前k例待处理图像；将前k例待处理图像作为初始图像子集。或，比较平均不确定度和预设不确定度阈值的大小；将平均不确定度大于等于预设不确定度阈值所对应的至少一例待处理图像作为初始图像子集，记为Du。其中，k可为大于等于1的整数，其取值可以为预设固定值，也可为随机值，或者根据按预设比例调整的数值。
S506，基于初始图像子集中每例图像与已处理图像集中每例图像的相似度分析结果，从初始图像子集中确定当前批图像子集。
在本申请实施例中，终端可获取已处理图像集，计算初始图像子集Du中每例图像与已处理图像集中每例图像的相似度。按相似度数值从小到大的顺序，对每例待处理图像进行排序，从初始图像子集中确定排序靠前的前s例待处理图像，将前s例待处理图像作为当前批图像子集，记为Ds。其中，s≤k，s可为大于等于1的整数，其取值可以为预设固定值，也可为随机值，或者根据按预设比例调整的数值。
上述实施例，通过根据当前阶段的图像处理模型，确定三维图像集中每例待处理图像的平均不确定度，基于平均不确定度，从三维图像集中确定初始图像子集，再基于初始图像子集与已处理图像集中每例图像之间的相似度分析结果，再从初始图像子集中确定用于训练模型的当前批图像子集。通过结合图像处理模型对待处理图像的实际处理能力和已处理图像集所携带的信息量，利用待处理图像自身的不确定度和与已处理图像的相似度，综合筛选出携带具有更多训练信息量和多样性的图像子集，有利于提升模型性能，提高图像处理效果和准确率，且进一步减少人员工作量。
在一具体实施例中，如图6和7所示，步骤S506，基于初始图像子集中每例图像与已处理图像集中每例图像的相似度分析结果，从初始图像子集中确定当前批图像子集，可以包括：
S702，确定已处理图像集中每例已处理图像的第一特征图，以及初始图像子集中每例待处理图像的第二特征图。
终端通过当前阶段的图像处理模型中特征提取模块，分别对每例已处理图像和每例待处理图像进行处理，将上采样部分的最后一个卷积层的输出作为对应的特征图，即分别得到每例已处理图像的第一特征图、和初始图像子集Du中每例待处理图像的第二特征图。
在一具体实施例中，步骤S702，确定已处理图像集中每例已处理图像的第一特征图，以及初始图像子集中每例待处理图像的第二特征图，可以包括：
S7021，确定已处理图像集中每例已处理图像的第一全局特征图，以及初始图像子集中每例待处理图像的第二全局特征图。
其中，全局特征图是指输入至模型中的图像的全部区域所对应的特征图。
S7023，基于待处理图像区域的尺寸，确定处理任务类型。
其中，待处理图像区域表示用户或者系统设置的感兴趣处理区域。处理任务类型包括局部区域处理类型和全局区域处理类型。
根据待处理图像区域的尺寸的大小，可以确定处理任务类型。具体的，若待处理图像区域的尺寸小于等于当前处理区域的预设比例(例如50％)，则可确定处理任务类型为局部区域处理类型，否则，则确定处理任务类型为全局区域处理类型。
S7025，若确定的处理任务类型为局部区域处理类型，获取感兴趣处理区域。
具体的，获取感兴趣处理区域的属性信息，该属性信息可包括坐标位置范围、感兴趣区域的形状、轮廓线、边界等。
S7027，分别从第一全局特征图和第二全局特征图中提取感兴趣处理区域的目标外接区域。
其中，目标外接区域为涵盖所有感兴趣处理区域轮廓对应的区域，其可为轮廓外接区域，例如矩形外接区域、方形外接区域等。
获取目标外接区域的属性信息，该属性信息可包括目标形状、目标边界外扩尺寸等。该目标形状可为矩形、方形等。目标边界外扩尺寸为目标外接区域距离感兴趣处理区域的轮廓边界的外扩大小，例如目标边界外扩尺寸为0～2cm。
根据目标外接区域的属性信息和感兴趣处理区域的属性信息，分别从第一全局特征图和第二全局特征图中提取对应的目标外接区域。
S7029，将分别提取的目标外接区域分别作为第一特征图和第二特征图。
通过根据待处理图像区域的尺寸，灵活调整需要处理的感兴趣处理区域的目标外接区域，减少输入模型的数据量，提高模型训练效率，同时提高图像处理效果。
下面以图像处理模型为图像分割模型为例，具体介绍一种实施例中特征向量的具体计算步骤：
对于每例已处理图像，若输入图片记为Ii，分割网络的上采样部分的最后一个卷积层输出的第一特征图记为
Figure BDA0002352736250000151
如果确定是局部区域分割类型，则从第一特征图
Figure BDA0002352736250000152
中提取出对应的感兴趣分割区域的最小外接矩形区域作为新的第一特征图
Figure BDA0002352736250000153
以进行相似度计算；如果确定是全局区域分割类型，则直接采用输出的第一特征图
Figure BDA0002352736250000154
进行相似度计算。
相应的，对于每例待处理图像，若输入图片记为Ij，分割网络的上采样部分的最后一个卷积层输出的第二特征图记为
Figure BDA0002352736250000155
如果确定是局部区域分割类型，则从第二特征图
Figure BDA0002352736250000156
中提取出对应的感兴趣分割区域的最小外接矩形区域作为新的第二特征图
Figure BDA0002352736250000157
以进行相似度计算；如果确定是全局区域分割类型，则直接采用输出的第二特征图
Figure BDA0002352736250000158
进行相似度计算。
假设第一特征图
Figure BDA0002352736250000159
和第二特征图
Figure BDA00023527362500001510
的维度均为C*W*H，其中，C是各特征图的通道数量，W和H是各特征图的宽和高。
第一特征图
Figure BDA00023527362500001511
可以表示成U：
U＝[u1,u2,...,uc],u∈RW*H；
第二特征图
Figure BDA0002352736250000161
可以表示成V：
V＝[v1,v2,...,vc],v∈RW*H。
S704，计算每例待处理图像的第二特征图分别与所有的已处理图像的第一特征图的相似度并取均值，得到每例待处理图像与已处理图像集中各已处理图像的相似度均值。
在一实施例，终端可以计算每例待处理图像的第二特征图分别与所有已处理图像的第一特征图的向量相似度(例如余弦相似度)，并取向量相似度的均值，得到每例待处理图像与所有已处理图像的相似度均值。相似度均值越大，则表明待处理图像与已处理图像越接近，反之，则表明待处理图像与已处理图像之间的差异越大。
计算每例待分割图像的第二特征图分别与所有的已分割图像的第一特征图的向量相似度并取均值，得到每例待分割图像与已分割图像集中各已分割图像的相似度均值。
具体地，以图像处理模型为图像标注模型为例进行说明，终端依据余弦相似算法，计算初始图像子集Du中每例未标注数据与已处理图像集(记为Da)中每例已标注数据的相似度Sim(U,V)，并取平均，得到未标注数据的相似度指标Similarity。两者的余弦相似度可以定义为：
Figure BDA0002352736250000162
Figure BDA0002352736250000163
其中，A是已标注数据Da的数据总数。
S706，基于相似度均值，从三维图像集中确定当前批图像子集。
终端按相似度均值从小到大的顺序，对每例待处理图像进行排序，从初始图像子集中确定排序靠前的前s例待处理图像，将前s例待处理图像作为当前批图像子集，记为Ds。也即从三维图像集中筛选出与已处理图像差异较大的前s例作为当前批图像子集。
利用当前批图像子集所构建的训练集，训练图像处理模型直至达到当前训练阶段的训练结束条件，得到当前训练阶段的图像处理模型。若检测当前训练阶段的图像处理模型无法满足迭代结束条件，则继续确定下一批图像子集。确定下一批图像子集的步骤与上述获取当前批图像子集的步骤类似，不同之处在于：确定下一批图像子集的特征图是采用当前训练阶段的图像处理模型，也即，确定每一批图像子集所利用的图像处理模型是不同训练阶段的模型。
为了避免重复，确定下一批图像子集的步骤及其有益效果可参见上述确定当前批图像子集的步骤，在此不再赘述。
上述实施例，通过分批次的确定图像子集，利用不同批图像子集所构建的训练集来训练图像处理模型，每次所确定的图像子集的数量可以较少，通过少量多次的方式，确定图像子集和分阶段训练图像处理模型，如此可减少需要人工参与处理的图像数量，减少人工工作量，并且提高模型训练效率，进而可提高图像处理效果和准确性。
在一实施例，如图8所示，构建训练集可包括：
S802，根据确定的图像子集中每一批图像子集的批次顺序，构建每次训练不同阶段的图像处理模型所对应的训练集。
在实际应用中，所构建的训练集的数量可为至少一个。示例的，第一训练集可由第一批图像子集及对应的图像处理结果，以及已处理图像集及对应图像处理结果构建。第二训练集可包括第一训练集、第二批图像子集及对应的图像处理结果，以此类推。也即，每个下一训练集可包括当前训练集、下一批图像子集及对应的图像处理结果。
在一实施例，所述方法还包括训练图像处理模型的步骤。继续参见图6所示，训练图像处理模型可包括：
S804，获取待训练的图像处理模型。
在实际应用中，图像处理模型可为模型参数为初始值的图像处理模型，或者经过预训练的图像处理模型，或者其他经过训练但需要针对性优化的图像处理模型。
S806，基于所构建的训练集，依次对待训练的图像处理模型进行训练，直至满足训练结束条件。
在实际应用中，利用构建的不同训练集，依次对图像处理模型进行对应训练阶段的有监督训练，每次训练模型至达到收敛条件，直至最后一个训练集训练至满足训练结束条件。最终训练结束条件可为训练次数满足预设次数或预测误差满足预设阈值等收敛条件。随着图像处理模型的精度越来越高，人员的工作量大大减少，理想状态下部分数据已经不再需要修改，达到图像预测结果即图像处理结果的效果。
通过分批次确定的图像子集构建训练集，利用所构建的不同训练集来训练处于不同阶段的待训练的图像处理模型，每次所确定的图像子集的数量可以较少，通过少量多次的方式，构建训练集和分阶段训练图像处理模型，如此可减少需要人工参与处理的图像数量，减少人工工作量，并且提高模型训练效率，进而可提高图像处理效果和准确性。
下面介绍图像处理模型训练方法，如图9所示，一种图像处理模型训练方法包括：
S902，获取三维图像样本数据和当前图像处理模型，三维图像样本数据包括已处理图像样本集和待处理图像样本集，当前图像处理模型的训练样本集包括已处理图像样本集。
当前图像处理模型可为模型参数为初始值的图像处理模型，或者经过预训练的图像处理模型，或者其他经过训练但需要针对性优化的图像处理模型。初始图像处理模型可以为用于对三维图像进行诸如分割、标注、分类等处理的机器学习模型。该机器学习模型可以是神经网络模型(例如卷积神经网络等)、支持向量机、逻辑回归模型等中至少一种。已处理图像样本集中包括已处理图像样本及对应的图像处理结果。
S904，基于已处理图像样本集和待处理图像样本集中每例待处理样本图像，利用不同阶段的图像处理模型，从待处理图像样本集中确定用于训练模型的下一批待处理图像样本子集。
在模型训练阶段，利用不同阶段的图像处理模型，从待处理图像样本集中确定下一批待处理图像样本子集的步骤，与上述从三维图像集中确定至少一批图像子集的步骤类似，具体细节请参见上述实施例，在此不再赘述。
S906，利用当前图像处理模型对下一批待处理图像样本子集进行预测，得到预测样本图像处理结果。
S908，基于对预测样本图像处理结果所对应的核验结果，更新训练样本集。
具体的，可由第三方对预测样本图像处理结果进行核验，若核验结果为正确，则不对预测样本图像处理结果进行处理，若核验结果为错误，则对预测样本图像处理结果进行修正处理，以得到修正后的预测结果。将经过核验的下一批图像样本子集及对应的预测样本图像处理结果添加至训练样本集中，得到更新训练样本集。
S910，基于更新的训练样本集训练当前图像处理模型，得到更新的图像处理模型。
S912，将更新的图像处理模型作为当前图像处理模型，迭代确定下一批待处理图像子集的步骤及其后续步骤，直至满足训练结束条件。
需要说明的是，本实施例的各步骤的具体细节可参见上述实施例，在此不再赘述。
上述实施例，通过对满足训练模型条件的图像子集进行优选处理，可以基于少量的人工处理数据得到同样好的模型准确率，减少模型训练耗时。第三方仅修改当前训练阶段的图像处理模型对至少一批图像子集的预测结果，省去了对待处理图像样本集中三维图像的每个切片进行人工轮廓勾画，提升了图像处理效果，且修改后的图像处理结果添加至训练集中用于继续训练图像处理模型，不断增加困难样本的数量，能够进一步的提高图像处理结果的准确率。
为了说明本申请的上述实施例训练结束的图像处理模型的预测效果，以图像处理模型为图像分割模型为例，我们采用上述实施例训练结束的图像处理模型对脑部医学图像进行全局分割处理，对前列腺医学图像进行局部分割处理，其对应的图像分割处理结果分别如图10a和10b所示。由图10a和10b可见，应用本申请训练结束的图像处理模型对脑部医学图像和前列腺医学图像的分割效果良好，准确度高。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图11，其示出了本申请实施例提供的一种三维图像处理装置的结构框图。该装置具有实现上述方法示例中终端侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置1100可以包括：
图像集获取模块1101，用于获取待处理的三维图像集；
图像子集确定模块1102，用于根据不同阶段的图像处理模型，从所述三维图像集中确定至少一批图像子集；
构建模块1103，用于构建训练集，所述训练集包含至少一批所述图像子集及对应的图像处理结果，所述训练集用于训练图像处理模型；
图像处理模块1104，用于利用经训练的图像处理模型，确定三维图像集中图像的图像处理结果。
在一些实施例，所述图像子集的数量为多个，所述图像子集确定模块802包括：
获取携带图像处理结果的已处理图像集；
基于所述已处理图像集和所述三维图像集中每例待处理图像，根据当前阶段的图像处理模型，从所述三维图像集中确定用于训练当前阶段图像处理模型的当前批图像子集；
利用所述当前批图像子集更新所述已处理图像集，并基于更新的已处理图像集和所述三维图像集中每例待处理图像，根据经当前批图像子集训练的图像处理模型，从所述三维图像集中确定用于训练下一阶段图像处理模型的下一批图像子集；
将所述下一批图像子集作为当前批图像子集，迭代地从所述三维图像集中确定下一批图像子集，直至满足迭代结束条件。
在一些实施例，所述装置还包括：
训练模块1105，用于训练图像处理模型。
所述模型训练模块1105包括：
模型获取单元，用于获取待训练的图像处理模型；
模型训练单元，用于基于所构建的训练集，依次对所述待训练的图像处理模型进行训练，直至满足训练结束条件。
上述实施例，整个三维图像处理过程是交替进行筛选至少一批具有训练意义的图像子集、和利用筛选的图像子集训练不同训练阶段的图像处理模型，从而可根据少量的图像子集训练图像处理模型来快速迭代至达到同样的训练效果，提高模型训练效率，同时进行图像处理模型训练和三维图像处理过程，进而提高了三维图像处理效率和准确率。并且无需对所有三维图像集进行人工处理，大大减少了对大量三维图像集的人员工作量，节省人力开销。此外，随着模型训练过程的不断继续，模型预测准确性越高，需要修正的预测处理结果慢慢减少，进一步减少人员工作量。非常适用于无处理标签数据量大和有处理标签数据人工处理成本大、复杂度高、耗时长等情况。
此外，根据不同阶段的图像处理模型来确定至少一批图像子集，充分利用当前模型训练阶段的中间结果来进行图像处理建议的筛选，所确定的图像子集更具有针对性，无需额外构建和训练其他网络，减少模型训练耗时，提高图像处理效果和准确性。
请参考图12，其示出了本申请实施例提供的一种图像处理模型训练装置的结构框图。该装置具有实现上述方法示例中终侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置1200可以包括：
获取模块1201，用于获取三维图像样本数据和当前图像处理模型，所述三维图像样本数据包括已处理图像样本集和待处理图像样本集，所述当前图像处理模型的训练样本集包括所述已处理图像样本集；
样本子集确定模块1202，用于基于已处理图像样本集和所述待处理图像样本集中每例待处理样本图像，利用不同阶段的图像处理模型，从所述待处理图像样本集中确定用于训练模型的下一批待处理图像样本子集；
预测模块1203，用于利用当前图像处理模型对所述下一批待处理图像样本子集进行预测，得到预测样本图像处理结果；
更新模块1204，用于基于对所述预测样本图像处理结果所对应的核验结果，更新所述训练样本集；
训练模块1205，用于基于更新的训练样本集训练所述当前图像处理模型，得到更新的图像处理模型；
迭代模块1206，用于将更新的图像处理模型作为当前图像处理模型，迭代确定下一批待处理图像子集的步骤及其后续步骤，直至满足训练结束条件。
在一实施方式中，本申请实施例提供一种计算机可读存储介质，其上存储有少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一项所述的三维图像处理方法，和上述所述的图像处理模型训练方法的步骤。
在一实施方式中，本申请实施例提供一种计算机设备，该计算机设备可以包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的三维图像处理方法，和上述所述的图像处理模型训练方法的步骤。
如图13所示，在一些实施例中，该计算机设备可以是服务器，也可以终端或者其他设备。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种三维图像处理方法和/或图像处理模型训练方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维图像处理方法，其特征在于，包括：
获取待处理的三维图像集；
根据不同阶段的图像处理模型，从所述三维图像集中确定用于训练图像处理模型的至少一批图像子集；
构建训练集，所述训练集包含至少一批所述图像子集及对应的图像处理结果，所述训练集用于训练所述图像处理模型；
利用经训练的图像处理模型，确定所述三维图像集中图像的图像处理结果。
2.根据权利要求1所述的方法，其特征在于，所述图像子集的数量为多个，所述根据不同阶段的图像处理模型，从所述三维图像集中确定用于训练图像处理模型的至少一批图像子集，包括：
获取携带图像处理结果的已处理图像集；
基于所述已处理图像集和所述三维图像集中每例待处理图像，根据当前阶段的图像处理模型，从所述三维图像集中确定用于训练当前阶段图像处理模型的当前批图像子集；
利用所述当前批图像子集更新所述已处理图像集，并基于更新的已处理图像集和所述三维图像集中每例待处理图像，根据经当前批图像子集训练的图像处理模型，从所述三维图像集中确定用于训练下一阶段图像处理模型的下一批图像子集；
将所述下一批图像子集作为当前批图像子集，迭代地从所述三维图像集中确定下一批图像子集，直至满足迭代结束条件。
3.根据权利要求2所述的方法，其特征在于，所述基于所述已处理图像集和所述三维图像集中每例待处理图像，根据当前阶段的图像处理模型，从所述三维图像集中确定用于训练当前阶段图像处理模型的当前批图像子集，包括：
根据当前阶段的图像处理模型，确定所述三维图像集中每例待处理图像的平均不确定度；
基于所述平均不确定度，从所述三维图像集中确定初始图像子集；
基于所述初始图像子集中每例图像与已处理图像集中每例图像的相似度分析结果，从所述初始图像子集中确定所述当前批图像子集。
4.根据权利要求3所述的方法，其特征在于，所述每例待处理图像包括若干切片图像，所述根据当前阶段的图像处理模型，确定所述三维图像集中每例待处理图像的平均不确定度，包括：
利用当前阶段的图像处理模型中的特征提取模块，对所述三维图像集中每例待处理图像进行处理，确定所述三维图像集中每例待处理图像的特征图；
利用当前阶段的图像处理模型中的特征分类模块，对所确定的每例待处理图像的特征图进行处理，确定所述每例待处理图像的特征图中每个像素所属类别的分类结果；
基于属于同一切片图像的特征图中所有像素的分类结果，分别确定每例待处理图像中若干切片图像的不确定度；
基于所有的切片图像的不确定度，确定所述每例待处理图像的平均不确定度。
5.根据权利要求3所述的方法，其特征在于，所述基于所述初始图像子集中每例图像与已处理图像集中每例图像的相似度分析结果，从所述初始图像子集中确定所述当前批图像子集，包括：
确定已处理图像集中每例已处理图像的第一特征图，以及所述初始图像子集中每例待处理图像的第二特征图；
计算每例待处理图像的第二特征图分别与所有的已处理图像的第一特征图的相似度并取均值，得到每例待处理图像与已处理图像集中各已处理图像的相似度均值；
基于所述相似度均值，从所述初始图像子集中确定所述当前批图像子集。
6.根据权利要求5所述的方法，其特征在于，所述确定所述已处理图像集中每例已处理图像的第一特征图，以及所述初始图像子集中每例待处理图像的第二特征图，包括：
确定所述已处理图像集中每例已处理图像的第一全局特征图，以及所述初始图像子集中每例待处理图像的第二全局特征图；
基于待处理图像区域的尺寸，确定处理任务类型；
若确定的处理任务类型为局部区域处理类型，获取感兴趣处理区域；
分别从所述第一全局特征图和所述第二全局特征图中提取所述感兴趣处理区域的目标外接区域；
将分别提取的目标外接区域分别作为所述第一特征图和所述第二特征图。
7.根据权利要求1-6任一所述的方法，其特征在于，所述构建训练集包括：
根据确定的图像子集中每一批图像子集的批次顺序，构建每次训练不同阶段的图像处理模型所对应的训练集；
所述方法还包括训练图像处理模型的步骤，所述训练图像处理模型包括：
获取待训练的图像处理模型；
基于所构建的训练集，依次对所述待训练的图像处理模型进行训练，直至满足训练结束条件。
8.根据权利要求1-6任一所述的方法，其特征在于，所述获取携带图像处理结果的已处理图像集包括：
获取初始三维图像数据；
获取针对所述初始三维图像数据的人工处理结果，或者，获取利用初始图像处理模型对所述初始三维图像数据进行预测所得到的预测处理结果；
获取对所述人工处理结果或所述预测处理结果进行抽样复核，得到的初始三维图像数据对应的复核处理结果；
基于所述复核处理结果和对应的初始三维图像数据，获得所述携带图像处理结果的已处理图像集。
9.一种图像处理模型训练方法，其特征在于，包括：
获取三维图像样本数据和当前图像处理模型，所述三维图像样本数据包括已处理图像样本集和待处理图像样本集，所述当前图像处理模型的训练样本集包括所述已处理图像样本集；
基于已处理图像样本集和所述待处理图像样本集中每例待处理样本图像，利用不同阶段的图像处理模型，从所述待处理图像样本集中确定用于训练模型的下一批待处理图像样本子集；
利用当前图像处理模型对所述下一批待处理图像样本子集进行预测，得到预测样本图像处理结果；
基于对所述预测样本图像处理结果所对应的核验结果，更新所述训练样本集；
基于更新的训练样本集训练所述当前图像处理模型，得到更新的图像处理模型；
将更新的图像处理模型作为当前图像处理模型，迭代确定下一批待处理图像子集的步骤及其后续步骤，直至满足训练结束条件。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的三维图像处理方法，或者权利要求9所述的图像处理模型训练方法。
CN201911422683.9A 2019-12-31 2019-12-31 三维图像处理方法、图像处理模型训练方法及介质 Active CN111209946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911422683.9A CN111209946B (zh) 2019-12-31 2019-12-31 三维图像处理方法、图像处理模型训练方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911422683.9A CN111209946B (zh) 2019-12-31 2019-12-31 三维图像处理方法、图像处理模型训练方法及介质

Publications (2)

Publication Number Publication Date
CN111209946A true CN111209946A (zh) 2020-05-29
CN111209946B CN111209946B (zh) 2024-04-30

Family

ID=70786537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911422683.9A Active CN111209946B (zh) 2019-12-31 2019-12-31 三维图像处理方法、图像处理模型训练方法及介质

Country Status (1)

Country Link
CN (1) CN111209946B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053468A (zh) * 2021-05-31 2021-06-29 之江实验室 一种融合患者画像信息的药物新适应症发现方法及系统
CN113409280A (zh) * 2021-06-24 2021-09-17 青岛海信医疗设备股份有限公司 医学影像的处理方法、标注方法和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN103577707A (zh) * 2013-11-15 2014-02-12 上海交通大学 一种利用多模式融合推理的机器人故障诊断方法
US20140112525A1 (en) * 2007-06-01 2014-04-24 Advanced Track And Trace Document securization method and a document securization device using printing a distribution of dots on said document
CN107274105A (zh) * 2017-06-28 2017-10-20 山东大学 基于线性判别分析的多属性决策树电网稳定裕度评估方法
CN107807918A (zh) * 2017-10-20 2018-03-16 传神联合（北京）信息技术有限公司 泰语词语识别的方法及装置
CN108304936A (zh) * 2017-07-12 2018-07-20 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
CN108665158A (zh) * 2018-05-08 2018-10-16 阿里巴巴集团控股有限公司 一种训练风控模型的方法、装置及设备
CN108875768A (zh) * 2018-01-23 2018-11-23 北京迈格威科技有限公司 数据标注方法、装置和系统及存储介质
CN109087315A (zh) * 2018-08-22 2018-12-25 中国科学院电子学研究所 一种基于卷积神经网络的图像识别定位方法
US20190065908A1 (en) * 2017-08-31 2019-02-28 Mitsubishi Electric Research Laboratories, Inc. Localization-Aware Active Learning for Object Detection
CN109740601A (zh) * 2019-01-04 2019-05-10 北京奇艺世纪科技有限公司 一种压印类型识别方法及装置
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140112525A1 (en) * 2007-06-01 2014-04-24 Advanced Track And Trace Document securization method and a document securization device using printing a distribution of dots on said document
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN103577707A (zh) * 2013-11-15 2014-02-12 上海交通大学 一种利用多模式融合推理的机器人故障诊断方法
CN107274105A (zh) * 2017-06-28 2017-10-20 山东大学 基于线性判别分析的多属性决策树电网稳定裕度评估方法
CN108304936A (zh) * 2017-07-12 2018-07-20 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
US20190065908A1 (en) * 2017-08-31 2019-02-28 Mitsubishi Electric Research Laboratories, Inc. Localization-Aware Active Learning for Object Detection
CN107807918A (zh) * 2017-10-20 2018-03-16 传神联合（北京）信息技术有限公司 泰语词语识别的方法及装置
CN108875768A (zh) * 2018-01-23 2018-11-23 北京迈格威科技有限公司 数据标注方法、装置和系统及存储介质
CN108665158A (zh) * 2018-05-08 2018-10-16 阿里巴巴集团控股有限公司 一种训练风控模型的方法、装置及设备
CN109087315A (zh) * 2018-08-22 2018-12-25 中国科学院电子学研究所 一种基于卷积神经网络的图像识别定位方法
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN109740601A (zh) * 2019-01-04 2019-05-10 北京奇艺世纪科技有限公司 一种压印类型识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRANCOIS SANSON 等: "Quantifying uncertainties in signal position in non-resolved object images: Application to space object observation", 《ADVANCES IN SPACE RESEARCH》, vol. 63, no. 8, 30 April 2019 (2019-04-30), pages 2436 - 2454 *
娄康: "基于决策树的目标检测研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2018, no. 11, 15 November 2018 (2018-11-15), pages 138 - 458 *
梁金平 等: "变流器故障特征提取与维数约简方法研究", 《计算机工程》, vol. 41, no. 12, 31 December 2015 (2015-12-31), pages 280 - 287 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053468A (zh) * 2021-05-31 2021-06-29 之江实验室 一种融合患者画像信息的药物新适应症发现方法及系统
CN113409280A (zh) * 2021-06-24 2021-09-17 青岛海信医疗设备股份有限公司 医学影像的处理方法、标注方法和电子设备

Also Published As

Publication number Publication date
CN111209946B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
CN110060263B (zh) 医学图像的分割方法、分割装置、分割系统及计算机可读介质
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
US11929174B2 (en) Machine learning method and apparatus, program, learned model, and discrimination apparatus using multilayer neural network
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
US20230104173A1 (en) Method and system for determining blood vessel information in an image
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111951280B (zh) 图像分割方法、装置、设备及存储介质
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN114298234B (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
Yang et al. A multiorgan segmentation model for CT volumes via full convolution-deconvolution network
CN113256592A (zh) 图像特征提取模型的训练方法、系统及装置
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114972026A (zh) 图像处理方法和存储介质
CN111275720B (zh) 一种基于深度学习的全端到端小器官图像识别方法
CN117115187B (zh) 颈动脉壁分割方法、装置、计算机设备和存储介质
CN116630628B (zh) 一种主动脉瓣钙化分割方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant