CN115115828A - 数据处理方法、装置、程序产品、计算机设备和介质 - Google Patents

数据处理方法、装置、程序产品、计算机设备和介质 Download PDF

Info

Publication number
CN115115828A
CN115115828A CN202210466331.9A CN202210466331A CN115115828A CN 115115828 A CN115115828 A CN 115115828A CN 202210466331 A CN202210466331 A CN 202210466331A CN 115115828 A CN115115828 A CN 115115828A
Authority
CN
China
Prior art keywords
pixel
prediction
image
pixel point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210466331.9A
Other languages
English (en)
Inventor
徐哲
卢东焕
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN202210466331.9A priority Critical patent/CN115115828A/zh
Publication of CN115115828A publication Critical patent/CN115115828A/zh
Priority to PCT/CN2023/081603 priority patent/WO2023207389A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种数据处理方法、装置、程序产品、计算机设备和介质,该方法包括:获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;调用预测网络生成第一图像中像素点的第一预测像素信息;调用预测网络生成第二图像中像素点的第二预测像素信息;通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化。采用本申请,可提高训练得到的预测网络的准确性。

Description

数据处理方法、装置、程序产品、计算机设备和介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、程序产品、计算机设备和介质。
背景技术
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
现有应用中,在对模型进行机器学习时,往往需要大量的样本数据,而该大量的样本数据往往具有样本质量上的差异,因此,如何通过质量不一的样本数据对模型进行更为准确的训练成为了一个亟待解决的问题。
发明内容
本申请提供了一种数据处理方法、装置、程序产品、计算机设备和介质,可以提高训练得到的预测网络的准确性,后续也可以通过训练得到的预测网络对图像中的特征区域进行准确分割。
本申请一方面提供了一种数据处理方法,该方法包括:
获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;
调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;
通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;
根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。
本申请一方面提供了一种数据处理装置,该装置包括:
获取模块,用于获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
第一调用模块,用于调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;
第二调用模块,用于调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;
分类模块,用于通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;
优化模块,用于根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。
本申请一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面中的方法。
本申请一方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时使该处理器执行上述一方面中的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请可以获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。由此可见,本申请提出的方法可以通过辅助网络对第二图像中的像素点进行分类(如标记正确或者标记错误的分类),后续可以通过辅助网络对第二图像中各像素点的分类结果来对预测网络或辅助网络进行参数优化,这可以提升对预测网络进行参数优化的准确性,后续通过参数优化后的预测网络也可以准确地对图像中的特征区域进行分割。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种网络架构的结构示意图;
图2是本申请提供的一种模型训练的场景示意图;
图3是本申请提供的一种数据处理方法的流程示意图;
图4是本申请提供的一种网络训练的场景示意图;
图5是本申请提供的一种确定分类预测结果的流程示意图;
图6是本申请提供的一种确定分类结果的场景示意图;
图7是本申请提供的一种确定预测差异的流程示意图;
图8是本申请提供的一种模型训练的场景示意图;
图9是本申请提供的一种数据处理装置的结构示意图;
图10是本申请提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请涉及到人工智能相关技术。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请中主要涉及到了人工智能中的机器学习。其中,机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请中所涉及到的机器学习主要指,如何训练得到预测网络,后续以通过训练得到的预测网络对图像中的特征区域进行准确分割,具体可以参见下述图3对应的实施例中的描述。
请参见图1,图1是本申请提供的一种网络架构的结构示意图。如图1所示,网络架构可以包括服务器200和终端设备集群,终端设备集群可以包括一个或者多个终端设备,这里将不对终端设备的数量进行限制。如图1所示,多个终端设备具体可以包括终端设备100a、终端设备101a、终端设备102a、…、终端设备103a;如图1所示,终端设备100a、终端设备101a、终端设备102a、…、终端设备103a均可以与服务器200进行网络连接,以便于每个终端设备可以通过网络连接与服务器200之间进行数据交互。
如图1所示的服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等智能终端。下面以终端设备100a与服务器200之间的通信为例,进行本申请实施例的具体描述。
请参见图2,图2是本申请提供的一种模型训练的场景示意图。如图2所示,服务器200可以用于对学生模型进行训练,该过程可以是:服务器200可以获取到用于模型训练的样本数据,该样本数据可以包括专家标注的少量样本以及非专家标注的大量样本,任一样本数据可以是图像数据,任一图像数据可以包含若干的像素点,任一图像数据中任一个像素点都具有一个标记信息,任一样本数据都可以包含目标对象,任一像素点的标记信息用于指示该像素点是否属于所在图像中的目标对象,可以将图像中目标对象所在的图像区域称之为是特征区域。服务器200可以将专家标注的样本数据和非专家标注的样本数据输入学生模型,并将非专家标注的样本数据输入教师模型。
其中,学生模型可以生成专家标注的样本数据中各个像素点的掩码,并基于该掩码生成用于判别专家标注的样本数据中各个像素点是否属于目标对象的预测像素信息,学生模型还可以生成非专家标注的样本数据中各个像素点的掩码,并基于该掩码生成用于判别非专家标注的样本数据中各个像素点是否属于目标对象的预测像素信息。
更多的,教师模型则是可以生成非专家标注的样本数据中各个像素点的掩码,进而基于该掩码获取非专家标注的样本数据中各个像素点与目标原型/背景原型之间的特征距离,该目标原型可以用于表示样本数据中目标对象的特征,该背景原型可以用于表示样本数据中目标对象的背景图像的特征,进而教师模型可以根据该特征距离以及非专家标注的样本数据中各个像素点的标记信息,来判断非专家标注的样本数据中各个像素点的标记信息是正确标记的还是错误标记的,并将判断结果给到学生模型。
接着,学生模型即可根据教师模型的判断结果(即所判断的非专家标注的样本数据中正确标注的像素点和错误标记的像素点)以及针对样本数据的预测像素信息(包括针对专家标注的样本数据中各个像素点的预测像素信息、及针对非专家标注的样本数据中各个像素点的预测像素信息)生成预测偏差,并基于该预测偏差修正学生模型的网络参数,得到训练好的学生模型。
后续,服务器200可以利用训练好的学生模型对图像中的目标对象进行分割,服务器200可以将分割的结果给到终端设备100a,终端设备100a可以在终端界面显示该分割的结果,给到相关技术人员进行分析。
其中,上述专家标注的样本数据可以是下述第一图像,非专家标注的样本数据可以是下述第二图像,上述掩码可以是下述掩码区域,学生模型可以是下述预测网络,教师网络可以是下述辅助网络,学生模型针对样本数据中各像素点的预测像素信息可以包含于下述第一预测像素信息和第二预测像素信息,上述目标原型可以下述目标中心特征,上述背景原型可以是下述背景中心特征,因此,如何通过教师模型对学生模型进行训练的具体过程可以参见下述图3及图5对应实施例中的描述。
采用本申请提供的方法,通过教师模型基于目标对象的目标原型和背景原型来对非专家标注的样本数据中各个像素点的标记信息是正确标注的还是错误标注的进行判断,继而基于判断结果使得学生模型对非专家标注的样本数据中的像素点进行区别训练,并通过专家标注的样本数据对学生模型进行监督训练,以提升对学生模型的训练准确性,进而可以训练得到准确的学生模型。
请参见图3,图3是本申请提供的一种数据处理方法的流程示意图。本申请实施例中的执行主体可以是一个计算机设备或者多个计算机设备所构成的计算机设备集群。该计算机设备可以是服务器,也可以终端设备。下述,将本申请实施例中的执行主体统称为计算机设备为例进行说明。如图3所示,该方法可以包括:
步骤S101,获取具有第一特征区域的第一图像和具有第二特征区域的第二图像。
可选的,计算机设备可以获取到第一图像和第二图像,第一图像和第二图像的数量根据实际应用场景确定,对此不作限制,该第一图像和第二图像是用于对预测网络进行训练的样本数据。
其中,第一图像和第二图像均可以包含目标对象,该目标对象可以是任意需要从图像数据中进行分割的对象,该目标对象可以根据实际应用场景确定。本申请所提供的方法可以应用在任意的图像分割场景,该图像分割场景可以是二维的分割场景,也可以是三维的分割场景。第一图像中目标对象的显示形态(如对象类别不同,或者对象类别相同但姿势不同,或者对象所在环境不同等等)和第二图像中目标对象的显示形态可以是不同的。例如,目标对象可以是左心室,第一图像和第二图像都可以包含左心室的图像,但是第一图像包含的左心室的图像和第二图像包含的左心室的图像可以是不一样的。
其中,可以将图像中目标对象所在的图像区域称之为是特征区域,进一步的,可以将第一图像中目标对象所在的图像区域称之为是第一特征区域,可以将第二图像中目标对象所在的图像区域称之为是第二特征区域。
第一图像和第二图像均可以包含若干个像素点。
例如,若本申请所提供的方法应用在二维图像分割场景,则第一图像和第二图像可以是二维图像,第一图像和第二图像中的像素点可以是二维的,目标对象可以是需要从二维的图像中进行分割的任意对象,该对象具体可以根据实际应用场景确定,该目标对象可以是各个局部的结构特征高度相关或者相似的对象,例如目标对象可以是二维的图像中整体的纹理结构特征都比较相似的植物等。
再例如,若本申请所提供的方法应用在三维图像分割场景,则第一图像和第二图像可以是三维图像,第一图像和第二图像中的像素点可以是三维的(此时第一图像和第二图像中的像素点也可以称为体素),目标对象可以是需要从三维的图像中进行分割的任意对象,该对象具体也可以根据实际应用场景确定,例如本申请可以应用于医学图像分割场景,目标对象可以是各个局部的结构特征比较相关或者相似的对象,如目标对象可以是三维图像数据中需要分割的人体器官(可以称为部位),如该器官(部位)可以是左心室等任意器官。
更多的,可以将为上述第一图像设置的监督数据称之为是第一监督数据,该第一监督数据用于指示第一图像中各个像素点是否属于第一特征区域中的像素点,换句话说,该第一监督数据用于指示第一图像中各个像素点是否属于目标对象。该第一监督数据可以包括:第一图像中各个像素点的标记信息。其中,第一图像中各个像素点的标记信息用于分别指示该各个像素点是属于第一图像中的目标对象的,还是属于第一图像中目标对象的背景图像的。换句话说,第一图像中各个像素点的标记信息用于指示该各个像素点是属于第一特征区域的像素点,还是属于第一图像中除第一特征区域之外的区域(即第一图像中目标对象的背景图像的区域)中的像素点。第一图像中目标对象的背景图像也可以称之为是第一图像中第一特征区域的背景图像。
同理,可以将为上述第二图像设置的监督数据称之为是第二监督数据,该第二监督数据用于指示第二图像中各个像素点是否属于第二特征区域中的像素点,换句话说,该第二监督数据用于指示第二图像中各个像素点是否属于目标对象。该第二监督数据可以包括:第二图像中各个像素点的标记信息。其中,第二图像中各个像素点的标记信息用于分别指示该各个像素点是属于第二图像中的目标对象的,还是属于第二图像中目标对象的背景图像的。换句话说,第二图像中各个像素点的标记信息用于指示该各个像素点是属于第二特征区域的像素点,还是属于第二图像中除第二特征区域之外的区域(即第二图像中目标对象的背景图像的区域)中的像素点。第二图像中目标对象的背景图像也可以称之为是第二图像中第二特征区域的背景图像。
换句话说,任一个像素点具有的标记信息用于指示该像素点在所在图像中与目标对象之间的所属关系,该所属关系可以是该像素点属于目标对象的关系(即该像素点属于图像中目标对象的图像所包含的像素点),或者该所属关系可以是该像素点不属于目标对象的关系(即该像素点不属于所在图像中目标对象的图像所包含的像素点)。
需要进行说明的是,上述第一图像可以是高质量标注的样本数据,上述第二图像可以是低质量标注的样本数据,这可以体现在,为第一图像设置的第一监督数据的准确性(即第一图像中各个像素点的标记信息的准确性)高于为第二图像设置的第二监督数据的准确性(即第二图像中各个像素点的标记信息的准确性),该准确性是通常主观意义上的准确性。例如,第一图像可以是由专家进行标记的样本数据,即第一图像的第一监督数据可以是由技术领域中的专业人员进行标记的;而第二图像可以是由非专家进行标记的样本数据,即第二图像的第二监督数据可以是由非技术领域中的人员(如外包人员或者网友等)进行标记的。
举个例子,若将本申请提供的方法应用在医学分割场景,则第一图像和第二图像可以是包含需要分割的器官的图像数据,第一图像中像素点的标记信息可以是由医学领域的专业人员进行标记的,第二图像中像素点的标记信息可以是由业余人员进行标记的,因此,通常第一图像中像素点的标记信息的准确性会高于第二图像中像素点的标记信息。
并且,需要进行说明的是,获取大量高质量标注样本(如第一图像)的成本非常大,尤其是在专家知识依赖的医学影像领域其难度更大,因此,为了节省获取样本的成本,本申请中第一图像可以是少量的,第二图像可以是大量的,本申请可以有效地利用少量的高质量标注数据(如第一图像)和大量的低质量标注数据(如第二图像)来准确地训练模型(如预测网络)。
可选的,像素点的标记信息(如第一图像中像素点的标记信息或第二图像中像素点的标记信息)可以记为0或者1,若一个像素点的标记信息是0,则表明该像素点不属于所在图像中的目标对象,反之,若一个像素点的标记信息是1,则表明该像素点属于所在图像中的目标对象。
例如,若第一图像中某个像素点的标记信息是0,则可以表明该像素点不属于第一图像中第一特征区域的像素点,反之,若第一图像中某个像素点的标记信息是1,则可以表明该像素点属于第一图像中第一特征区域的像素点。
再例如,若第二图像中某个像素点的标记信息是0,则可以表明该像素点不属于第二图像中第二特征区域的像素点,反之,若第二图像中某个像素点的标记信息是1,则可以表明该像素点属于第二图像中第二特征区域的像素点。
步骤S102,调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息。
可选的,计算机设备可以调用预测网络对第一图像进行预测,即预测第一图像中每个像素点分别与目标对象之间的所属关系,可以将预测网络所预测的针对第一图像中各个像素点的预测结果称之为是第一预测结果。该第一预测结果包括:用于判别第一图像中各个像素点是否属于第一特征区域的像素点的第一预测像素信息,该第一预测像素信息可以包括针对第一图像中各个像素点的预测像素信息。第一预测像素信息中任一个像素点的预测像素信息可以包括:所预测的该像素点属于第一图像中目标对象的概率(可以称为目标概率)、及所预测的该像素点不属于第二图像中的目标对象(即属于第二图像中目标对象的背景图像)的概率(可以称为背景概率),第一图像中任一个像素点对应的目标概率和背景概率之和可以为1。
其中,通过预测网络生成第一图像的第一预测像素信息的过程可以包括:计算机设备可以调用预测网络生成第一图像中每个像素点在第一图像中的掩码区域,其中,像素点的掩码区域可以是指用于选取该像素点的主要特征的区域。
进而计算机设备可以调用预测网络根据第一图像中各个像素点在对应掩码区域内的特征,分别预测第一图像中各个像素点属于目标对象的目标概率,以及不属于目标对象的背景概率,以此得到第一图像中每个像素点的预测像素信息,第一图像中任一个像素点的预测像素信息就包括该像素点属于目标对象的目标概率(如该像素点的掩码区域内的图像特征是属于目标对象的特征的概率)以及该像素点不属于目标对象而是属于目标对象的背景图像的背景概率(如该像素点的掩码区域内的图像特征是属于目标对象的背景图像的特征的概率)。
综上,上述第一图像中各个像素点的预测像素信息即可构成上述第一预测像素信息。
步骤S103,调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息。
同理,计算机设备可以调用预测网络对第二图像进行预测,即预测第二图像中每个像素点分别与目标对象之间的所属关系,可以将预测网络所预测的针对第二图像中各个像素点的预测结果称之为是第二预测结果。该第二预测结果包括:用于判别第二图像中各个像素点是否属于第二特征区域的像素点的第二预测像素信息,该第二预测像素信息可以包括针对第二图像中各个像素点的预测像素信息。第二预测像素信息中任一个像素点的预测像素信息可以包括:所预测的该像素点属于第二图像中目标对象的目标概率、及所预测的该像素点不属于第二图像中的目标对象(即属于第二图像中目标对象的背景图像)的背景概率,第二图像中任一个像素点对应的目标概率和背景概率之和可以为1。
其中,通过预测网络生成第二图像的第二预测像素信息的过程可以包括:计算机设备可以调用预测网络生成第二图像中每个像素点在第二图像中的掩码区域,其中,像素点的掩码区域可以是指用于选取该像素点的主要特征的区域。
进而计算机设备可以调用预测网络根据第二图像中各个像素点在对应掩码区域内的特征,分别预测第二图像中各个像素点属于目标对象的目标概率,以及不属于目标对象的背景概率,以此得到第二图像中每个像素点的预测像素信息,第二图像中任一个像素点的预测像素信息就包括该像素点属于目标对象的目标概率(如该像素点的掩码区域内的图像特征是属于目标对象的特征的概率)以及该像素点不属于目标对象而是属于目标对象的背景图像的背景概率(如该像素点的掩码区域内的图像特征是属于目标对象的背景图像的特征的概率)。
上述第二图像中各个像素点的预测像素信息即可构成上述第二预测像素信息。
其中,上述预测网络预测第一图像或者第二图像中的像素点的预测像素信息的过程与下述辅助网络预测第二图像中的像素点的预测像素信息的过程相同。
步骤S104,通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点。
可选的,本申请实施例中可以通过辅助网络来判断第二图像中哪些像素点是正确标记(即具有准确的标记信息)的以及哪些像素点是错误标记(即具有不准确的标记信息)的,进而让预测网络对第二图像中正确标记的像素点以及错误标记的像素点进行区别训练,具体可以参见下述内容描述。
更多的,可以将通过辅助网络所预测出的第二图像中具有正确标记的像素点称之为是第一分类的像素点,该第一分类的像素点就包括通过辅助网络所预测出的第二图像中具有正确标记的像素点。同理,可以将通过辅助网络所预测出的第二图像中具有错误标记的像素点称之为是第二分类的像素点,该第二分类的像素点就包括通过辅助网络所预测出的第二图像中具有错误标记的像素点。
其中,辅助网络预测第二图像中各个像素点是正确标记的还是错误标记的过程可以包括:
计算机设备可以调用辅助网络根据第二图像生成第二特征区域的区域中心特征(可以理解为是第二图像中目标对象的对象中心特征)以及第二图像中各个像素点的像素特征。
其中,该区域中心特征可以包括第二特征区域的目标中心特征以及第二特征区域的背景中心特征。该目标中心特征用于表征第二图像中目标对象的结构特征(也就是第二图像中第二特征区域内的图像的结构特征,如第二图像中目标对象的纹理结构、色彩结构以及边缘结构等特征),换句话说,该目标中心特征可以用于表示第二图像中目标对象的特征。该背景中心特征用于表征第二图像中目标对象的背景图像的结构特征(即第二图像中第二特征区域的背景图像的结构特征,如第二图像中目标对象的背景图像的纹理结构、色彩结构以及边缘结构等特征),换句话说,该背景中心特征可以用于表示第二图像中目标对象的背景图像的特征。
其中,上述目标对象的目标中心特征是综合了所预测的第二图像中属于目标对象的像素点的像素特征得到,上述目标对象的背景中心特征是综合了所预测的第二图像中属于目标对象的背景图像的像素点的像素特征得到;上述辅助网络所生成的第二图像中各个像素点的像素特征,可以是辅助网络中所生成的比较准确(可以根据实验经验判定)的第二图像中各个像素点的中间特征,辅助网络所生成的第二图像中任一个像素点的像素特征可以用于表示该像素点的结构特征。第二图像中各个像素点的像素特征以及第二特征区域的区域中心特征(包括目标中心特征和背景中心特征)的具体生成过程还可以参见下述图5对应实施例中的描述。
进而,计算机设备就可以通过上述生成的区域中心特征、第二图像中各个像素点的像素特征以及第二图像中各个像素点的标记信息,来得到针对第二图像中的像素点的分类预测结果,该分类预测结果用于指示在第二图像上属于第一分类的像素点(即正确标记的像素点)、以及属于第二分类的像素点(即错误标记的像素点)。
其中,通过区域中心特征、第二图像中各个像素点的像素特征以及第二图像中各个像素点的标记信息,得到针对第二图像中的像素点的分类预测结果的具体过程也可以参见下述图5对应实施例中的描述。
通过上述可以知道的是,通过辅助网络可以将第二图像中的像素点分为两类,一类是第一分类的像素点,一类是第二分类的像素点。其中,第一分类的像素点包括辅助网络所预测得到的第二图像中具有准确的标记信息(即正确标记)的像素点,第二分类的像素点包括辅助网络所预测得到的第二图像中不具有准确的标记信息(即错误标记)的像素点。
此外,需要进行说明的是,本申请可以通过若干第一图像和若干第二图像不断对预测网络进行迭代训练,对预测网络进行迭代训练的过程中,辅助网络的网络参数也会通过预测网络所更新(即优化)的网络参数进行迭代更新。其中,通过预测网络迭代更新(即迭代优化)后的网络参数对辅助网络的网络参数进行迭代更新的具体原理可以参见下述步骤S105中的描述。
步骤S105,根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。
可选的,计算机设备可以根据上述第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,生成预测网络对像素点(包括第一图像中的像素点和第二图像中的像素点)的预测像素信息最终的预测偏差(可以称为预测差异),该预测差异用于表示预测网络所预测的对像素点的预测像素信息与像素点的标记信息之间的偏差,该预测差异又可以理解为是预测网络的预测损失。
其中,生成预测网络对像素点的预测像素信息的预测差异的具体过程可以参见下述图8对应实施例中的相关描述。
计算机设备可以根据上述预测差异进行网络参数优化,该网络参数优化就包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或者两种的组合。
其中,由于可以对预测网络不断进行迭代更新(即对预测网络的网络参数进行迭代优化),因此,对预测网络的每一次迭代更新都会通过上述过程生成对应的预测差异,通过预测网络每次迭代训练过程中所产生的预测差异不断对预测网络的网络参数进行迭代更新(即迭代修正或优化),直到对预测网络的网络参数更新完成,即可得到训练好的预测网络(可以称之为是参数优化后的预测网络),该训练好的预测网络就包括修正完成(即优化完成)的网络参数。
可选的,对预测网络的网络参数更新完成,可以是指对预测网络的网络参数更新至收敛状态,或者,是指对预测网络的网络参数迭代更新的次数(即迭代训练次数)达到某个次数阈值,该次数阈值可以根据实际应用场景进行设置。
请参见图4,图4是本申请提供的一种网络训练的场景示意图。如图4所示,第一图像中包含多个像素点,第一图像具有第一监督数据,第一监督数据中包括第一图像中每个像素点的标记信息;同理,第二图像中也包含多个像素点,第二图像具有第二监督数据,第二监督数据中包括第二图像中每个像素点的标记信息。
计算机设备可以调用辅助网络生成针对第二图像中各个像素点的分类预测结果,该分类预测结果包括第二图像中各像素点的分类结果,第二图像中任一个像素点的分类结果就指示了该像素点的标记信息是正确标记的还是错误标记的,即该像素点是属于第一分类的像素点还是属于第二分类的像素点。
因此,可以将第二图像中正确标记的像素点作为第一分类的像素点,将第二图像中错误标记的像素点作为第二分类的像素点。因此,预测网络可以对第一图像中的像素点、第二图像中第一分类的像素点以及第二图像中第二分类的像素点进行区别训练,进而得到训练好的预测网络。并且,在对预测网络进行训练过程中,也会将预测网络的网络参数传递给辅助网络,使得在对预测网络进行训练过程中,不断进行参数优化的辅助网络也可以对第二图像中各个像素点的分类结果进行更准确的判定,通过对第二图像中各个像素点的分类结果进行更准确的判定也可以实现对预测网络更准确的训练。
通过上述可以知道,在对预测网络的网络参数进行迭代优化的过程中,也会通过预测网络的网络参数来迭代更新辅助网络的网络参数,预测网络可以理解为是学生网络(即学生模型),辅助网络可以理解为是老师网络(即老师模型)。本申请可以采用类似均值教师(Mean-Teacher,MT)架构的设计来通过预测网络的网络参数更新辅助网络的网络参数,因为MT的权重平均的自集成策略可以有效提高中间特征表示和最终预测的稳定性和平滑度,这非常适合基于特征原型(上述目标中心特征可以表征目标对象的特征原型)的标注分离策略(即区分第二图像中各个像素点的标记信息是正确标记还是错误标记),因为这能够得到更高稳定和平滑的特征空间(如由第二图像中各个像素点的像素特征构成的特征空间),该过程可以如下述公式(1)所示:
Figure BDA0003624287200000151
其中,t和t-1均表示对预测网络的迭代训练次数(也可以理解为是对辅助网络的网络参数进行迭代优化的次数),t表示第t次迭代训练,t-1表示第t-1次迭代训练。
Figure BDA0003624287200000152
表示辅助网络在第t次迭代训练后的网络参数,
Figure BDA0003624287200000153
表示辅助网络在第t-1次迭代训练后的网络参数,θt表示预测网络在第t次迭代训练后的网络参数。
更多的,α表示EMA(指数移动平均)衰减率,α可以设置为0.99,通过采用指数移动平均的衰减率,可以使得特征和网络的预测结果可以在相邻的迭代训练过程中平滑,从而有利于目标对象的特征原型(如目标中心特征)生成,以实现鲁棒的标注分离。
通过上述过程,可以理解的是,在预测网络的网络参数不断进行迭代更新的过程中,也可以通过预测网络每次迭代更新后的网络参数迭代更新辅助网络的网络参数,使得可以将预测网络从第一图像和第二图像中学习到的特征传递给辅助网络,进而通过辅助网络也可以在每次迭代训练过程中对第二图像中的像素点的分类结果进行更准确的判别。
本申请中,训练好的预测网络可以用于对图像数据中的目标对象进行分割,如通过训练好的预测网络可以识别出图像中属于目标对象的像素点,通过识别出的属于目标对象的像素点,可以从图像中分割出目标对象所在的图像区域(即特征区域)。
举个例子,计算机设备可以获取到目标图像,目标图像可以包括目标对象,可以将目标图像中目标对象所在的图像区域称之为是目标特征区域,目标图像可以是任意需要进行目标对象的分割的图像。
因此,计算机设备可以调用训练好的预测网络(即参数优化后的预测网络)对目标图像进行预测,即预测目标图像中每个像素点与目标对象之间的所属关系,得到目标图像的目标预测结果。
该目标预测结果包括:用于判别目标图像的各个像素点是否属于目标特征区域的像素点的目标预测像素信息,该目标预测像素信息就包括目标图像中各个像素点的预测像素信息。目标图像中任一个像素点的预测像素信息可以包括该像素点属于目标图像中的目标对象的目标概率以及该像素点不属于目标图像中的目标对象的背景概率,该背景概率即为该像素点属于目标图像中目标对象的背景图像的概率。
因此,计算机设备可以将目标图像中对应的目标概率大于背景概率的像素点,作为识别出来的属于目标对象的像素点(即识别出来的属于目标特征区域的像素点),因此,可以将识别出来的属于目标对象的像素点从目标图像中分割出来,即实现了对目标图像中目标对象的分割,也就实现了在目标图像中对目标特征区域的图像的分割。
其中,在一些场景下,高质量的标注数据(如第一图像)比较难获取,通常需要专家来标注,而低质量的标注数据(如第二图像)则是比较容易获取,因此,高质量的标注数据的数量就非常少,而低质量的标注数据就非常多,因此,采用本申请所提供的方法就可以解决在此种场景下模型(网络)训练不准确的问题,采用本申请所提供的方法可以在少量的高质量标注数据以及大量的低质量标注数据所构成的混合样本中对样本进行分离学习,进而准确地学习到样本准确的特征,进而训练得到准确的模型(如预测网络)。
本申请中,由于同一类分割区域(即目标对象这一类对象所在的区域)往往具有高度相关的结构特征,因此,通过目标对象的特征原型(如目标中心特征)可以对低质量的第二图像中的像素点的分类结果进行准确判定,后续通过第二图像中不同分类的像素点对预测网络进行区别训练,并结合上高质量的第一图像作为监督训练的数据,一起训练预测网络,可以提升对预测网络的训练效果,进而训练得到更为准确的预测网络,通过所训练的准确的预测网络也可以实现对图像中的目标对象的准确分割。
本申请可以获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。由此可见,本申请提出的方法可以通过辅助网络对第二图像中的像素点进行分类,后续可以通过辅助网络对第二图像中各像素点的分类结果来对预测网络或辅助网络进行参数优化,这可以提升对预测网络进行参数优化的准确性,后续通过参数优化后的预测网络也可以准确地对图像中的特征区域进行分割。
请参见图5,图5是本申请提供的一种确定分类预测结果的流程示意图。本申请实施例中的执行主体可以与上述图3中的执行主体相同,如图5所示,该方法可以包括:
步骤S201,调用辅助网络基于第二图像生成第二特征区域的区域中心特征及第二图像中各像素点的像素特征。
可选的,计算机设备可以将第二图像输入辅助网络,以调用第二图像对该第二图像进行特征学习,进而生成该第二图像中每个像素点的像素特征。
可选的,辅助网络中可以包含多个用于对第二图像进行特征学习的卷积层,因此,每个像素点的像素特征可以是该多个卷积层中倒数第二个卷积层所生成的各个像素点的平滑特征,因为实验证明倒数第二个卷积层所生成的像素点的平滑特征是效果比较好的特征。
更多的,计算机设备还可以调用辅助网络预测第二图像中每个像素点的掩码区域,该掩码区域是用于选取第二图像中各个像素点主要特征的区域。计算机设备还可以生成第二图像中每个像素点的掩码区域的预测准确指数,该预测准确指数体现了所生成的第二图像中各个像素点的掩码区域的不确定性,顾名思义,第二图像中任一个像素点的掩码区域的预测准确指数就表征了该像素点的掩码区域的准确性。
可选的,本申请可以通过Monte Carlo dropout(蒙特卡罗)进行贝叶斯逼近,以生成第二图像中每个像素点的掩码区域的预测准确指数,该过程可以是:
计算机设备可以分别对辅助网络的网络参数(可以称为神经元)进行K次随机丢弃(即dropout),就可以得到辅助网络的K个变形网络,K为正整数,K的具体取值可以根据实际应用场景确定,任一次对网络参数的丢弃都是对具有完整网络参数的辅助网络执行的,任一个变形网络是对辅助网络的网络参数进行一次随机丢弃后得到的,对辅助网络的网络参数进行随机丢弃可以是指将辅助网络的部分网络参数进行随机置0,置0的网络参数也就是被丢弃的网络参数,置0的网络参数在后续预测过程中不发挥作用。
其中,可以理解的是,此处,对辅助网络的网络参数进行随机丢弃以得到辅助网络的变形网络,主要是为了后续通过该变形网络生成像素点的掩码区域的预测准确指数,而上述各个像素点的像素特征以及各个像素点的掩码区域都是通过未进行网络参数丢弃的辅助网络预测得到的。
其中,可以将第二图像中任一个像素点表示为目标像素点,由于获取每个像素点的掩码区域的预测准确指数的过程都相同,因此,此处以获取目标像素点的掩码区域的预测准确指数为例进行说明。
因此,计算机设备可以分别调用每个变形网络根据目标像素点的掩码区域预测针对目标像素点的预测像素信息(即根据第二图像中目标像素点的掩码区域处的图像特征来获取该预测像素信息),可以将通过变形网络所预测得到的像素点的预测像素信息称之为是变形预测像素信息,任一个变形网络可以预测得到针对目标像素点的一个变形预测像素信息。上述过程可以理解为是对目标像素点进行K次前向随机推理,让K个变形网络对目标像素点进行K次softmax(逻辑回归)预测,以得到目标像素点的各个变形预测像素信息。
其中,任一个变形预测像素信息可以包括对应的变形网络所预测的目标像素点属于第二图像中第二特征区域内的像素点的目标概率(可以称为第一预测概率,即属于第二图像中的目标对象的目标概率),以及包括对应的变形网络所预测的目标像素点不属于第二图像中第二特征区域内的像素点的背景概率(可以称为第二预测概率,即属于第二图像中目标对象的背景图像中的像素点的概率)。其中,第一预测概率和第二预测概率之和可以为1。第二图像中目标对象的背景图像是指第二图像中除目标对象的图像之外的图像。
因此,计算机设备就可以根据上述K个变形网络所获取到的K个变形预测像素信息来确定目标像素点的掩码区域的预测准确指数,具体可以参见下述内容描述。
由于任一个变形预测像素信息包括一个第一预测概率,因此,K个变形预测像素信息共包含K个第一预测概率,计算机设备可以获取该K个第一预测概率之间的标准差,并将该标准差作为针对目标像素点的目标预测准确指数,该目标预测准确指数也就指示了将目标像素点预测为属于目标对象的准确性。
更多的,任一个变形预测像素信息包括一个第二预测概率,因此,K个变形预测像素信息共包含K个第二预测概率,计算机设备可以获该K个第二预测概率之间的标准差,将该标准差作为针对目标像素点的背景预测准确指数,该背景预测准确指数就指示了将目标像素点预测为属于目标对象的背景图像的准确性。
因此,可以将针对目标像素点的目标预测准确指数和背景预测准确指数都作为目标像素点的掩码区域的预测准确指数。计算机设备可以以获取目标像素点的掩码区域的预测准确指数同样的方式获取到第二图像中每个像素点的掩码区域的预测准确指数。
更多的,计算机设备还可以调用上述辅助网络(此处的辅助网络是指具有完整网络参数的网络,上述K个变形网络可以是对该辅助网络的网络参数进行随机丢弃得到)根据所生成的第二图像中每个像素点的掩码区域,预测得到针对第二图像的第三预测结果,该第三预测结果可以包括:用于判别第二图像的各个像素点是否属于第二特征区域的像素点的第三预测像素信息,该第三预测像素信息包括辅助网络所预测的第二图像中各个像素点的预测像素信息。
第三预测像素信息中任一个像素点的预测像素信息就包括辅助网络所预测的该像素点属于第二图像中第二特征区域内的像素点的概率(可以称为目标概率),以及包括辅助网络所预测的该像素点不属于第二图像中第二特征区域内的像素点的概率(可以称为背景概率)。
因此,计算机设备可以根据辅助网络生成的上述第二图像中每个像素点的像素特征、第二图像中每个像素点的掩码区域的预测准确指数以及第三预测结果,生成目标对象的区域中心特征,该过程如下述内容描述。
计算机设备可以从第二图像包含的若干像素点中获取到对应掩码区域的预测准确指数大于指数阈值(该指数阈值可以根据实际应用场景进行设置)的像素点,作为评估像素点,该评估像素点也就是指第二图像中对应掩码区域的预测准确指数大于指数阈值的像素点。该评估像素点的数量可以为至少一个。
其中,此处也以目标像素点为例对评估像素点进行说明,由于目标像素点对应的掩码区域的预测准确指数包括目标预测准确指数和背景预测准确指数,因此,目标像素点的掩码区域的预测准确指数大于指数阈值,可以是指目标像素点的掩码区域的目标预测准确指数以及背景预测准确指数都大于该指数阈值,即当目标像素点的掩码区域的目标预测准确指数大于指数阈值、且背景预测准确指数也大于指数阈值时,才可以将目标像素点作为一个评估像素点。通过此种原理,计算机设备可以获取到第二图像包含的像素点中可以作为评估像素点的若干像素点,即可得到上述至少一个评估像素点。
因此,计算机设备可以根据至少一个评估像素点的像素特征以及第三预测像素信息中属于该至少一个评估像素点的预测像素信息,生成目标对象的区域中心特征:
计算机设备可以将至少一个评估像素点中,在第三预测像素信息中的预测像素信息用于指示属于第二特征区域的像素点的评估像素点(即在第三预测像素信息中的预测像素信息中目标概率大于背景概率的评估像素点),作为第二特征区域的目标评估像素点(即目标对象的目标评估像素点),即该目标评估像素点也就是辅助网络所预测出的第二图像中属于目标对象、且对应掩码区域的预测准确指数大于指数阈值的像素点。
同理,计算机设备还可以将至少一个评估像素点中,在第三预测像素信息中的预测像素信息用于指示不属于第二特征区域的像素点的评估像素点(即在第三预测像素信息中的预测像素信息中目标概率小于背景概率的评估像素点),作为第二特征区域的背景评估像素点(即目标对象的背景评估像素点),即该背景评估像素点也就是辅助网络所预测出的第二图像中不属于目标对象、且对应掩码区域的预测准确指数大于指数阈值的像素点。
因此,计算机设备可以根据目标评估像素点的像素特征和第三预测像素信息中目标评估像素点的预测像素信息中的目标概率(即属于目标对象的概率),生成第二特征区域的目标中心特征,该目标中心特征用于表示第二图像中目标对象的结构特征,即用于表示第二图像中第二特征区域的图像的结构特征。
其中,可以将目标中心特征记为qobj,因此,如下述公式(2)所示,目标中心特征qobj可以为:
Figure BDA0003624287200000201
需要进行说明的是,通常第二图像中各个像素点的标记信息(为0或者1,0表示不属于目标对象,1表示属于目标对象)是用同一个标签向量来表示的,而在辅助网络中所生成的第二图像中各个像素点的像素特征也可以是包含在同一个特征矩阵中的,该特征矩阵中一行就可以表示一个像素点的像素特征,因此,辅助网络在生成目标中心特征时,可以是基于对该特征矩阵以及该标签向量的运算来生成,而辅助网络所生成的各个像素点的像素特征的维度通常与上述标签向量的维度不同,因此,在通过目标评估像素点的像素特征计算目标中心特征时,可以对目标评估像素点的像素特征通过线性插值法(若像素点是三维的,则该线性插值法可以是三线性插值法)上采样,以将目标评估像素点的像素特征的维度提升到与上述标签向量的维度相同。
因此,A表示所有目标评估像素点的总数量,a小于或等于A,ea表示对辅助网络生成的第a个目标评估像素点的像素特征的维度提升到与上述标签向量的维度相同后所得到的像素特征(即第a个目标评估像素点升维后的像素特征),
Figure BDA0003624287200000211
表示第三预测像素信息中第a个目标评估像素点的预测像素信息中第a个目标评估像素点属于第二图像中的目标对象的概率(即目标概率),通过在获取目标中心特征时引入各个目标评估像素点属于目标对象的目标概率,可以体现各个目标评估像素点对于目标中心特征的不同贡献,即目标评估像素点的目标概率越大,目标评估像素点对于生成目标中心特征的贡献权重也越大。
同理,计算机设备可以根据背景评估像素点的像素特征和第三预测像素信息中背景评估像素点的预测像素信息中的背景概率(即不属于目标对象的概率),生成第二特征区域的背景中心特征,该背景中心特征用于表示第二图像中目标对象的背景图像的结构特征,即用于表示第二图像中除第二特征区域的图像之外的图像的结构特征。。
其中,可以将背景中心特征记为qbg,因此,如下述公式(3)所示,目标中心特征qbg可以为:
Figure BDA0003624287200000212
其中,B表示所有背景评估像素点的总数量,b小于或等于B,同理,eb表示对辅助网络生成的第b个背景评估像素点的像素特征的维度提升到与上述标签向量的维度相同后所得到的像素特征(即第b个背景评估像素点升维后的像素特征),
Figure BDA0003624287200000213
表示第三预测像素信息中第b个背景评估像素点的预测像素信息中第b个背景评估像素点属于第二图像中目标对象的背景图像的概率(即背景概率),通过在获取背景中心特征时引入各个背景评估像素点属于目标对象的背景图像的背景概率,可以体现各个背景评估像素点对于背景中心特征的不同贡献,即背景评估像素点的背景概率越大,背景评估像素点对于生成背景中心特征的贡献权重也越大。
因此,计算机设备可以将上述目标中心特征(可以理解为是第二图像中目标对象的目标中心特征)和背景中心特征(可以理解为是第二图像中目标对象的背景中心特征)作为第二特征区域的区域中心特征,该区域中心特征可以理解为是目标对象的对象中心特征。
步骤S202,基于区域中心特征、第二图像中各像素点的像素特征及第二监督数据,确定分类预测结果。
可选的,计算机设备可以根据上述所生成的目标对象的区域中心特征、第二图像中每个像素点的像素特征以及第二图像中每个像素点的标记信息(即第二监督数据中各个像素点的标记信息),得到第二图像中每个像素点的分类结果,第二图像中任一个像素点的分类结果可以是该像素点属于第一分类的像素点的结果(即该像素点的标记信息是正确标记的)或者是该像素点属于第二分类的像素点的结果(即该像素点的标记信息是错误标记的)。
由于判定第二图像中每个像素点的分类结果的过程相同,因此,此处还是以判定目标像素点(第二图像中任一个像素点)的分类结果为例进行说明。
计算机设备可以获取到目标像素点的像素特征与目标中心特征之间的特征距离,可以将该特征距离称之为是第一特征距离;计算机设备还可以获取到目标像素点的像素特征与背景中心特征之间的特征距离,可以将该特征距离称之为是第二特征距离。
其中,可以将上述第一特征距离记为
Figure BDA0003624287200000221
将上述第二特征距离记为
Figure BDA0003624287200000222
因此如下述公式所示,第一特征距离
Figure BDA0003624287200000223
和第二特征距离
Figure BDA0003624287200000224
可以是:
Figure BDA0003624287200000225
Figure BDA0003624287200000226
其中,与上述同理,em也可以表示对辅助网络生成的目标像素点的像素特征的维度提升到与上述标签向量的维度相同后所得到的像素特征(即目标像素点升维后的像素特征)。qobj表示上述目标中心特征,qbg表示上述背景中心特征。‖·‖2表示二范数。
因此,若第一特征距离大于第二特征距离(表明目标像素点更偏向于属于第二图像中目标对象的背景图像)、且第二监督数据中目标像素点的标记信息用于指示目标像素点是属于第二图像中的目标对象(即属于第二特征区域中的像素点),则可以确定目标像素点的分类结果是用于指示目标像素点是属于第二分类的像素点的结果。
若第一特征距离大于第二特征距离(表明目标像素点更偏向于属于第二图像中目标对象的背景图像)、且第二监督数据中目标像素点的标记信息用于指示目标像素点不属于第二图像中的目标对象(即不属于第二特征区域中的像素点,也即属于第二图像中目标对象的背景图像),则可以确定目标像素点的分类结果是用于指示目标像素点是属于第一分类的像素点的结果。
若第一特征距离小于第二特征距离(表明目标像素点更偏向于属于第二图像中目标对象)、且第二监督数据中目标像素点的标记信息用于指示目标像素点属于第二图像中的目标对象,则可以确定目标像素点的分类结果是用于指示目标像素点是属于第一分类的像素点的结果。
若第一特征距离小于第二特征距离(表明目标像素点更偏向于属于第二图像中目标对象)、且第二监督数据中目标像素点的标记信息用于指示目标像素点不属于第二图像中的目标对象(即属于第二图像中目标对象的背景图像),则可以确定目标像素点的分类结果是用于指示目标像素点是属于第二分类的像素点的结果。
综上,可以理解的是,若目标像素点的像素特征偏向于的特征类型(如目标对象的特征类型或目标对象的背景图像的特征类型)与目标像素点的标记信息所指示的特征类型(如目标对象的特征类型或目标对象的背景图像的特征类型)不一致(如一个是目标对象的特征类型,一个是目标对象的背景图像的特征类型),则可以认为目标像素点的标记信息是错误标记的,即目标像素点的分类结果用于指示目标像素点属于第二图像中第二分类的像素点;反之,若目标像素点的像素特征偏向于的特征类型与目标像素点的标记信息所指示的特征类型一致(如两个都是目标对象的特征类型,或者两个都是目标对象的背景图像的特征类型),则可以认为目标像素点的标记信息是正确标记的,即目标像素点的分类结果用于指示目标像素点属于第二图像中第一分类的像素点。
通过上述第二图像中各个像素点的分类结果即可得到针对第二图像的分类预测结果,该分类预测结果就包括第二图像中各个像素点的分类结果。
请参见图6,图6是本申请提供的一种确定分类结果的场景示意图。如图6所示,第二图像中的像素点可以包括像素点1~像素点W,W为正整数,W的具体取值根据实际应用场景确定。计算机设备可以获取到第二图像中各个像素点的像素特征与目标中心特征之间的特征距离,包括像素点1的像素特征与目标中心特征之间的特征距离(即第一特征距离1)、像素点2的像素特征与目标中心特征之间的特征距离(即第一特征距离2)、像素点3的像素特征与目标中心特征之间的特征距离(即第一特征距离3)、…及像素点W的像素特征与目标中心特征之间的特征距离(即第一特征距离W),并可以获取到各个像素点与背景中心特征之间的特征距离,包括像素点1的像素特征与背景中心特征之间的特征距离(即第二特征距离1)、像素点2的像素特征与背景中心特征之间的特征距离(即第二特征距离2)、像素点3的像素特征与背景中心特征之间的特征距离(即第二特征距离3)、…及像素点W的像素特征与背景中心特征之间的特征距离(即第二特征距离W)。
因此,计算机设备可以根据像素点1的第一特征距离1、标记信息和第二特征距离1得到像素点1的分类结果,并可以根据像素点2的第一特征距离2、标记信息和第二特征距离2得到像素点2的分类结果,并可以根据像素点3的第一特征距离3、标记信息和第二特征距离3得到像素点3的分类结果,…,并可以根据像素点W的第一特征距离W、标记信息和第二特征距离W得到像素点W的分类结果。
通过上述过程,对于分割区域中各个局部区域(如属于目标对象所在图像区域中各个像素点的区域)之间的结构特征高度相关(如高度相似)和噪声容限较高的场景,本申请通过区域中心特征可以实现对第二图像中各个像素点的分类结果的准确判断。
本申请重点通过均值教师模型(即上述辅助网络)的辅助,利用特征原型(可以通过区域中心特征体现)对噪声标注训练更鲁棒的特性来进行标注分离。本申请的模型框架中可以使用V-Net(一种图像分割网络)、U-Net(一种语义分割网络)、DenseNet(一种稠密连接网络)、或ResNet(一种残差网络)等网络进行训练和预测。
请参见图7,图7是本申请提供的一种确定预测差异的流程示意图。本申请实施例中的执行主体可以与上述图3中的执行主体相同,如图7所示,该方法可以包括:
步骤S301,根据第一预测像素信息与第一监督数据生成预测网络的第一预测差异。
可选的,计算机设备可以根据第一预测像素信息中第一图像的每个像素点的预测像素信息和第一监督数据中第一图像的每个像素点的标记信息,生成预测网络针对第一图像的交叉熵损失以及图像分割损失(Dice损失),进而通过该交叉熵损失以及图像分割损失得到预测网络针对第一图像的预测损失,可以将该预测损失称为是第一预测差异。
可以将预测网络针对第一图像的交叉熵损失记为Ls1,如下述公式(6)所示,该交叉熵损失Ls1为:
Figure BDA0003624287200000251
其中,ytrue.i表示第一图像中第i个像素点的标记信息,即ytrue.i表示第i个像素点真实的标签,i小于等于N,N可以是第一图像中所有像素点的总数量。若第i个像素点的标记信息用于真实表示第i个像素点属于第一图像中的目标对象,则ytrue.i可以等于1,否则,即若第i个像素点的标记信息用于真实表示第i个像素点不属于第一图像中的目标对象,则ytrue.i可以等于0。ypred.i表示预测网络预测的第一预测像素信息中第i个像素点的预测像素信息中第i个像素点属于目标对象的概率(即目标概率)。
可以将预测网络针对第一图像的图像分割损失记为LDice1,如下述公式(7)所示,该图像分割损失LDice1为:
Figure BDA0003624287200000252
与上述相同,此处ytrue.i表示第一图像中第i个像素点的标记信息,ytrue.i为1或0,ypred.i表示第一预测像素信息中第i个像素点的预测像素信息中第i个像素点属于目标对象的概率(即目标概率)。
因此,上述预测网络的第一预测差异可以记为LHQ,如下述公式(8)所示,第一预测差异LHQ就为交叉熵损失Ls1和图像分割损失LDice1之和:
LHQ=Ls1+LDice1 (8)
其中,由于第一图像中的像素点具有准确的标记信息,因此通过预测网络针对第一图像的第一预测差异LHQ可以对预测网络起到正向监督训练的作用。
步骤S302,根据第二预测像素信息中属于第一分类的像素点的预测像素信息与第二监督数据中的第一标记信息生成预测网络的第二预测差异。
可选的,可以将第二监督数据中第一分类的像素点的标记信息称之为是第一标记信息,即第一标记信息就包括:预先设置的第二监督数据中用于标记第二图像上属于第一分类的像素点是否属于第二特征区域的像素点的标记信息。计算机设备可以根据第二预测像素信息中属于第一分类的像素点的预测像素信息和该第一标记信息生成预测网络针对第一分类的像素点的预测损失,可以将该预测损失称之为是第二预测差异。
具体的,计算机设备可以根据第二预测像素信息中每个第一分类的像素点的预测像素信息和每个第一分类的像素点的标记信息生成预测网络针对第一分类的像素点的交叉熵损失以及图像分割损失(Dice损失),进而通过该交叉熵损失以及图像分割损失得到预测网络针对第一分类的像素点的第二预测差异。
可以将预测网络针对第一分类的像素点的交叉熵损失记为Ls2,如下述公式(9)所示,该交叉熵损失Ls2为:
Figure BDA0003624287200000261
其中,ytrue.j表示第一分类的像素点中第j个像素点的标记信息,即ytrue.j表示第j个像素点真实的标签,j小于等于M,M可以是属于第一分类的所有像素点的总数量。若第j个像素点的标记信息用于真实表示第j个像素点属于第二图像中的目标对象,则ytrue.j可以等于1,否则,即若第j个像素点的标记信息用于真实表示第j个像素点不属于第二图像中的目标对象,则ytrue.j可以等于0。ypred.j表示第二预测像素信息中第j个像素点的预测像素信息中第j个像素点属于目标对象的概率(即目标概率)。
可以将预测网络针对第一分类的像素点的图像分割损失记为LDice2,如下述公式(10)所示,该图像分割损失LDice2为:
Figure BDA0003624287200000262
与上述相同,此处ytrue.j表示第j个像素点的标记信息,ytrue.j为1或0,ypred.j表示第二预测像素信息中第j个像素点的预测像素信息中第j个像素点属于目标对象的概率(即目标概率)。
因此,上述预测网络的第二预测差异可以记为Lls,如下述公式(11)所示,第二预测差异Lls就为交叉熵损失Ls2和图像分割损失LDice2之和:
Lls=Ls2+LDice2 (11)
上述得到的第二预测差异Lls就为预测网络针对正确标记的像素点(即第一分类的像素点)的预测损失。
步骤S303,根据第二预测像素信息中属于第二分类的像素点的预测像素信息与第二监督数据中的第二标记信息生成预测网络的第三预测差异。
可选的,可以将第二监督数据中第二分类的像素点的标记信息称之为是第二标记信息,即第二标记信息就包括:预先设置的第二监督数据中用于标记第二图像上属于第二分类的像素点是否属于第二特征区域的像素点的标记信息。计算机设备可以根据第二预测像素信息中属于第二分类的像素点的预测像素信息和该第二标记信息生成预测网络针对第二分类的像素点的预测损失,可以将该预测损失称之为是第三预测差异。
本申请中,由于第二分类的像素点是预测出的错误标记的像素点,因此,可以以熵最小化损失来得到预测网络针对第二分类的像素点的第三预测差异,即可以以具有较小影响(较小的熵)的第三预测差异来发挥第二分类的像素点对于预测网络的训练作用。
可以将第三预测差异记为Lent,如下述公式(12),第三预测差异Lent可以为:
Figure BDA0003624287200000271
其中,Fobj.g表示第二分类的像素点中第g个像素点在第二预测像素信息中的预测像素信息中该第g个像素点属于第二图像中的目标对象的概率(即目标概率),Fbg.g表示表示第g个像素点在第二预测像素信息中的预测像素信息中该第g个像素点不属于第二图像中的目标对象的概率(即背景概率),G为第二分类的所有像素点的总数量,g小于或等于G。
通过上述可知,计算第二预测差异和计算第三预测差异的方式不同,从而实现对第二图像中第一分类的像素点和第二分类的像素点进行区别训练的目的。
步骤S304,根据第一预测差异、第二预测差异和第三预测差异生成预测网络的预测差异。
可选的,计算机设备可以根据上述获取到第一预测差异、第二预测差异和第三预测差异,生成预测网络最终的预测损失,该预测损失也就是预测网络的预测偏差(即预测网络最终的预测差异)。该预测差异是指预测网络对像素点(包括第一图像的像素点和第二图像的像素点)的预测像素信息的偏差。
其中,计算机设备可以根据上述获取到的预测网络针对第一分类的像素点的第二预测差异以及预测网络针对第二分类的像素点的第三预测差异,得到预测网络针对第二图像最终的预测损失,可以将该预测损失称之为是预测网络针对第二图像的综合预测差异。
可以将综合预测差异记为LLQ,如下述公式(13)所示,综合预测差异LLQ就可以为第二预测差异Lls和第三预测差异Lent之和:
LLQ=Lls+Lent (13)
进而,计算机设备还获取到针对综合预测差异的加权系数,进而可以根据该加权系数对综合预测差异进行加权,得到加权后的综合预测差异,进而计算机设备就可以根据第一预测差异和加权后的综合预测差异生成预测网络最终的预测偏差(即最终的预测损失值)。
其中,综合预测差异的加权系数可以由随训练时间(次数)增加而斜升高斯函数组成,由于可以对预测网络进行多次迭代训练,因此,可以将在对预测网络进行第t次迭代训练的过程中综合预测差异的加权系数记为λ(t),如下述公式(14)所示,加权系数λ(t)可以为:
Figure BDA0003624287200000281
其中,tmax表示预设的对预测网络进行迭代训练的最大次数,可以将该最大次数称之为最大迭代次数,e表示自然常数。
举个例子,本申请中获取预测网络的当前迭代训练过程中针对综合预测差异的加权系数的方式可以是:计算机可以获取到当前对预测网络的网络参数进行迭代修正(即当前迭代训练)的迭代次数(可以称为当前迭代次数),并可以获取预设的对预测网络的网络参数进行迭代修正的最大迭代次数,进而,计算机设备就可以将该当前迭代次数代入上述公式(14)中的t,并将最大迭代次数代入上述公式(14)中的tmax,即可得到当前迭代训练过程中针对综合预测差异的加权系数。
因此,可以将预测网络的预测损失(即预测差异)记为Lz,如下述公式(15)所示,预测差异Lz可以为:
Lz=LHQ+λ(t)LLQ (15)
其中,可以理解的是,预测网络的每次迭代训练过程中都会有对应的预测损失,若当前是第t次迭代训练,则公式(14)中的LHQ就是第t次迭代训练过程中的第一预测差异,LLQ就是第t次迭代训练过程中的综合预测差异,所得到的Lz也就是第t次迭代训练过程中的预测损失。可以通过每次训练过程中所得到的的预测差异Lz对预测网络的网络参数进行迭代优化,以得到最终参数优化完成的预测网络(即训练好的预测网络)。
通过上述过程,可以理解的是,迭代训练次数t越小,综合预测差异的加权系数也会越小,反之,迭代训练次数t越大,综合预测差异的加权系数也会越大。这是为了在最开始(如迭代训练次数t比较小的时候)对预测网络进行训练时,可以减少第二图像对于预测网络的训练干扰,而随着迭代训练次数t越大,预测网络也就越来越准确,因此,就可以有更大的加权系数,以加大第二图像对于预测网络的训练效果,这可以提升预测网络的训练准确性。
请参见图8,图8是本申请提供的一种模型训练的场景示意图。如图8所示,计算机设备可以调用预测网络基于第一图像生成第一预测差异。计算机设备还可以调用辅助网络对第二图像中的像素点进行标注分离,即将第二图像中的像素点区分为第一分类的像素点和第二分类的像素点。
进而,计算机设备可以调用预测网络基于第一分类的像素点生成第二预测差异,并基于第二分类的像素点生成第三预测差异。计算机设备可以根据第二预测差异和第三预测差异生成针对第二图像的综合预测差异,并可以根据加权系数对该综合预测差异进行加权,得到加权后的综合预测差异。
最后,计算机设备即可根据上述第一预测差异和加权后的综合预测差异得到预测网络最终的预测损失(即上述预测偏差或者预测差异),预测网络即可根据该预测偏差进行网络参数的修正,得到训练好的预测网络(即进行参数优化后的预测网络)。
本申请中,可以使用具有高质量的标记信息的第一图像对预测网络进行监督训练,而对于具有低质量的标记信息的第二图像中,不管是预测出的正确标记的像素点(即第一分类的像素点)还是预测出的错误标记的像素点(即第二分类的像素点)都可以参与对预测网络的训练,只是正确标记的像素点可以对预测网络产生较大的训练效果,而错误标记的像素点可以对预测网络产生较小的训练效果,实现充分利用第二图像对预测网络进行训练,因此,可以训练出非常准确的预测网络。
并且,采用本申请可以对混合质量的样本数据(包括第一图像和第二图像)进行区别学习,即实现了对混合质量的样本数据进行标记隔离学习,以充分学习到样本数据正确的特征,进而训练得到准确的预测网络。
此外,本申请还针对所提供的方法进行了精密的实验。实验使用了左心房(LA)分割数据集来进行实验。左心房分割数据集提供了100个带有专家标签(可以理解为第一图像中像素点的标记信息)的3D磁共振图像(可以理解为三维的第一图像)。图像的分辨率可以是0.625*0.625*0.625m^3。所有图像都被裁剪到心脏区域的中心,并归一化为零均值和单位方差,为了模拟实际场景,本申请研究了极端设置和常见的柔和设置。
其中,在极端设置下,只有2个样本(代码实现中的最小数量HQ标记批大小(batchsize))用作HQ标记信息(即具有高质量标记信息的样本,可以理解为第一图像),而柔和设置则使用了8个(10%)样本作为HQ标记信息。其余样本被视为非专家低质量标注数据(即具有低质量标记信息的样本,可以理解为是第二图像),这些样本通过常用仿真标签损坏方案进行处理,包括3-15个体素的随机腐蚀和膨胀等处理。
实验框架使用24GB(计算机存储单位)内存的NVIDIA GeForce RTX(图形处理平台)3090GPU(图形处理器),用Python(一种计算机编程语言)和PyTorch(一个开源的机器学习库)实现。在所有实验中,采用相同的3D V-Net(基于全卷积神经网络设计的3D(3维)医学图像分割网络)作为主干进行公平的比较。此外,使用SGD(一种优化器)训练网络(权重衰减=0.0001,动量=0.9)。Batch(批次)大小设置为4,包括2个高质量标注图像(可以理解为第一图像)和2个低质量标注图像(可以理解为第二图像)。最大训练步骤都设置为8000。学习速率被初始化为0.01,并且在每一步之后以0.9的幂衰减。本申请随机裁剪了112×112×80体素的切块作为网络输入,还应用了标准的数据扩充,包括随机裁剪、翻转和旋转,并使用18×18×4体素步长的滑动窗口策略用于测试阶段。
在此基础上,本申请采用了四个指标来进行综合评价,包括:Dice(一种图像分割评价指标)、Jaccard(一种数据挖掘指标)、ASD(平均表面距离)、95HD(一种医学图像分割评价指标),本申请在医学场景的实验数据如下表1所示:
表1
Figure BDA0003624287200000311
Figure BDA0003624287200000321
其中,本申请进行了两个实验,表1中第2行~第9行是一个实验的实验数据,表1中第10行~第17行是另一个实验的实验数据。Set-HQ表示训练所用的高质量标注数据的数量,Set-LQ表示训练所用的低质量标注数据的数量。“HQ-LQ分离?”表示对应方法是否是对低质量标注数据和高质量标注数据进行分离训练。Dice和Jaccard越高,表示效果越好,而ASD和95HD越小,表示效果越好,表1中括号内的数值表示对应方法下指标的标准差。
H-Sup表示仅用高质量标注数据进行监督训练,HL-Sup表示用高质量和低质量标注数据混合监督训练,TriNet表示使用由三个网络组成的联合学习框架,该网络通过集成来自两个网络的预测来监督第三个网络,2RnT表示一种两阶段方法,通过估计用于标签修正的混淆矩阵来提升标注质量,PNL表示引入了图像级标签质量评估模块,以识别具有干净标签的图像来调整网络,KDEM表示引入了知识蒸馏技术和熵最小化优化项来训练网络,Decoupled表示使用两个分开的解码器(一个对应于高质量标注数据,一个对应于低质量标注数据)隐式解耦来训练网络。
通过上述实验数据可见,对于上述所进行的两个实验,本申请所提供的方法都具有最佳的综合训练效果,这也证明了采用本申请所提供方法的优越性和鲁棒性。
请参见图9,图9是本申请提供的一种数据处理装置的结构示意图。该数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件,该数据处理装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示,该数据处理装置1可以包括:获取模块11、第一调用模块12、第二调用模块13、分类模块14和优化模块15。
获取模块11,用于获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
第一调用模块12,用于调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;
第二调用模块13,用于调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;
分类模块14,用于通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;
优化模块15,用于根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。
可选的,为第一图像设置有第一监督数据,为第二图像设置有第二监督数据;
在进行网络参数优化时,是通过第一预测像素信息与第一监督数据之间的第一预测差异、第二预测像素信息中属于第一分类的像素点的预测像素信息与第二监督数据中的第一标记信息之间的第二预测差异、及第二预测像素信息中属于第二分类的像素点的预测像素信息与第二监督数据中的第二标记信息之间的第三预测差异,对预测网络进行参数优化的;
其中,第一标记信息包括:预先设置的第二监督数据中用于标记第二图像上属于第一分类的像素点是否属于第二特征区域的像素点的信息;
第二标记信息包括:预先设置的第二监督数据中用于标记第二图像上属于第二分类的像素点是否属于第二特征区域的像素点的信息;
第二预测差异和第三预测差异的计算方式不同。
可选的,优化模块15通过第一预测差异、第二预测差异和第三预测差异对预测网络进行参数优化的流程,包括:
根据第二预测差异和第三预测差异确定预测网络针对第二图像的综合预测差异;
获取针对综合预测差异的加权系数,并根据加权系数对综合预测差异进行加权,得到加权后的综合预测差异;
根据第一预测差异和加权后的综合预测差异对预测网络进行参数优化。
可选的,为第二图像设置有第二监督数据;分类模块14通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果的方式,包括:
调用辅助网络基于第二图像生成第二特征区域的区域中心特征及第二图像中各像素点的像素特征;
基于区域中心特征、第二图像中各像素点的像素特征及第二监督数据,确定分类预测结果。
可选的,分类模块14调用辅助网络基于第二图像生成第二特征区域的区域中心特征及第二图像中各像素点的像素特征的方式,包括:
调用辅助网络生成第二图像中各像素点的像素特征;
调用辅助网络预测第二图像中各像素点的掩码区域,并确定第二图像中各像素点的掩码区域的预测准确指数;
调用辅助网络基于第二图像中各像素点的掩码区域对第二图像进行预测,得到第三预测结果;第三预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第三预测像素信息;
根据第二图像中各像素点的像素特征、第二图像中各像素点的掩码区域的预测准确指数及第三预测像素信息,生成区域中心特征。
可选的,分类模块14根据第二图像中各像素点的像素特征、第二图像中各像素点的掩码区域的预测准确指数及第三预测像素信息,生成区域中心特征的方式,包括:
将第二图像中对应掩码区域的预测准确指数大于指数阈值的像素点确定为评估像素点;
根据至少一个评估像素点的像素特征和第三预测像素信息中属于至少一个评估像素点的预测像素信息,生成区域中心特征。
可选的,第二特征区域的目标评估像素点,包括:至少一个评估像素点中,在第三预测像素信息中的预测像素信息用于指示属于第二特征区域的像素点的评估像素点;
第二特征区域的背景评估像素点,包括:至少一个评估像素点中,在第三预测像素信息中的预测像素信息用于指示不属于第二特征区域的像素点的评估像素点;
分类模块14根据至少一个评估像素点的像素特征和第三预测像素信息中属于至少一个评估像素点的预测像素信息,生成区域中心特征的方式,包括:
根据目标评估像素点的像素特征和第三预测像素信息中目标评估像素点的预测像素信息,生成第二特征区域的目标中心特征;目标中心特征用于表示第二特征区域的图像的结构特征;
根据背景评估像素点的像素特征和第三预测像素信息中背景评估像素点的预测像素信息,生成第二特征区域的背景中心特征;背景中心特征用于表示第二图像中第二特征区域的背景图像的结构特征;
将目标中心特征和背景中心特征确定为区域中心特征。
可选的,第二图像中的任一像素点表示为目标像素点;分类模块14基于区域中心特征、第二图像中各像素点的像素特征及第二监督数据,确定分类预测结果的方式,包括:
获取目标像素点的像素特征与目标中心特征之间的第一特征距离,并获取目标像素点的像素特征与背景中心特征之间的第二特征距离;
若第一特征距离大于第二特征距离、且第二监督数据中目标像素点的标记信息用于指示目标像素点不属于第二特征区域的像素点,则确定目标像素点属于第一分类的像素点;
若第一特征距离大于第二特征距离、且第二监督数据中目标像素点的标记信息用于指示目标像素点属于第二特征区域的像素点,则确定目标像素点属于第二分类的像素点;
若第一特征距离小于第二特征距离、且第二监督数据中目标像素点的标记信息用于指示目标像素点属于第二特征区域的像素点,则确定目标像素点属于第一分类的像素点;
若第一特征距离小于第二特征距离、且第二监督数据中目标像素点的标记信息用于指示目标像素点不属于第二特征区域的像素点,则确定目标像素点第二分类的像素点。
可选的,第二图像中的任一像素点表示为目标像素点;分类模块14确定第二图像中各像素点的掩码区域的预测准确指数的方式,包括:
分别对辅助网络的网络参数进行K次随机丢弃,得到辅助网络的K个变形网络;K为正整数;
分别调用每个变形网络基于目标像素点的掩码区域获取针对目标像素点的变形预测像素信息;任一变形预测像素信息包括:用于指示目标像素点是否属于第二特征区域的像素点的信息;
根据K个变形网络获取到的K个变形预测像素信息确定目标像素点的掩码区域的预测准确指数。
可选的,任一变形预测像素信息包括所预测的目标像素点属于第二特征区域的像素点的第一预测概率、及目标像素点属于第二图像中第二特征区域的背景图像的像素点的第二预测概率;
分类模块14根据K个变形网络获取到的K个变形预测像素信息确定目标像素点的掩码区域的预测准确指数的方式,包括:
获取K个变形预测像素信息中第一预测概率之间的标准差,作为针对目标像素点的目标预测准确指数;
获取K个变形预测像素信息中第二预测概率之间的标准差,作为针对目标像素点的背景预测准确指数;
将目标预测准确指数和背景预测准确指数确定为目标像素点的掩码区域的预测准确指数。
可选的,分类模块14将第二图像中对应掩码区域的预测准确指数大于指数阈值的像素点确定为评估像素点的方式,包括:
若目标预测准确指数和背景预测准确指数均大于指数阈值,则将目标像素点确定为评估像素点。
可选的,上述装置1还用于:
获取目标图像;目标图像包括目标特征区域;
调用进行参数优化后的预测网络对目标图像进行预测,得到目标预测结果;目标预测结果包括:用于判别目标图像的各像素点是否属于目标特征区域的像素点的目标预测像素信息;
基于目标预测像素信息在目标图像中对目标特征区域的图像进行分割。
根据本申请的一个实施例,图3所示的数据处理方法所涉及的步骤可由图9所示的数据处理装置1中的各个模块来执行。例如,图3中所示的步骤S101可由图9中的获取模块11来执行,图3中所示的步骤S102可由图9中的第一调用模块12来执行;图3中所示的步骤S103可由图9中的第二调用模块13来执行,图3中所示的步骤S104可由图9中的分类模块14来执行,图3中所示的步骤S105可由图9中的优化模块15来执行。
本申请可以获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。由此可见,本申请提出的装置可以通过辅助网络对第二图像中的像素点进行分类,后续可以通过辅助网络对第二图像中各像素点的分类结果来对预测网络或辅助网络进行参数优化,这可以提升对预测网络进行参数优化的准确性,后续通过参数优化后的预测网络也可以准确地对图像中的特征区域进行分割。
根据本申请的一个实施例,图9所示的数据处理装置1中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元,可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个单元来实现,或者多个模块的功能由一个单元实现。在本申请的其它实施例中,数据处理装置1也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的数据处理装置1,以及来实现本申请实施例的数据处理方法。上述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
请参见图10,图10是本申请提供的一种计算机设备的结构示意图。如图10所示,计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
调用预测网络对第一图像进行预测,得到第一预测结果;第一预测结果包括:用于判别第一图像的各像素点是否属于第一特征区域的像素点的第一预测像素信息;
调用预测网络对第二图像进行预测,得到第二预测结果;第二预测结果包括:用于判别第二图像的各像素点是否属于第二特征区域的像素点的第二预测像素信息;
通过辅助网络对第二图像的像素点进行分类预测,得到分类预测结果;分类预测结果用于指示在第二图像上属于第一分类的像素点、及属于第二分类的像素点;
根据第一预测像素信息、第二预测像素信息中属于第一分类的像素点的预测像素信息、及第二预测像素信息中属于第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对预测网络进行参数优化、对辅助网络进行参数优化中的任意一种或两种的组合。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3对应实施例中对上述数据处理方法的描述,也可执行前文图9所对应实施例中对上述数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的数据处理装置1所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文图3对应实施例中对上述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (16)

1.一种数据处理方法,其特征在于,所述方法包括:
获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
调用预测网络对所述第一图像进行预测,得到第一预测结果;所述第一预测结果包括:用于判别所述第一图像的各像素点是否属于所述第一特征区域的像素点的第一预测像素信息;
调用所述预测网络对所述第二图像进行预测,得到第二预测结果;所述第二预测结果包括:用于判别所述第二图像的各像素点是否属于所述第二特征区域的像素点的第二预测像素信息;
通过辅助网络对所述第二图像的像素点进行分类预测,得到分类预测结果;所述分类预测结果用于指示在所述第二图像上属于第一分类的像素点、及属于第二分类的像素点;
根据所述第一预测像素信息、所述第二预测像素信息中属于所述第一分类的像素点的预测像素信息、及所述第二预测像素信息中属于所述第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对所述预测网络进行参数优化、对所述辅助网络进行参数优化中的任意一种或两种的组合。
2.如权利要求1所述的方法,其特征在于,为所述第一图像设置有第一监督数据,为所述第二图像设置有第二监督数据;
在进行网络参数优化时,是通过所述第一预测像素信息与所述第一监督数据之间的第一预测差异、所述第二预测像素信息中属于所述第一分类的像素点的预测像素信息与所述第二监督数据中的第一标记信息之间的第二预测差异、及所述第二预测像素信息中属于所述第二分类的像素点的预测像素信息与所述第二监督数据中的第二标记信息之间的第三预测差异,对所述预测网络进行参数优化的;
其中,所述第一标记信息包括:预先设置的所述第二监督数据中用于标记所述第二图像上属于所述第一分类的像素点是否属于所述第二特征区域的像素点的信息;
所述第二标记信息包括:预先设置的所述第二监督数据中用于标记所述第二图像上属于所述第二分类的像素点是否属于所述第二特征区域的像素点的信息;
所述第二预测差异和所述第三预测差异的计算方式不同。
3.如权利要求2所述的方法,其特征在于,通过所述第一预测差异、所述第二预测差异和所述第三预测差异对所述预测网络进行参数优化的流程,包括:
根据所述第二预测差异和所述第三预测差异确定所述预测网络针对所述第二图像的综合预测差异;
获取针对所述综合预测差异的加权系数,并根据所述加权系数对所述综合预测差异进行加权,得到加权后的综合预测差异;
根据所述第一预测差异和所述加权后的综合预测差异对所述预测网络进行参数优化。
4.如权利要求1所述的方法,其特征在于,为所述第二图像设置有第二监督数据;所述通过辅助网络对所述第二图像的像素点进行分类预测,得到分类预测结果,包括:
调用所述辅助网络基于所述第二图像生成所述第二特征区域的区域中心特征及所述第二图像中各像素点的像素特征;
基于所述区域中心特征、所述第二图像中各像素点的像素特征及所述第二监督数据,确定所述分类预测结果。
5.如权利要求4所述的方法,其特征在于,所述调用所述辅助网络基于所述第二图像生成所述第二特征区域的区域中心特征及所述第二图像中各像素点的像素特征,包括:
调用所述辅助网络生成所述第二图像中各像素点的像素特征;
调用所述辅助网络预测所述第二图像中各像素点的掩码区域,并确定所述第二图像中各像素点的掩码区域的预测准确指数;
调用所述辅助网络基于所述第二图像中各像素点的掩码区域对所述第二图像进行预测,得到第三预测结果;所述第三预测结果包括:用于判别所述第二图像的各像素点是否属于所述第二特征区域的像素点的第三预测像素信息;
根据所述第二图像中各像素点的像素特征、所述第二图像中各像素点的掩码区域的预测准确指数及所述第三预测像素信息,生成所述区域中心特征。
6.如权利要求5所述的方法,其特征在于,所述根据所述第二图像中各像素点的像素特征、所述第二图像中各像素点的掩码区域的预测准确指数及所述第三预测像素信息,生成所述区域中心特征,包括:
将所述第二图像中对应掩码区域的预测准确指数大于指数阈值的像素点确定为评估像素点;
根据至少一个评估像素点的像素特征和所述第三预测像素信息中属于所述至少一个评估像素点的预测像素信息,生成所述区域中心特征。
7.如权利要求6所述的方法,其特征在于,所述第二特征区域的目标评估像素点,包括:所述至少一个评估像素点中,在所述第三预测像素信息中的预测像素信息用于指示属于所述第二特征区域的像素点的评估像素点;
所述第二特征区域的背景评估像素点,包括:所述至少一个评估像素点中,在所述第三预测像素信息中的预测像素信息用于指示不属于所述第二特征区域的像素点的评估像素点;
所述根据至少一个评估像素点的像素特征和所述第三预测像素信息中属于所述至少一个评估像素点的预测像素信息,生成所述区域中心特征,包括:
根据所述目标评估像素点的像素特征和所述第三预测像素信息中所述目标评估像素点的预测像素信息,生成所述第二特征区域的目标中心特征;所述目标中心特征用于表示所述第二特征区域的图像的结构特征;
根据所述背景评估像素点的像素特征和所述第三预测像素信息中所述背景评估像素点的预测像素信息,生成所述第二特征区域的背景中心特征;所述背景中心特征用于表示所述第二图像中所述第二特征区域的背景图像的结构特征;
将所述目标中心特征和所述背景中心特征确定为所述区域中心特征。
8.如权利要求7所述的方法,其特征在于,所述第二图像中的任一像素点表示为目标像素点;所述基于所述区域中心特征、所述第二图像中各像素点的像素特征及所述第二监督数据,确定所述分类预测结果,包括:
获取所述目标像素点的像素特征与所述目标中心特征之间的第一特征距离,并获取所述目标像素点的像素特征与所述背景中心特征之间的第二特征距离;
若所述第一特征距离大于所述第二特征距离、且所述第二监督数据中所述目标像素点的标记信息用于指示所述目标像素点不属于所述第二特征区域的像素点,则确定所述目标像素点属于所述第一分类的像素点;
若所述第一特征距离大于所述第二特征距离、且所述第二监督数据中所述目标像素点的标记信息用于指示所述目标像素点属于所述第二特征区域的像素点,则确定所述目标像素点属于所述第二分类的像素点;
若所述第一特征距离小于所述第二特征距离、且所述第二监督数据中所述目标像素点的标记信息用于指示所述目标像素点属于所述第二特征区域的像素点,则确定所述目标像素点属于所述第一分类的像素点;
若所述第一特征距离小于所述第二特征距离、且所述第二监督数据中所述目标像素点的标记信息用于指示所述目标像素点不属于所述第二特征区域的像素点,则确定所述目标像素点所述第二分类的像素点。
9.如权利要求5所述的方法,其特征在于,所述第二图像中的任一像素点表示为目标像素点;所述确定所述第二图像中各像素点的掩码区域的预测准确指数,包括:
分别对所述辅助网络的网络参数进行K次随机丢弃,得到所述辅助网络的K个变形网络;K为正整数;
分别调用每个变形网络基于所述目标像素点的掩码区域获取针对所述目标像素点的变形预测像素信息;任一变形预测像素信息包括:用于指示所述目标像素点是否属于所述第二特征区域的像素点的信息;
根据所述K个变形网络获取到的K个变形预测像素信息确定所述目标像素点的掩码区域的预测准确指数。
10.如权利要求9所述的方法,其特征在于,任一变形预测像素信息包括所预测的所述目标像素点属于所述第二特征区域的像素点的第一预测概率、及所述目标像素点属于所述第二图像中所述第二特征区域的背景图像的像素点的第二预测概率;
所述根据所述K个变形网络获取到的K个变形预测像素信息确定所述目标像素点的掩码区域的预测准确指数,包括:
获取所述K个变形预测像素信息中第一预测概率之间的标准差,作为针对所述目标像素点的目标预测准确指数;
获取所述K个变形预测像素信息中第二预测概率之间的标准差,作为针对所述目标像素点的背景预测准确指数;
将所述目标预测准确指数和所述背景预测准确指数确定为所述目标像素点的掩码区域的预测准确指数。
11.如权利要求10所述的方法,其特征在于,所述将所述第二图像中对应掩码区域的预测准确指数大于指数阈值的像素点确定为评估像素点,包括:
若所述目标预测准确指数和所述背景预测准确指数均大于所述指数阈值,则将所述目标像素点确定为评估像素点。
12.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取目标图像;所述目标图像包括所述目标特征区域;
调用进行参数优化后的预测网络对所述目标图像进行预测,得到目标预测结果;所述目标预测结果包括:用于判别所述目标图像的各像素点是否属于所述目标特征区域的像素点的目标预测像素信息;
基于所述目标预测像素信息在所述目标图像中对所述目标特征区域的图像进行分割。
13.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取具有第一特征区域的第一图像和具有第二特征区域的第二图像;
第一调用模块,用于调用预测网络对所述第一图像进行预测,得到第一预测结果;所述第一预测结果包括:用于判别所述第一图像的各像素点是否属于所述第一特征区域的像素点的第一预测像素信息;
第二调用模块,用于调用所述预测网络对所述第二图像进行预测,得到第二预测结果;所述第二预测结果包括:用于判别所述第二图像的各像素点是否属于所述第二特征区域的像素点的第二预测像素信息;
分类模块,用于通过辅助网络对所述第二图像的像素点进行分类预测,得到分类预测结果;所述分类预测结果用于指示在所述第二图像上属于第一分类的像素点、及属于第二分类的像素点;
优化模块,用于根据所述第一预测像素信息、所述第二预测像素信息中属于所述第一分类的像素点的预测像素信息、及所述第二预测像素信息中属于所述第二分类的像素点的预测像素信息,进行网络参数优化,该网络参数优化包括对所述预测网络进行参数优化、对所述辅助网络进行参数优化中的任意一种或两种的组合。
14.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1-12任一项所述方法的步骤。
15.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-12中任一项所述方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适用于由处理器加载并执行权利要求1-12任一项所述的方法。
CN202210466331.9A 2022-04-29 2022-04-29 数据处理方法、装置、程序产品、计算机设备和介质 Pending CN115115828A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210466331.9A CN115115828A (zh) 2022-04-29 2022-04-29 数据处理方法、装置、程序产品、计算机设备和介质
PCT/CN2023/081603 WO2023207389A1 (zh) 2022-04-29 2023-03-15 数据处理方法、装置、程序产品、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210466331.9A CN115115828A (zh) 2022-04-29 2022-04-29 数据处理方法、装置、程序产品、计算机设备和介质

Publications (1)

Publication Number Publication Date
CN115115828A true CN115115828A (zh) 2022-09-27

Family

ID=83326538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210466331.9A Pending CN115115828A (zh) 2022-04-29 2022-04-29 数据处理方法、装置、程序产品、计算机设备和介质

Country Status (2)

Country Link
CN (1) CN115115828A (zh)
WO (1) WO2023207389A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908823A (zh) * 2023-03-09 2023-04-04 南京航空航天大学 一种基于难度蒸馏的语义分割方法
WO2023207389A1 (zh) * 2022-04-29 2023-11-02 腾讯科技(深圳)有限公司 数据处理方法、装置、程序产品、计算机设备和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386298B2 (en) * 2020-01-09 2022-07-12 International Business Machines Corporation Uncertainty guided semi-supervised neural network training for image classification
CN113538480A (zh) * 2020-12-15 2021-10-22 腾讯科技(深圳)有限公司 图像分割处理方法、装置、计算机设备和存储介质
CN113326764B (zh) * 2021-05-27 2022-06-07 北京百度网讯科技有限公司 训练图像识别模型和图像识别的方法和装置
CN113822851A (zh) * 2021-06-15 2021-12-21 腾讯科技(深圳)有限公司 图像分割方法、装置、设备及存储介质
CN114359563B (zh) * 2022-03-21 2022-06-28 深圳思谋信息科技有限公司 模型训练方法、装置、计算机设备和存储介质
CN115115828A (zh) * 2022-04-29 2022-09-27 腾讯医疗健康(深圳)有限公司 数据处理方法、装置、程序产品、计算机设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207389A1 (zh) * 2022-04-29 2023-11-02 腾讯科技(深圳)有限公司 数据处理方法、装置、程序产品、计算机设备和介质
CN115908823A (zh) * 2023-03-09 2023-04-04 南京航空航天大学 一种基于难度蒸馏的语义分割方法

Also Published As

Publication number Publication date
WO2023207389A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
CN111902825A (zh) 多边形对象标注系统和方法以及训练对象标注系统的方法
CN112116090B (zh) 神经网络结构搜索方法、装置、计算机设备及存储介质
CN115115828A (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN110516537B (zh) 一种基于自步学习的人脸年龄估计方法
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115482418B (zh) 基于伪负标签的半监督模型训练方法、系统及应用
CN110826581A (zh) 一种动物数量识别方法、装置、介质及电子设备
CN115082676A (zh) 一种伪标签模型的训练方法、装置、设备及存储介质
CN114722892A (zh) 基于机器学习的持续学习方法及装置
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
CN115546171A (zh) 一种基于关注阴影边界和特征校正的阴影检测方法及设备
CN117765432A (zh) 一种基于动作边界预测的中学理化生实验动作检测方法
CN111160161B (zh) 一种基于噪声剔除的自步学习人脸年龄估计方法
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
Santos Avoiding overfiting: new algorithms to improve generalisation in convolutional neural networks
CN117636072B (zh) 基于难度感知数据增强与标签矫正的图像分类方法及系统
CN114692732B (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN113361543B (zh) Ct图像特征提取方法、装置、电子设备和存储介质
CN118212490A (zh) 图像分割模型的训练方法、装置、设备及存储介质
CN116362322A (zh) 基于知识蒸馏的生成式模型迁移学习方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination