CN114298961A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114298961A CN114298961A CN202110893183.4A CN202110893183A CN114298961A CN 114298961 A CN114298961 A CN 114298961A CN 202110893183 A CN202110893183 A CN 202110893183A CN 114298961 A CN114298961 A CN 114298961A
- Authority
- CN
- China
- Prior art keywords
- image
- difficulty
- network
- processing
- difficulty information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置、设备及存储介质，属于网络技术领域。通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
Description
技术领域
本申请涉及网络技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
自监督学习指的是在没有标注样本数据的情况下，通过辅助的训练任务，从无监督的样本数据中挖掘大量的自身信息，再用得到的自身信息对网络进行训练。
相关技术中，自监督学习常使用相似度预测作为一种训练任务，对图像数据进行处理时，网络基于图像数据的自身信息与网络输出的预测信息之间的相似度来计算损失函数。损失函数对网络参数进行更新，训练网络对于图像数据的特征提取能力，以得到用于图像处理的图像处理网络。
但基于相似度预测的训练任务对网络的训练并不充分，网络提取的特征泛化性不佳，以致于图像处理网络的准确性受到影响。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够强化图像处理网络的泛化性，以提高图像处理网络的准确性。该技术方案如下：
一方面，提供了一种图像处理方法，该方法包括：
基于样本图像进行图像变换，得到第一变换图像和第二变换图像；
通过图像处理网络的第一分支网络和第二分支网络，分别对该第一变换图像和该第二变换图像进行处理，得到第一预测结果和第二预测结果；
通过该图像处理网络的难度感知网络，对该样本图像、该第一变换图像和该第二变换图像进行处理，确定参考难度信息，该参考难度信息用于表示将该样本图像转换至该第一变换图像的处理难度和将该样本图像转换至该第二变换图像的处理难度之间的比较结果；
基于该图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果；
基于该第一预测结果、该第二预测结果、该参考难度信息和该预测难度信息，对该图像处理网络进行训练，该图像处理网络用于对输入图像进行特征提取。
一方面，提供了一种图像处理方法，该方法包括：
获取待处理的图像；
通过图像处理网络，对该图像进行特征提取，得到该图像的图像特征；
其中，该图像处理网络基于样本图像、该样本图像对应的参考难度信息和预测难度信息训练得到，其中，该参考难度信息用于表示将该样本图像转换至第一变换图像的处理难度和将该样本图像转换至第二变换图像的处理难度之间的比较结果，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果。
一方面，提供了一种图像处理装置，该装置包括：
图像变换模块，用于基于样本图像进行图像变换，得到第一变换图像和第二变换图像；
图像处理模块，用于通过图像处理网络的第一分支网络和第二分支网络，分别对该第一变换图像和该第二变换图像进行处理，得到第一预测结果和第二预测结果；
参考难度模块，用于通过该图像处理网络的难度感知网络，对该样本图像、该第一变换图像和该第二变换图像进行处理，确定参考难度信息，该参考难度信息用于表示将该样本图像转换至该第一变换图像的处理难度和将该样本图像转换至该第二变换图像的处理难度之间的比较结果；
预测难度模块，用于基于该图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果；
网络训练模块，用于基于该第一预测结果、该第二预测结果、该参考难度信息和该预测难度信息，对该图像处理网络进行训练，该图像处理网络用于对输入图像进行特征提取。
在一种可能的实施方式中，该参考难度模块包括：
第一信息确定单元，用于通过该图像处理网络的难度感知网络分别对该样本图像、该第一变换图像和该第二变换图像进行特征提取，得到样本特征、第一图像特征和第二图像特征；基于该样本特征、该第一图像特征和该第二图像特征，确定第一难度信息和第二难度信息。
第二信息确定单元，用于在该第一难度信息的取值大于该第二难度信息的取值的情况下，则将该参考难度信息确定为0；在该第一难度信息的取值小于或等于该第二难度信息的取值的情况下，则将该参考难度信息确定为1。
在一种可能的实施方式中，该第一信息确定单元用于：
确定该样本特征和该第一图像特征在目标特征空间内的第一距离，基于该第一距离，确定该第一难度信息；
确定该样本特征和该第二图像特征在目标特征空间内的第二距离，基于该第二距离，确定该第二难度信息。
在一种可能的实施方式中，该预测难度模块用于：
对该第一中间特征和该第二中间特征进行拼接，得到拼接特征，对该拼接特征进行难度预测，得到该预测难度信息。
在一种可能的实施方式中，该网络训练模块包括：
损失函数确定单元，用于基于该第一预测结果和该第二预测结果，确定该损失函数中第一损失函数的函数值；基于该参考难度信息和该预测难度信息，确定损失函数中第二损失函数的函数值；将该第一损失函数的函数值与该第二损失函数的函数值之和，确定为该损失函数的函数值。
参数调整单元，用于对该图像处理网络中的该第一分支网络的第一网络参数进行调整；基于调整后的第一网络参数，对该第二分支网络的第二网络参数进行调整。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该计算机程序由该一个或多个处理器加载并执行以实现如上述图像处理方法。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该计算机程序由处理器加载并执行以实现上述图像处理方法。
一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序代码，该程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，使得该计算机设备执行上述图像处理方法。
通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的实施环境示意图；
图2是本申请实施例提供的一种图像处理方法的流程图；
图3是本申请实施例提供的一种图像处理网络的训练流程图；
图4是本申请实施例提供的一种图像处理网络的架构图；
图5是本申请实施例提供的一种图像处理装置的结构示意图；
图6是本申请实施例提供的一种图像处理装置的结构示意图；
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个图像是指两个或两个以上的图像。
云技术(Cloud Technology)是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识子模型使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
深度学习(Deep Learning，DL)属于机器学习的子类。它的灵感来源于人类大脑的工作方式，是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并非是一个全新的概念，可理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，人们对神经元的连接方法以及激活函数等方面做出了调整。其目的在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如文本、图像、声音。
图1是本申请实施例提供的一种图像处理方法的实施环境示意图，参见图1，该实施环境中可以包括终端110和服务器120。
终端110能够通过无线网络或有线网络与服务器120相连。可选地，终端110为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
服务器120用于执行本申请实施例提供的图像处理方法。可选地，服务器120是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中，用户能够通过终端110连接到服务器120，由服务器120对用户通过终端110上传的图像执行本申请实施例提供的图像处理方法。图像处理结束之后，服务器120将处理结果发送给终端110，用户能够通过终端110查看对图像的处理结果。该终端110和服务器120均可以为区块链系统中的节点，用于存储图像处理涉及到的相关数据，例如图像等。
需要说明的是，本申请实施例所处理的样本图像既能够由终端上传至服务器，也能够由服务器从样本数据库中自行获取，本申请实施例对此不作限定。
在介绍完本申请实施例的实施环境之后，下面将结合上述实施环境，对本申请实施例的应用场景进行介绍。需要说明的是，在下述说明过程中，终端也即是上述终端110，服务器也即是上述服务器120。
本申请实施例提供的图像处理方法能够应用于各种需要对图像进行处理的场景下，也即是，通过本申请实施例提供的图像处理方法，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。当然，随着科学技术的发展，本申请实施例提供的图像处理方法也能够应用在需要对其他类型的数据进行处理的场景下，本申请实施例对此不做限定。
在图像处理的场景下，以样本图像是皮肤镜诊断图像为例，服务器120从皮肤镜诊断数据库中获取皮肤镜诊断图像，基于处理难度感知的训练任务，使用该皮肤镜诊断图像对图像处理网络进行训练，以得到能够对皮肤镜诊断图像进行特征提取的图像处理网络。该图像处理网络可以对皮肤镜诊断图像进行精确的特征提取，得到其中包含的病理症状等信息。用户通过终端110得到该皮肤镜诊断图像的处理结果，也即是图像中包含的病理症状等信息，用于医疗诊断或数据分析等。
在介绍完本申请实施例的实施环境和应用场景之后，下面对本申请实施例提供的图像处理方法进行说明。本申请实施例提供的图像处理方法通过获取大量未标记的样本图像，对图像处理网络进行训练，每次迭代输入一个样本图像，通过本次迭代确定的该样本图像的相似度预测损失以及处理难度感知损失，调整图像处理网络的参数，再基于本次迭代得到的图像处理网络进行下一次迭代，直至某一次迭代满足训练结束条件。也即是，图像处理网络的训练过程是一个多次迭代过程，本申请实施例以其中一次迭代过程为例进行说明。图2是本申请实施例提供的一种图像处理方法的流程图，以执行主体为服务器为例，参见图2，方法包括：
201、服务器获取样本数据库中的样本图像，基于样本图像进行图像变换，得到第一变换图像和第二变换图像。
其中，该样本数据库是包含多个样本图像的图像数据库，例如，该样本数据库可以是包含多张皮肤镜诊断图像的皮肤镜诊断数据库，该样本图像即是该皮肤镜诊断数据库中的一张皮肤镜诊断图像。
在一些实施例中，该样本数据库中的该多个样本图像是属于同一类别但存在区别的多个图像。例如，该样本数据库有多个医学图像，该多个医学图像属于血管造影图像，且每个血管造影图像不同。在一些实施例中，该样本数据库包括属于多个类别的样本图像，每个类别下包括多个不同的样本图像。例如，该多个类别的样本图像包括：血管造影图像、皮肤镜诊断图像或肺部纹理图像等具有不同病理症状的图像。
其中，该图像变换可以是平移、旋转或去噪等图像变换类型，通过对样本图像进行图像变换，以得到与该样本图像具有不同图像质量或在不同视角下的变换图像，且所得到的第一变换图像和第二变换图像的图像质量或视角也不同。
在一些实施例中，服务器是区块链系统中的一个节点，而上述样本数据库存储于区块链系统的区块链上，服务器从自身所配置的该区块链上，获取该样本图像，通过基于区块链的样本图像存储，实现了数据共享的目的。
202、服务器通过该图像处理网络的第一分支网络和第二分支网络，分别对该第一变换图像和该第二变换图像进行处理，得到第一预测结果和第二预测结果。
其中，该第一分支网络包括第一特征提取层、第一映射层和预测层，分别用于对该第一变换图像进行特征提取、映射和预测，以得到该第一预测结果；该第二分支网络包括第二特征提取层和第二映射层，分别用于对该第二变换图像进行特征提取和映射，以得到该第二预测结果。
需要说明的是，该第二分支网络是作为该第一分支网络的参照网络，训练结束之后，服务器获取该第一分支网络作为训练完成的图像处理网络。
203、服务器通过图像处理网络的难度感知网络，对该样本图像、该第一变换图像和该第二变换图像进行处理，确定参考难度信息。
其中，该难度感知网络用于对该第一变换图像和该第二变换图像的处理难度进行感知，得到该参考难度信息。该难度感知网络包括第三特征提取层，用于分别对该样本图像、该第一变换图像和该第二变换图像进行特征提取。
其中，该参考难度信息用于表示将该样本图像转换至该第一变换图像的处理难度和将该样本图像转换至该第二变换图像的处理难度之间的比较结果。
204、服务器基于该第一分支网络的第一中间特征和该第二分支网络的第二中间特征，确定预测难度信息。
其中，该第一中间特征由该第一特征提取层得到，该第二中间特征由该第二特征提取层得到。该预测难度信息用于表示该第一变换图像的处理难度和该第二变换图像的处理难度之间的预测比较结果。
205、服务器基于该第一预测结果、该第二预测结果、该预测难度信息和该参考难度信息，对该图像处理网络进行训练，该图像处理网络用于对输入图像进行特征提取。
其中，通过确定该第一预测结果与该第二预测结果之间的空间距离，得到该图像处理网络的预测误差。该预测难度信息与该参考难度信息用于确定该图像处理网络对该样本图像进行处理的处理难度。
在一些实施例中，服务器是区块链系统中的一个节点，在通过训练得到图像处理网络后，服务器将该图像处理网络发布至区块链系统中，也即是以区块的形式存储至区块链，从而使得区块链系统中的其他节点能够应用该图像处理网络。
通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
上述步骤201至205对本申请实施例提供的图像处理方法进行了介绍，下面将结合一些例子，详细说明本申请实施例提供的图像处理方法中，对图像处理网络进行训练的过程。图3是本申请实施例提供的图像处理网络的训练流程图，参见图3，训练过程包括：
301、在第i次迭代过程中，服务器获取样本图像，基于样本图像进行图像变换，得到第一变换图像和第二变换图像，后续分别执行步骤302、303和308，其中，i为正整数。
在一些实施例中，对于上述样本图像进行图像变换时，采用一种图像变换类型，此时，该图像变换过程包括下述两种可能实施方式：
在一种可能实施例中，该图像变换过程包括：对同一个样本图像采用相同的变换类型、不同的变换参数进行图像变换，以得到第一变换图像和第二变换图像。例如，将样本图像在图像空间中顺时针旋转90°，得到该第一变换图像，将样本图像在图像空间中顺时针旋转130°，得到该第二变换图像。
在又一种可能实施例中，该图像变换过程包括：对同一个样本图像分别采用不同的变换类型进行图像变换，以得到第一变换图像和第二变换图像。例如，将该样本图像在图像空间中旋转顺时针90°，得到该第一变换图像，通过均值滤波器，对该样本图像进行去噪处理，得到该第二变换图像。
在一些实施例中，该图像变换采用多种不同变换来实现联合变换，也即是，对于样本图像，采用至少两种图像变换方式来进行图像变换，得到第一变换图像，采用至少两种图像变换方式来进行图像变换，得到第二变换图像，其中，所采用的图像变换方式可以相同也可以不同，在采用的图像变换方式相同的情况下，所采用的图像变换参数不同。例如，将该样本图像在图像空间中顺时针旋转90°，在将旋转后的图像通过均值滤波器进行去噪，以得到第一变换图像。
需要说明的是，上述图像变换采用哪种图像变换类型，本申请实施例对此不作限定。
302、服务器通过该第一分支网络的第一特征提取层，对该第一变换图像进行特征提取，得到第一中间特征，执行步骤304。
其中，该第一特征提取层用于对输入该第一分支网络的图像进行特征提取。
以该第一特征提取层包括至少一个卷积层为例进行说明，该第一特征提取层包括至少一个卷积层，服务器将该第一变换图像对应的像素值矩阵，输入该第一特征提取层，通过该第一特征提取层的至少一个卷积层，对该像素值矩阵进行卷积，得到该第一变换图像的特征图，也即是，该第一中间特征。其中，该卷积过程包括：以卷积层的卷积核大小作为滑动窗口，基于滑动窗口从该像素值矩阵中，获取与卷积核大小相同的子矩阵，将该子矩阵与卷积层的卷积核进行矩阵相乘再求和，得到特征图中的一个像素值，继续基于滑动窗口在像素值矩阵中进行滑动和相应计算，以得到第一变换图像的特征图。其中，卷积核是一个权值矩阵，矩阵大小最大不超过该像素值矩阵的大小。
在一些实施例中，该第一变换图像为灰度图像，例如血管造影图像，那么，该第一变换图像对应的像素值矩阵中的数值也即是灰度值；若该第一变换图像为彩色图像，例如，皮肤镜诊断图像，那么该第一变换图像对应的像素值矩阵则包括三个颜色通道对应的三个灰度值矩阵。对处于不同特征空间的图像进行特征提取的过程同理，在此不做赘述。
303、服务器通过该第二分支网络的第二特征提取层，对该第二变换图像进行特征提取，得到第二中间特征，执行步骤305。
其中，该第二特征提取层用于对输入该第二分支网络的图像进行特征提取。
相应的，该第二特征提取层包括至少一个卷积层，服务器将该第二变换图像对应的像素值矩阵输入该第二特征提取层，通过该第二特征提取层的至少一个卷积层对该像素值矩阵进行卷积，得到该第二变换图像的特征图，也即是，该第二中间特征。
由于该第一特征提取层与该第二特征提取层具有相同的网络结构，因此，通过第一特征提取层和第二特征提取层所得到的特征处于同一特征空间，且，该第一中间特征与该第二中间特征的尺寸相同。
需要说明的是，在i＝1的情况下，也即是，当前迭代为训练过程中的第一次迭代，则该第一分支网络和第二分支网络中的特征提取层的网络参数相同，而在i大于1的情况下，该第一分支网络和第二分支网络中的特征提取层的网络参数随着训练过程而发生变化，可能存在两者不同的情况。
304、服务器通过该第一分支网络的第一映射层，对该第一中间特征进行处理，得到第一映射特征，执行步骤306。
其中，该第一映射层对该第一中间特征进行降维处理，得到该第一映射特征。在一些实施例中，降维处理通过卷积实现。该第一映射层包含至少一个卷积层，通过该至少一个卷积层对该第一中间特征进行降维处理，以得到降维后的第一中间特征，也即是，第一映射特征。其卷积过程参见上述步骤302的描述。通过上述过程所得到的的第一映射特征的维度低于第一中间特征。
305、服务器通过该第二分支网络的第二映射层，对该第二中间特征进行处理，得到第二映射特征，执行步骤307。
其中，该第二映射层对该第二中间特征进行降维处理，得到该第二映射特征。该步骤305与步骤304同理，此处不做赘述。
306、服务器基于该第一映射特征，通过该第一分支网络的预测层，得到第一预测结果。
在一些实施例中，该预测层是一个多层感知器((Multi-layer Perceptron，MLP)，用于对该第一映射特征进行处理。多层感知器常用于拟合复杂的函数或解决分类问题，一般由输入层、隐藏层(也即是卷积层)和输出层组成。本申请实施例中，该预测层的输入层将输入的该第一映射特征传递给隐藏层，隐藏层对该第一映射特征进行卷积，并将卷积结果传递给输出层，最后，由输出层输出该卷积结果，也即是该第一预测结果。
需要说明的是，该预测层的输入层、至少一个隐藏层和输出层分别由多个节点组成，在本申请实施例中，该预测层中的输入层与输出层的节点数量相同，以确保该第一预测结果与该第一映射特征的尺寸相同。
307、服务器将该第二映射特征作为该第二分支网络的第二预测结果，执行步骤313。
其中，通过该第二分支网络将该第二映射特征直接输出，得到该第二预测结果。
308、服务器通过难度感知网络的第三特征提取层，分别对该样本图像、该第一变换图像和该第二变换图像进行特征提取，得到该样本特征、该第一图像特征和该第二图像特征。
其中，该第三特征提取层是与该第一特征提取层的网络结构可以相同也可以不同，其网络参数可以相同可以不同，其特征提取过程参照步骤302，通过该步骤308，服务器得到的该样本特征、该第一图像特征和该第二图像特征处于同一特征空间。
309、服务器基于该样本特征、该第一图像特征和该第二图像特征，确定第一难度信息和该第二难度信息，该第一难度信息用于表示将该样本图像转换至该第一变换图像的处理难度，该第二难度信息用于表示将该样本图像转换至该第二变换图像的处理难度。
其中，该步骤309包括：通过该图像处理网络的难度感知网络，对该样本图像、该第一变换图像和该第二变换图像进行处理，得到第一难度信息和第二难度信息，该第一难度信息用于表示将该样本图像转换至该第一变换图像的处理难度，该第二难度信息用于表示将该样本图像转换至该第二变换图像的处理难度。
在一些实施例中，对该样本图像、该第一变换图像和该第二变换图像进行处理，得到第一难度信息和第二难度信息的过程包括：确定该样本特征和该第一图像特征在目标特征空间内的第一距离，基于该第一距离，确定该第一难度信息；确定该样本特征和该第二图像特征在目标特征空间内的第二距离，基于该第二距离，确定该第二难度信息。其中，特征之间的距离可以表示将一个特征转换为另一个特征的处理难度，因此，通过上述距离所确定的难度信息，能够体现相应特征的处理难度。
以该第一距离和该第二距离采用欧氏距离表示为例，该第一距离和该第二距离的计算见公式(1)：
d(v1，x)＝||l1-lx||，d(v2，x)＝||l1-lx|| (1)
在公式(1)中，x是样本图像，v1是第一变换图像，v2是第二变换图像；d(x，y)是距离函数，lx是样本特征，l1是第一图像特征，l2是第二图像特征。
本申请实施例中在确定该第一距离与第二距离时，计算距离的函数还可以采用余弦距离或曼哈顿距离等，本申请实施例对此不作限定。
310、服务器基于该第一难度信息和该第二难度信息，确定参考难度信息，该参考难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的比较结果。
其中，该参考信息难度是一个二分类结果。在该第一难度信息的取值大于该第二难度信息的取值的情况下，则将该参考难度信息确定为0，表示第一变换图像的处理难度较大；在该第一难度信息的取值小于或等于该第二难度信息的取值的情况下，则将该参考难度信息确定为1，表示第二变换图像的处理难度较大。
需要说明的是，该参考难度信息作为一个正确的参考值，用与与预测难度信息对比。
311、服务器对该第一中间特征和该第二中间特征进行拼接，得到拼接特征。
其中，服务器在对特征进行拼接时，将该第一中间特征与该第二中间特征对应的矩阵按列拼接。
例如，该第一中间特征
与该第二中间特征
都是3×2的矩阵，通过按列拼接，则得到尺寸为6×2的矩阵，也即是，该拼接特征为
需要说明的是，该步骤311可以在步骤302和步骤303之后的任一时刻执行，例如，执行完步骤302和步骤303，则与步骤304并行执行步骤311。
312、服务器对该拼接特征进行难度预测，得到预测难度信息，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果。
其中，该难度预测网络是一个多层感知器，用于对输入的拼接特征进行处理，得到该预测难度信息，也即是，通过多层感知器对拼接特征的处理，判断该第一变换图像的处理难度与该第二变换图像的处理难度中，哪一个的处理难度更大。多层感知器的处理原理，参照步骤306，在此不做赘述。不同的是，本步骤中的多层感知器的输出层仅有一个节点，以保证输出一个分类结果。
该预测难度信息是一个二维向量形式的分类结果，该二维向量中包含上述该第一变换图像的处理难度更难的概率以及该第二变换图像的处理难度更难的概率，该二维向量可以表示为(P，1-P)，若P的数值大于1-P，则P对应的变换图像即被认为处理难度更大。
313、服务器基于该第一预测结果和该第二预测结果，确定第一损失函数的函数值。
其中，该第一损失函数用于确定该第一预测结果与该第二预测结果之间的相似程度，该第一损失函数可以基于该第一预测结果与该第二预测结果之间的空间距离来构建，能够体现该第一分支网络的预测误差。
以该第一损失函数Lsimilarity采用欧氏距离表示为例，见公式(2)。
Lsimilarity＝||q(z1)-sg(z2)|| (2)
在公式(2)中，z1表示该第一映射特征，z2表示该第二映射特征；q表示该第一分支网络预测层，q(z1)表示该第一分支网络基于第一映射特征z1所输出的第一预测结果；sg表示停止梯度标记，sg(z2)表示该第二预测结果，也即是该第二映射特征z2。
本申请实施例中以第一损失函数为计算欧氏距离的情况为例进行说明，在计算误差时，还可以采用L1范数或交叉熵等进行计算，本申请实施例对此不作限定。
314、服务器基于该预测难度信息与该参考难度信息，确定第二损失函数的函数值。
其中，服务器通过确定该预测难度信息与该参考难度信息之间的信息差，得到该第二损失函数的函数值。其中，该第二损失函数是以该参考难度信息为监督，来对图像处理网络的准确程度进行确定来构建。
本申请实施例以该第二损失函数Ldiff采用交叉熵损失函数为例，见公式(3)。
Ldiff＝-(y(logP)+(1-y)log(1-P)) (3)
其中，y是参考难度信息；P是该预测难度信息中的概率。
需要说明的是，该第二损失函数还可以是其他能够计算信息差的函数，例如，L1范数或均方误差等，本申请实施例对此不作限定。
315、服务器将该第一损失函数的函数值与该第二损失函数的函数值之和，确定为损失函数的函数值。
其中，该损失函数能够表示该第一分支网络预测该第二变换图像的实际误差，还有实际处理难度与预测处理难度的误差。损失函数L的计算见公式(4)。
L＝Lsimilarity+Ldiff (4)
其中，Lsimilarity表示第一损失函数，Ldiff表示第二损失函数。
316、服务器基于该损失函数的函数值，对该图像处理网络中的该第一分支网络的网络参数进行调整。
其中，服务器对该图像处理网络中的该第一分支网络的第一网络参数进行调整；该第一网络参数包括该第一特征提取层的参数与该第一映射层的参数。需要说明的是，该难度感知网络的参数以及该第一分支网络预测层的参数不随网络训练过程改变。
317、服务器基于调整后的第一网络参数，对该第二分支网络的第二网络参数进行调整。
其中，该第二网络参数包括该第二特征提取层的参数与该第二映射层的参数。服务器使用指数移动平均(Exponential Moving Average，EMA)，基于调整后的该第一网络参数，对该第二网络参数进行调整，具体计算见公式(5)。
ξi+1←τξi+(1-τ)θi+1 (5)
其中，θi+1为本次迭代过程中，调整后的该第一网络参数，ξi为本次迭代过程中，调整前的该第二网络参数；ξi+1为本次迭代过程中，调整后的该第二网络参数；τ为平衡两个网络参数关系的权重参数。
其中，在该损失函数的函数值或本次迭代过程不满足训练结束条件的情况下，对该图像处理网络中的该第一分支网络和该第二分支网络的网络参数进行调整，基于调整后的网络参数，进行下一次迭代。若该损失函数的函数值或本次迭代过程满足训练结束条件，则将本次参数调整过后的该第一分支网络作为训练完成的图像处理网络。其中，训练结束条件为损失函数达到最小值或者迭代次数达到目标次数或其他条件。
该第二分支网络的参数进行调整时，采用了指数移动平均的方法对该第二网络参数做平均，保持了网络参数更新的平缓，加强了图像处理网络的稳定性，进一步提高了图像处理的准确性。
图4为本申请实施例提供的一种图像处理网络的架构图，图像处理网络400包括图像处理层401、在线分支402(也即是第一分支网络)、目标分支403(也即是第二分支网络)、难度处理分支404(也即是难度感知网络)以及损失计算单元405。对应于上述实施方式，图像处理层401获取样本图像x，分别基于图像变换t与t’，得到第一变换图像υθ与第二变换图像υξ。将第一变换图像υθ输入在线分支402进行处理，将第二变换图像υξ输入目标分支403进行处理。将样本图像x、第一变换图像υθ与第二变换图像υξ同时输入难度处理分支404进行处理，得到参考难度信息。损失计算单元405基于参考难度信息，得到第二损失函数的函数值，第二损失函数用于表示处理难度的损失。在线分支402与目标分支403分别输出基于第一变换图像υθ与第二变换图像vξ的预测结果。损失计算单元405基于预测结果，得到第一损失函数的函数值，该第一损失函数用于表示预测结果之间的相似度。损失计算单元405基于第一损失函数的函数值和第二损失函数的函数值，输出总损失函数的函数值，基于总损失函数的函数值，对在线分支402的网络参数进行更新。基于更新后的在线分支402的网络参数，再对目标分支的网络参数进行更新，按照上述流程进行迭代训练，以得到图像处理网络。
在训练完成后，计算机设备(例如上述实施环境中的终端110)能够基于本申请实施例所训练得到的该图像处理网络，对获取到的待处理图像进行特征提取，进而得到该图像的图像特征。其中，该图像处理网络是基于样本图像、该样本图像对应的参考难度信息和预测难度信息训练得到的，其中，参考难度信息用于表示将该样本图像转换至第一变换图像的处理难度和将该样本图像转换至第二变换图像的处理难度之间的比较结果，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果。其训练过程不再赘述。通过上述过程提取到的图像特征具有更丰富且更准确的特征表达，能够包含图像的关键信息，基于所提取的图像特征可以进一步实现分类或者分割等图像处理任务。
基于本申请实施例提出的图像处理方法，在对图像进行处理时，例如分类或者分割等，首先可以使用本技术方案提出的基于处理难度感知的自监督方法，在图像数据库中的大量未标注图像上进行网络预训练，从而让网络学习到未标注图像的隐藏特征和强大的特征表示能力。对于预训练得到的图像处理网络，基于同一图像数据库中的少量标注图像进行微调，从而提高图像处理网络的性能，得到更好的图像处理准确性。例如，图像数据库是皮肤镜诊断数据库，该数据库包含2万张皮肤镜诊断图像，使用库中的1万6千张图像用于网络预训练，再基于剩余4000张带标签图像对预训练得到的网络进行有监督训练。
上述技术方案中，通过基于处理难度感知的自监督学习方法，图像处理网络能够从大量未标注训练样本中得到鲁棒的特征信息，从而减少网络训练对标注训练样本的需求。图像处理网络能够在少量样本上取得优异的表现。
通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
图5是本申请实施例提供的一种图像处理装置的结构示意图，参见图5，该装置包括：
图像变换模块501，用于基于样本图像进行图像变换，得到第一变换图像和第二变换图像；
图像处理模块502，用于通过图像处理网络的第一分支网络和第二分支网络，分别对该第一变换图像和该第二变换图像进行处理，得到第一预测结果和第二预测结果；
参考难度模块503，用于通过该图像处理网络的难度感知网络，分别对该样本图像、该第一变换图像和该第二变换图像进行处理，确定参考难度信息，该参考难度信息用于表示将该样本图像转换至该第一变换图像的处理难度和将该样本图像转换至该第二变换图像的处理难度之间的比较结果；
预测难度模块504，用于基于图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果；
网络训练模块505，用于基于该第一预测结果、该第二预测结果、该参考难度信息和该预测难度信息，对该图像处理网络进行训练，该图像处理网络用于对输入图像进行特征提取。
在一种可能的实施方式中，该参考难度模块503用于：
通过该图像处理网络的难度感知网络，分别对该样本图像、该第一变换图像和该第二变换图像进行处理，得到第一难度信息和第二难度信息，该第一难度信息用于表示将该样本图像转换至该第一变换图像的处理难度，该第二难度信息用于表示将该样本图像转换至该第二变换图像的处理难度；
基于该第一难度信息和该第二难度信息，确定参考难度信息，该参考难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的比较结果。
在一种可能的实施方式中，该预测难度模块504用于：
对该第一中间特征和该第二中间特征进行拼接，得到拼接特征，对该拼接特征进行难度预测，得到该预测难度信息。
在一种可能的实施方式中，该网络训练模块505用于：
在第i次迭代过程中，基于该第一预测结果、该第二预测结果、该参考难度信息和该预测难度信息，确定损失函数的函数值；
在该函数值或第i次迭代过程不满足训练结束条件的情况下，对该图像处理网络中的该第一分支网络和该第二分支网络的网络参数进行调整，基于调整后的网络参数，进行第i+1次迭代，其中，i为正整数。
在一种可能的实施方式中，该参考难度模块503包括：
第一信息确定单元，用于通过该图像处理网络的难度感知网络分别对该样本图像、该第一变换图像和该第二变换图像进行特征提取，得到样本特征、第一图像特征和第二图像特征；基于该样本特征、该第一图像特征和该第二图像特征，确定第一难度信息和第二难度信息。
第二信息确定单元，用于在该第一难度信息的取值大于该第二难度信息的取值的情况下，则将该参考难度信息确定为0；在该第一难度信息的取值小于或等于该第二难度信息的取值的情况下，则将该参考难度信息确定为1。
在一种可能的实施方式中，该第一信息确定单元用于：
确定该样本特征和该第一图像特征在目标特征空间内的第一距离，基于该第一距离，确定该第一难度信息；
确定该样本特征和该第二图像特征在目标特征空间内的第二距离，基于该第二距离，确定该第二难度信息。
在一种可能的实施方式中，该网络训练模块505包括：
损失函数确定单元，用于基于该第一预测结果和该第二预测结果，确定该损失函数中第一损失函数的函数值；基于该参考难度信息和该预测难度信息，确定损失函数中第二损失函数的函数值；将该第一损失函数的函数值与该第二损失函数的函数值之和，确定为该损失函数的函数值。
参数调整单元，用于对该图像处理网络中的该第一分支网络的第一网络参数进行调整；基于调整后的第一网络参数，对该第二分支网络的第二网络参数进行调整。
需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
图6是本申请实施例提供的一种图像处理装置的结构示意图，参见图6，该装置包括：
获取模块601，用于获取待处理的图像；
特征提取模块602，用于通过图像处理网络，对该图像进行特征提取，得到该图像的图像特征；
其中，该图像处理网络基于样本图像、该样本图像对应的参考难度信息和预测难度信息训练得到，其中，该参考难度信息用于表示将该样本图像转换至第一变换图像的处理难度和将该样本图像转换至第二变换图像的处理难度之间的比较结果，该预测难度信息用于表示对该第一变换图像的处理难度和该第二变换图像的处理难度的预测比较结果。
需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
通过本申请实施例提供的技术方案，对该图像进行处理时，基于处理难度感知训练任务，通过图像与变换后的图像之间的语义差距确定参考难度信息。将参考难度信息与预测难度信息对比，得到处理难度的误差，并结合相似度预测训练任务得到的预测结果之间的相似度，对图像处理网络进行训练。通过上述方法能够为图像处理网络的训练提供更加丰富多样的特征表达，得到泛化性强的图像处理网络，以提高图像处理网络的准确性。
本申请实施例提供了一种服务器，用于执行上述方法，这里的服务器也即是上述服务器120，下面对服务器的结构进行介绍：
图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)701和一个或多个的存储器702，其中，该一个或多个存储器702中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由处理器执行以完成上述实施例中的图像处理方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only MemoryROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序代码，该程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，使得该计算机设备执行上述图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种图像处理方法，其特征在于，所述方法包括：
基于样本图像进行图像变换，得到第一变换图像和第二变换图像；
通过图像处理网络的第一分支网络和第二分支网络，分别对所述第一变换图像和所述第二变换图像进行处理，得到第一预测结果和第二预测结果；
通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，确定参考难度信息，所述参考难度信息用于表示将所述样本图像转换至所述第一变换图像的处理难度和将所述样本图像转换至所述第二变换图像的处理难度之间的比较结果；
基于所述图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息，所述预测难度信息用于表示对所述第一变换图像的处理难度和所述第二变换图像的处理难度的预测比较结果；
基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，对所述图像处理网络进行训练，所述图像处理网络用于对输入图像进行特征提取。
2.根据权利要求1所述的方法，其特征在于，所述通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，确定参考难度信息包括：
通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，得到第一难度信息和第二难度信息，所述第一难度信息用于表示将所述样本图像转换至所述第一变换图像的处理难度，所述第二难度信息用于表示将所述样本图像转换至所述第二变换图像的处理难度；
基于所述第一难度信息和所述第二难度信息，确定所述参考难度信息，所述参考难度信息用于表示对所述第一变换图像的处理难度和所述第二变换图像的处理难度的比较结果。
3.根据权利要求2所述的方法，其特征在于，所述通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，得到第一难度信息和第二难度信息包括：
通过所述图像处理网络的难度感知网络分别对所述样本图像、所述第一变换图像和所述第二变换图像进行特征提取，得到样本特征、第一图像特征和第二图像特征；基于所述样本特征、所述第一图像特征和所述第二图像特征，确定所述第一难度信息和所述第二难度信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述样本特征、所述第一图像特征和所述第二图像特征，确定所述第一难度信息和所述第二难度信息包括：
确定所述样本特征和所述第一图像特征在目标特征空间内的第一距离，基于所述第一距离，确定所述第一难度信息；
确定所述样本特征和所述第二图像特征在目标特征空间内的第二距离，基于所述第二距离，确定所述第二难度信息。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一难度信息和所述第二难度信息，确定所述参考难度信息包括：
在所述第一难度信息的取值大于所述第二难度信息的取值的情况下，则将所述参考难度信息确定为0；
在所述第一难度信息的取值小于或等于所述第二难度信息的取值的情况下，则将所述参考难度信息确定为1。
6.根据权利要求1所述的方法，其特征在于，所述基于所述图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息包括：
对所述第一中间特征和所述第二中间特征进行拼接，得到拼接特征，对所述拼接特征进行难度预测，得到所述预测难度信息。
7.根据权利要求1所述的方法，其特征在于，对所述图像处理网络的训练过程包括多次迭代过程，所述基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，对所述图像处理网络进行训练包括：
在第i次迭代过程中，基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，确定损失函数的函数值，i为正整数；
在所述函数值或第i次迭代过程不满足训练结束条件的情况下，对所述图像处理网络中的所述第一分支网络和所述第二分支网络的网络参数进行调整，基于调整后的网络参数，进行第i+1次迭代。
8.根据权利要求7所述的方法，其特征在于，所述基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，确定损失函数的函数值包括：
基于所述第一预测结果和所述第二预测结果，确定所述损失函数中第一损失函数的函数值；
基于所述参考难度信息和所述预测难度信息，确定损失函数中第二损失函数的函数值；
将所述第一损失函数的函数值与所述第二损失函数的函数值之和，确定为所述损失函数的函数值。
9.根据权利要求7所述的方法，其特征在于，所述对所述图像处理网络中的所述第一分支网络和所述第二分支网络的网络参数进行调整包括：
对所述图像处理网络中的所述第一分支网络的第一网络参数进行调整；基于调整后的第一网络参数，对所述第二分支网络的第二网络参数进行调整。
10.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的图像；
通过图像处理网络，对所述图像进行特征提取，得到所述图像的图像特征；
其中，所述图像处理网络基于样本图像、所述样本图像对应的参考难度信息和预测难度信息训练得到，其中，所述参考难度信息用于表示将所述样本图像转换至第一变换图像的处理难度和将所述样本图像转换至第二变换图像的处理难度之间的比较结果，所述预测难度信息用于表示对所述第一变换图像的处理难度和所述第二变换图像的处理难度的预测比较结果。
11.一种图像处理装置，其特征在于，所述装置包括：
图像变换模块，用于基于样本图像进行图像变换，得到第一变换图像和第二变换图像；
图像处理模块，用于通过图像处理网络的第一分支网络和第二分支网络，分别对所述第一变换图像和所述第二变换图像进行处理，得到第一预测结果和第二预测结果；
参考难度模块，用于通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，确定参考难度信息，所述参考难度信息用于表示将所述样本图像转换至所述第一变换图像的处理难度和将所述样本图像转换至所述第二变换图像的处理难度之间的比较结果；
预测难度模块，用于基于所述图像处理网络的第一分支网络的第一中间特征和第二分支网络的第二中间特征，确定预测难度信息，所述预测难度信息用于表示对所述第一变换图像的处理难度和所述第二变换图像的处理难度的预测比较结果；
网络训练模块，用于基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，对所述图像处理网络进行训练，所述图像处理网络用于对输入图像进行特征提取。
12.根据权利要求11所述的装置，其特征在于，所述参考难度模块用于：
通过所述图像处理网络的难度感知网络，对所述样本图像、所述第一变换图像和所述第二变换图像进行处理，得到第一难度信息和第二难度信息，所述第一难度信息用于表示将所述样本图像转换至所述第一变换图像的处理难度，所述第二难度信息用于表示将所述样本图像转换至所述第二变换图像的处理难度；
基于所述第一难度信息和所述第二难度信息，确定参考难度信息，所述参考难度信息用于表示对所述第一变换图像的处理难度和所述第二变换图像的处理难度的比较结果。
13.根据权利要求11所述的装置，其特征在于，所述对所述图像处理网络的训练过程包括多次迭代过程，所述网络训练模块用于：
在第i次迭代过程中，基于所述第一预测结果、所述第二预测结果、所述参考难度信息和所述预测难度信息，确定损失函数的函数值，其中，i为正整数；
在所述函数值或第i次迭代过程不满足训练结束条件的情况下，对所述图像处理网络中的所述第一分支网络和所述第二分支网络的网络参数进行调整，基于调整后的网络参数，进行第i+1次迭代。
14.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求10任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893183.4A CN114298961A (zh) | 2021-08-04 | 2021-08-04 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893183.4A CN114298961A (zh) | 2021-08-04 | 2021-08-04 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298961A true CN114298961A (zh) | 2022-04-08 |
Family
ID=80964148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110893183.4A Pending CN114298961A (zh) | 2021-08-04 | 2021-08-04 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298961A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936979A (zh) * | 2022-06-07 | 2022-08-23 | 中南大学 | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 |
-
2021
- 2021-08-04 CN CN202110893183.4A patent/CN114298961A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936979A (zh) * | 2022-06-07 | 2022-08-23 | 中南大学 | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 |
| CN114936979B (zh) * | 2022-06-07 | 2023-05-30 | 中南大学 | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797893B (zh) | 一种神经网络的训练方法、图像分类系统及相关设备 | |
| CN112651511A (zh) | 一种训练模型的方法、数据处理的方法以及装置 | |
| CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
| CN113064968B (zh) | 一种基于张量融合网络的社交媒体情感分析方法及系统 | |
| CN111324696A (zh) | 实体抽取方法、实体抽取模型的训练方法、装置及设备 | |
| WO2023280113A1 (zh) | 数据处理方法、神经网络模型的训练方法及装置 | |
| CN113435520A (zh) | 神经网络的训练方法、装置、设备及计算机可读存储介质 | |
| CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| WO2023185925A1 (zh) | 一种数据处理方法及相关装置 | |
| Wu | Image retrieval method based on deep learning semantic feature extraction and regularization softmax | |
| CN115238909A (zh) | 一种基于联邦学习的数据价值评估方法及其相关设备 | |
| Hu et al. | Attentional weighting strategy-based dynamic GCN for skeleton-based action recognition | |
| CN114298961A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Cortés et al. | A deep neural network architecture to estimate node assignment costs for the graph edit distance | |
| CN116595479A (zh) | 基于图双重自编码器的社区发现方法、系统、设备及介质 | |
| CN114462707A (zh) | 一种基于特征深度融合的Web服务多维QoS联合预测方法 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113887501A (zh) | 行为识别方法、装置、存储介质及电子设备 | |
| CN114692715A (zh) | 一种样本标注方法及装置 | |
| CN113010772A (zh) | 一种数据处理方法、相关设备及计算机可读存储介质 | |
| CN115146757A (zh) | 一种神经网络模型的训练方法及装置 | |
| Shanqing et al. | A multi-level feature weight fusion model for salient object detection | |
| Zhou et al. | Abnormal Behavior Determination Model of Multimedia Classroom Students Based on Multi-task Deep Learning | |
| CN111597211B (zh) | 一种数据流图处理方法、装置、设备以及可读存储介质 | |
| CN116701972B (zh) | 业务数据处理方法、装置、设备以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |