CN111612068A - 图像标注方法、装置、计算机设备及存储介质 - Google Patents

图像标注方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111612068A
CN111612068A CN202010436238.4A CN202010436238A CN111612068A CN 111612068 A CN111612068 A CN 111612068A CN 202010436238 A CN202010436238 A CN 202010436238A CN 111612068 A CN111612068 A CN 111612068A
Authority
CN
China
Prior art keywords
image
sample
template
mapping information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010436238.4A
Other languages
English (en)
Other versions
CN111612068B (zh
Inventor
曹世磊
王淑欣
谢苁
王连生
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010436238.4A priority Critical patent/CN111612068B/zh
Publication of CN111612068A publication Critical patent/CN111612068A/zh
Application granted granted Critical
Publication of CN111612068B publication Critical patent/CN111612068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像标注方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：获取目标图像、模板图像和模板图像对应的模板标注图像，调用图像处理模型，对模板图像和目标图像进行对比处理，得到由模板图像映射到目标图像的映射信息，根据映射信息对模板标注图像进行映射处理，得到目标图像对应的目标标注图像。图像处理模型具有获取由模板图像映射到目标图像的映射信息的功能，且该映射信息也适用于模板图像对应的标注图像和目标图像对应的标注图像，根据该映射信息对模板标注图像进行映射得到的目标标注图像，实现了对目标图像的标注，且保证了目标标注图像的准确性。

Description

图像标注方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种图像标注方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的不断发展，对图像进行处理的需求越来越多。其中，图像标注是将图像分成若干个特定的区域，并为每个区域标注特定标签的技术。例如，在医疗领域，对医学图像进行标注得到医学图像中的脾、肝、胃、胰腺等器官。
相关技术中，人工对大量样本图像进行标注，得到每个样本图像对应的样本标注图像，根据大量样本图像和对应的样本标注图像，训练图像标注模型，后续即可调用训练好的图像标注模型对任一目标图像进行处理，得到该目标图像对应的标注图像。
但是上述方法中，需要人工对大量样本图像进行标注以便训练图像标注模型，耗费人力和时间，导致图像标注模型的训练效率较低，进而导致图像标注的效率较低。
发明内容
本申请实施例提供了一种图像标注方法、装置、计算机设备及存储介质，可以提高图像标注的效率。所述技术方案如下：
一方面，提供了一种图像标注方法，所述方法包括：
获取目标图像、模板图像和所述模板图像对应的模板标注图像，所述模板标注图像包括所述模板图像中至少一个区域的标注标签；
调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息；
根据所述映射信息对所述模板标注图像进行映射处理，得到所述目标图像对应的目标标注图像，所述目标标注图像包括所述目标图像中至少一个区域的标注标签。
另一方面，提供了一种图像标注方法，所述装置包括：
第一图像获取模块，用于获取目标图像、模板图像和所述模板图像对应的模板标注图像，所述模板标注图像包括所述模板图像中至少一个区域的标注标签；
对比处理模块，用于调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息；
第一映射处理模块，用于根据所述映射信息对所述模板标注图像进行映射处理，得到所述目标图像对应的目标标注图像，所述目标标注图像包括所述目标图像中至少一个区域的标注标签。
可选地，所述第一图像获取模块，包括：
图像获取子模块，用于获取目标图像、训练所述图像处理模型时采用的多个样本模板图像和所述多个样本模板图像对应的样本模板标注图像；
对比处理子模块，用于调用所述图像处理模型，分别对所述多个样本模板图像和所述目标图像进行对比处理，得到由所述每个样本模板图像映射到所述目标图像的第一样本映射信息；
映射处理子模块，用于分别根据每个第一样本映射信息，对所述每个第一样本映射信息对应的样本模板图像进行映射处理，得到所述每个样本模板图像对应的重建模板图像；
图像选取子模块，用于从多个重建模板图像中确定与所述目标图像的关联度最高的重建模板图像，选取所述重建模板图像对应的样本模板图像以及样本模板标注图像。
可选地，所述对比处理模块，包括：
编码处理子模块，用于调用所述图像处理模型中的编码网络，分别对所述模板图像和所述目标图像进行编码处理，得到所述模板图像对应的模板特征信息和所述目标图像对应的目标特征信息；
解码处理子模块，用于调用所述图像处理模型中的解码网络，对所述模板特征信息和所述目标特征信息进行解码处理，得到由所述模板图像映射到所述目标图像的映射信息。
可选地，所述编码网络包括n个编码层，所述n为大于1的正整数，所述编码处理子模块，用于：
调用所述n个编码层，对所述模板图像依次进行编码处理，得到所述模板图像对应的模板特征信息；
调用所述n个编码层，对所述目标图像依次进行编码处理，得到所述目标图像对应的目标特征信息。
可选地，所述解码网络包括n个解码层，所述解码处理子模块，用于：
调用所述解码网络中的第一个解码层，对所述模板特征信息和所述目标特征信息进行解码处理，得到映射信息；
调用所述解码网络中的第二个解码层，对所述第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及所述映射信息进行解码处理，得到下一个映射信息，直至得到所述解码网络中的最后一个解码层输出的映射信息；
其中，第k个解码层与第n+1-k个编码层对应，所述k为不大于n的正整数。
可选地，所述解码处理子模块，用于：
调用所述第一个解码层中的第一对比单元，对所述模板特征信息和所述目标特征信息进行对比处理，得到所述目标特征信息与所述模板特征信息之间的差异信息；
调用所述第一个解码层中的第一解码单元，对所述差异信息和所述目标特征信息进行解码处理，得到所述映射信息。
可选地，所述解码处理子模块，用于：
调用所述第二个解码层中的第一映射单元，对所述第二个解码层对应的编码层输出的模板特征信息和所述第一个解码层输出的映射信息进行映射处理，得到重建特征信息；
调用所述第二个解码层中的第二对比单元，对所述第二个解码层对应的编码层输出的目标特征信息和所述重建特征信息进行对比处理，得到差异信息；
调用所述第二个解码层中的第二解码单元，对所述第二个解码层对应的编码层输出的目标特征信息、所述差异信息和所述第一个解码层输出的映射信息进行解码处理，得到下一个映射信息。
可选地，所述装置还包括：
第二图像获取模块，用于获取第一样本图像和第二样本图像；
所述对比处理模块，还用于调用所述图像处理模型，对所述第一样本图像和所述第二样本图像进行对比处理，得到由所述第一样本图像映射到所述第二样本图像的第一样本映射信息，以及所述由第二样本图像映射到所述第一样本图像的第二样本映射信息；
训练模块，用于根据所述第一样本映射信息和所述第二样本映射信息，训练所述图像处理模型。
可选地，所述对比处理模块，包括：
编码处理子模块，用于调用所述图像处理模型中的编码网络，分别对所述第一样本图像和所述第二样本图像进行编码处理，得到所述第一样本图像对应的第一样本特征信息和所述第二样本图像对应的第二样本特征信息；
解码处理子模块，用于调用所述图像处理模型中的解码网络，对所述第一样本特征信息和所述第二样本特征信息进行解码处理，得到由所述第一样本图像映射到所述第二样本图像的第一样本映射信息，以及由所述第二样本图像映射到所述第一样本图像的第二样本映射信息。
可选地，所述编码网络包括n个编码层，所述n为大于1的正整数，所述编码处理子模块，用于：
调用所述n个编码层，对所述第一样本图像依次进行编码处理，得到所述第一样本图像对应的第一样本特征信息；
调用所述n个编码层，对所述第二样本图像依次进行编码处理，得到所述第二样本图像对应的第二样本特征信息。
可选地，所述解码网络包括n个解码层，所述解码处理子模块，用于：
调用所述解码网络中的第一个解码层，对所述第一样本特征信息和所述第二样本特征信息进行解码处理，得到第一样本映射信息；
调用所述解码网络中的第二个解码层，对所述第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及所述第一样本映射信息进行解码处理，得到下一个第一样本映射信息，直至得到所述解码网络中的最后一个解码层输出的第一样本映射信息；
调用所述解码网络中的第一个解码层，对所述第一样本特征信息和所述第二样本特征信息进行解码处理，得到第二样本映射信息；
调用所述解码网络中的第二个解码层，对所述第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及所述第二样本映射信息进行解码处理，得到下一个第二样本映射信息，直至得到所述解码网络中的最后一个解码层输出的第二样本映射信息；
其中，第k个解码层与第n+1-k个编码层对应，所述k为不大于n的正整数。
可选地，所述解码处理子模块，用于：
调用所述第一个解码层中的第一对比单元，对所述第一样本特征信息和所述第二样本特征信息进行对比处理，得到所述第二样本特征信息与所述第一样本特征信息之间的第一样本差异信息；
调用所述第一个解码层中的第一解码单元，对所述第一样本差异信息和所述第二样本特征信息进行解码处理，得到所述第一样本映射信息。
可选地，所述解码处理子模块，用于：
调用所述第二个解码层中的第一映射单元，对所述第二个解码层对应的编码层输出的第一样本特征信息和所述第一个解码层输出的第一样本映射信息进行映射处理，得到第一重建特征信息；
调用所述第二个解码层中的第二对比单元，对所述第二个解码层对应的编码层输出的第二样本特征信息和所述第一重建特征信息进行对比处理，得到第一样本差异信息；
调用所述第二个解码层中的第二解码单元，对所述第二个解码层对应的编码层输出的第二样本特征信息、所述第一样本差异信息和所述第一个解码层输出的第一样本映射信息进行解码处理，得到下一个第一样本映射信息。
可选地，所述解码处理子模块，用于：
调用所述第一个解码层中的第一对比单元，对所述第二样本特征信息和所述第一样本特征信息进行对比处理，得到所述第一样本特征信息与所述第二样本特征信息之间的第二样本差异信息；
调用所述第一个解码层中的第一解码单元，对所述第二样本差异信息和所述第一样本特征信息进行解码处理，得到所述第二样本映射信息。
可选地，所述解码处理子模块，用于：
调用所述第二个解码层中的第一映射单元，对所述第二个解码层对应的编码层输出的第二样本特征信息和所述第一个解码层输出的第二样本映射信息进行映射处理，得到第二重建特征信息；
调用所述第二个解码层中的第二对比单元，对所述第二个解码层对应的编码层输出的第一样本特征信息和所述第二重建特征信息进行对比处理，得到第二样本差异信息；
调用所述第二个解码层中的第二解码单元，对所述第二个解码层对应的编码层输出的第一样本特征信息、所述第二样本差异信息和所述第一个解码层输出的第二样本映射信息进行解码处理，得到下一个第二样本映射信息。
可选地，所述训练模块，包括：
损失值获取子模块，用于对所述第一样本映射信息和所述第二样本映射信息进行处理，得到所述第一样本映射信息和所述第二样本映射信息之间的损失值；
训练子模块，用于根据所述损失值，训练所述图像处理模型。
可选地，所述损失值包括以下至少一项：
所述第一样本映射信息对应的第一平滑损失值，所述第一平滑损失值表示根据所述第一样本映射信息对所述第一样本图像进行映射处理得到的第一重建图像的平滑程度；
所述第二样本映射信息对应的第二平滑损失值，所述第二平滑损失值表示根据所述第二样本映射信息对所述第二样本图像进行映射处理得到的第二重建图像的平滑程度；
所述第一样本映射信息和所述第二样本映射信息之间的一致性损失值，所述一致性损失值表示所述第一样本映射信息与所述第二样本映射信息之间的一致程度；
所述第一样本映射信息对应的第一相似性损失值，所述第一相似性损失值表示根据所述第一样本映射信息对所述第一样本图像进行映射处理得到的第一重建图像，与所述第二样本图像之间的相似程度；
所述第二样本映射信息对应的第二相似性损失值，所述第二相似性损失值表示根据所述第二样本映射信息对所述第二样本图像进行映射处理得到的第二重建图像，与所述第一样本图像之间的相似程度。
可选地，所述装置还包括：
第二映射处理模块，用于根据所述第一样本映射信息对所述第一样本图像进行映射处理，得到第一重建图像；
相似值获取模块，用于获取所述第二样本图像和所述第一重建图像之间的第一相似值；
相似性损失值获取模块，用于根据所述第一相似值，获取所述第一样本映射信息对应的第一相似性损失值。
可选地，所述第一样本映射信息包括多个位置对应的第一映射值，所述相似性损失值获取模块，包括：
差异值获取子模块，用于根据所述第一样本图像中每个位置对应的第一映射值，以及所述第二样本图像中每个位置对应的第二映射值，获取所述第一样本图像中每个位置对应的第一差异值；
相似性损失值获取子模块，用于根据所述第一差异值和所述第一相似值，获取所述第一样本映射信息对应的第一相似性损失值。
可选地，所述装置还包括：
第二映射处理模块，用于根据所述第二样本映射信息对所述第二样本图像进行处理，得到第二重建图像；
相似值获取模块，用于获取所述第一样本图像和所述第二重建图像之间的第二相似值；
相似性损失值获取模块，用于根据所述第二相似值，获取所述第二样本映射信息对应的第二相似性损失值。
可选地，所述第一样本映射信息包括多个位置对应的第一映射值，所述相似性损失值获取模块，包括：
差异值获取子模块，用于根据所述第一样本图像中每个位置对应的第一映射值，以及所述第二样本图像中每个位置对应的第二映射值，获取所述第二样本图像中每个位置对应的第二差异值；
相似性损失值获取子模块，用于根据所述第二差异值和所述第二相似值，获取所述第二样本映射信息对应的第二相似性损失值。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如所述图像标注方法中所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行，以实现如所述图像标注方法中所执行的操作。
本申请实施例提供的方法、装置、计算机设备及存储介质，图像处理模型具有获取由模板图像映射到目标图像的映射信息的功能，映射信息代表模板图像与目标图像之间的映射关系，且该映射关系也适用于模板图像对应的标注图像和目标图像对应的标注图像，根据该映射信息对模板标注图像进行映射得到的目标标注图像，实现了对目标图像的图像分割，且保证了目标标注图像的准确性。由于仅需获取模板图像对应的模板标注图像，无需人工对大量模板图像进行标注，也不需要训练图像标注模型，有效节省了人力和时间，通过计算机设备代替人工完成对图像的标注，可以提高实现图像标注的效率。
并且，获取多个样本模板图像对应的第一样本映射信息，根据每个第一样本映射信息得到每个样本模板图像对应的重建模板图像，从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取该重建模板图像对应的样本模板图像以及样本模板标注图像。由于第一样本映射信息为样本模板图像映射到目标图像所采用的映射信息，因此根据第一样本映射信息对样本模板图像进行映射处理，得到的重建模板图像与该目标图像的关联度越高，该第一样本映射信息越准确，因此利用该第一样本映射信息以及样本模板标注图像获取目标标注图像的准确率高。
并且，调用编码网络中的第一编码层、第二编码层和第三编码层，对图像进行下采样处理，第二编码层输出的特征信息是比第一编码层输出的特征信息更深层的特征信息，第三编码层输出的特征信息是比第二编码层输出的特征信息更深层的特征信息，由此实现了提取图像的不同层次的特征信息，后续可根据该不同层次的特征信息获取对应的映射信息，使得获取的映射信息更加准确。
并且，调用解码网络中的第一解码层、第二解码层和第三解码层，对特征信息进行上采样处理，第二解码层根据第一解码层输出的映射信息对特征信息进行处理得到下一个映射信息，第三解码层根据第二解码层输出的映射信息对特征信息进行处理得到下一个映射信息，由此实现了根据不同层次的特征信息对映射信息进行调整，使得最终获取的映射信息更加准确，可以进一步提高目标标注图像的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理模型的示意图。
图2是本申请实施例提供的另一种图像处理模型的示意图。
图3是本申请实施例提供的一种图像标注方法的流程图。
图4是本申请实施例提供的另一种图像标注方法的流程图。
图5是本申请实施例提供的一种获取特征信息的流程示意图。
图6是本申请实施例提供的一种编码网络的结构示意图。
图7是本申请实施例提供的另一种获取特征信息的流程示意图。
图8是本申请实施例提供的一种获取映射信息的流程示意图。
图9是本申请实施例提供的一种解码层的结构示意图。
图10是本申请实施例提供的一种图像处理方法的示意图。
图11是本申请实施例提供的另一种图像标注方法的流程图。
图12是本申请实施例提供的一种图像处理模型训练方法的流程图。
图13是本申请实施例提供的另一种获取特征信息的流程示意图。
图14是本申请实施例提供的另一种获取特征信息的流程示意图。
图15是本申请实施例提供的另一种获取映射信息的流程示意图。
图16是本申请实施例提供的另一种获取映射信息的流程示意图。
图17是本申请实施例提供的一种训练图像处理模型的网络架构图。
图18是本申请实施例提供的一种图像标注方法的结构示意图。
图19是本申请实施例提供的另一种图像标注方法的结构示意图。
图20是本申请实施例提供的一种终端的结构示意图。
图21是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一样本映射信息称为第二样本映射信息，且类似地，可将第二样本映射信息称为第一样本映射信息。
其中，多个是指两个或者两个以上，例如，多个样本模板图像可以是两个样本模板图像、三个样本模板图像等任一大于等于二的整数个样本模板图像。每个是指至少一个中的每一个，例如，每个样本模板图像是指多个样本模板图像中的每一个样本模板图像，若多个样本模板图像为3个样本模板图像，则每个样本模板图像是指3个样本模板图像中的每一个样本模板图像。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的图像标注方法涉及人工智能技术、机器学习、计算机视觉技术等，通过下述实施例对图像标注方法进行说明。
本申请实施例提供了一种图像标注方法，执行主体为计算机设备。该计算机设备可以对模板图像和目标图像进行处理，最终得到目标图像对应的目标标注图像，实现对目标图像的标注。在一种可能实现方式中，该计算机设备为终端，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。在另一种可能实现方式中，该计算机设备为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
另外，终端和服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例提供的方法，可以应用于图像标注的任一场景下，
例如，在医学领域中对腹部图像进行标注的场景下，获取模板腹部图像、该模板腹部图像对应的模板标注图像以及待标注的目标腹部图像，模板标注图像中标注有模板腹部图像中的脾、左肾、食道、肝、胃、十二指肠和胰腺等腹部器官的区域。调用本申请实施例提供的图像处理模型，对模板腹部图像和目标腹部图像进行处理，得到由模板腹部图像映射到目标腹部图像的映射信息，根据该映射信息对模板腹部图像对应的模板标注图像进行映射处理，得到目标标注图像，该目标标注图像即为目标腹部图像对应的目标标注图像，该目标标注图像中标注有目标腹部图像中的脾、左肾、食道、肝、胃、十二指肠和胰腺等腹部器官的区域，由此实现了对目标腹部图像的标注。
在一种可能实现方式中，如图1所示，本申请实施例提供的图像处理模型可以包括编码网络1001和解码网络1002，该编码网络1001和解码网络1002连接。编码网络1001用于对任一图像进行处理得到该图像对应的特征信息，解码网络用于对任两个图像的特征信息进行处理得到这两个图像之间的映射信息。
其中，编码网络1001中包括第一编码层1011、第二编码层1021和第三编码层1031，第一编码层1011和第二编码层1021连接，第二编码层1021和第三编码层1031连接。其中，解码网络1002中包括第一解码层1012、第二解码层1022和第三解码层1032，第一解码层1012和第二解码层1022连接，第二解码层1022和第三解码层1032连接。
其中，第一解码层1012包括第一对比单元1112和第一解码单元1212，第一对比单元1112和第一解码单元1212连接。其中，第二解码层1022包括第一映射单元1122、第二对比单元1222和第二解码单元1322，第一映射单元1122和第二对比单元1222连接，第二对比单元1222和第二解码单元1322连接。其中，第三解码层1032包括第二映射单元1132、第三对比单元1232和第三解码单元1332，第二映射单元1132和第三对比单元1232连接，第三对比单元1232和第三解码单元1332连接。
可选地，如图2所示，第一编码层1011与第三解码层1032连接，第二编码层1021与第二解码层1022连接，第三编码层1031与第一解码层1012连接。
图3是本申请实施例提供的一种图像标注方法的流程图。本申请实施例的执行主体为计算机设备，参见图3，该方法包括：
301、获取目标图像、模板图像和模板图像对应的模板标注图像。
本申请实施例中，模板图像对应有模板标注图像，模板标注图像包括模板图像中至少一个区域的标注标签。例如，模板图像为模板腹部图像，则模板标注图像中包括该模板腹部图像中的脾、左肾、食道、肝、胃、十二指肠和胰腺等腹部器官的标注标签。其中，该标注标签可以为数值，或者为其他形式的标注标签，本申请实施例对此不做限定。
其中，该目标图像、模板图像和模板标注图像的尺寸相同，例如目标图像、模板图像和模板标注图像的尺寸均为96×96×64。
其中，该目标图像、模板图像和模板标注图像均可以为计算机设备预先存储的图像，或者由计算机设备从其他设备中下载的图像，或者由其他设备上传至该计算机设备中的图像，或者该目标图像还可以为该计算机设备当前采集到的图像，本申请实施例对此不做限定。例如，在对腹部器官进行标注的场景下，计算机设备通过CT(ComputedTomography，计算机设备断层扫描)成像技术采集腹部图像作为目标图像。
302、调用图像处理模型，对模板图像和目标图像进行对比处理，得到由模板图像映射到目标图像的映射信息。
本申请实施例中，图像处理模型是用于对图像进行处理获取图像之间的映射信息的模型。当计算机设备获取到目标图像和模板图像，则调用该图像处理模型，对模板图像和目标图像进行对比处理，得到由模板图像映射到目标图像的映射信息。
其中，该映射信息是指由模板图像的多个位置映射到目标图像的多个位置所采用的映射信息，也可以看作是模板图像变换到目标图像的位置偏移信息，或者说是模板图像变换到目标图像的光流运动信息。例如，当模板图像和目标图像为二维图像时，映射信息是指从模板图像中的各个像素位置映射到目标图像中对应的像素位置的映射信息。例如，当模板图像和目标图像为三维图像时，映射信息是指从模板图像中的各个体素位置映射到目标图像中的体素位置的映射信息。其中，该映射信息可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
303、根据映射信息对模板标注图像进行映射处理，得到目标图像对应的目标标注图像。
当计算机设备获取到由模板图像映射到目标图像的映射信息，则根据该映射信息对该模板图像对应的模板标注图像进行映射处理，得到一个新的标注图像，该标注图像即为目标图像对应的目标标注图像，该目标标注图像包括目标图像中至少一个区域的标注标签。
本申请实施例提供的方法，图像处理模型具有获取由模板图像映射到目标图像的映射信息的功能，映射信息代表模板图像与目标图像之间的映射关系，且该映射关系也适用于模板图像对应的标注图像和目标图像对应的标注图像，根据该映射信息对模板标注图像进行映射得到的目标标注图像，实现了对目标图像的图像分割，且保证了目标标注图像的准确性。由于仅需获取模板图像对应的模板标注图像，无需人工对大量模板图像进行标注，也不需要训练图像标注模型，有效节省了人力和时间，通过计算机设备代替人工完成对图像的标注，可以提高实现图像标注的效率。
并且，获取多个样本模板图像对应的第一样本映射信息，根据每个第一样本映射信息得到每个样本模板图像对应的重建模板图像，从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取该重建模板图像对应的样本模板图像以及样本模板标注图像。由于第一样本映射信息为样本模板图像映射到目标图像所采用的映射信息，因此根据第一样本映射信息对样本模板图像进行映射处理，得到的重建模板图像与该目标图像的关联度越高，该第一样本映射信息越准确，因此利用该第一样本映射信息以及样本模板标注图像获取目标标注图像的准确率高。
并且，调用编码网络中的第一编码层、第二编码层和第三编码层，对图像进行下采样处理，第二编码层输出的特征信息是比第一编码层输出的特征信息更深层的特征信息，第三编码层输出的特征信息是比第二编码层输出的特征信息更深层的特征信息，由此实现了提取图像的不同层次的特征信息，后续可根据该不同层次的特征信息获取对应的映射信息，使得获取的映射信息更加准确。
并且，调用解码网络中的第一解码层、第二解码层和第三解码层，对特征信息进行上采样处理，第二解码层根据第一解码层输出的映射信息对特征信息进行处理得到下一个映射信息，第三解码层根据第二解码层输出的映射信息对特征信息进行处理得到下一个映射信息，由此实现了根据不同层次的特征信息对映射信息进行调整，使得最终获取的映射信息更加准确，可以进一步提高目标标注图像的准确率。
图4是本申请实施例提供的另一种图像标注方法的流程图。本申请实施例的执行主体为计算机设备，参见图4，该方法包括：
401、计算机设备获取目标图像、模板图像和模板图像对应的模板标注图像。
本申请实施例中，模板图像对应有模板标注图像，模板标注图像包括模板图像中至少一个区域的标注标签。例如，模板图像为模板腹部图像，则模板标注图像中标注有该模板腹部图像中的脾、左肾、食道、肝、胃、十二指肠和胰腺等腹部器官的区域。
其中，该目标图像、模板图像和模板标注图像的尺寸相同。其中，该目标图像、模板图像和模板标注图像均可以为计算机设备预先存储的图像，或者由计算机设备从其他设备中下载的图像，或者由其他设备上传至该计算机设备中的图像，或者该目标图像还可以为该计算机设备当前采集到的图像，本申请实施例对此不做限定。
在一种可能实现方式中，计算机设备在训练该图像处理模型时采用的多个样本模板图像中确定某一样本模板图像，作为本申请实施例中用于对目标图像进行标注的模板图像。则计算机设备获取目标图像、训练图像处理模型时采用的多个样本模板图像和多个样本模板图像对应的样本模板标注图像，调用图像处理模型，分别对多个样本模板图像和目标图像进行对比处理，得到由每个样本模板图像映射到目标图像的第一样本映射信息，分别根据每个第一样本映射信息，对每个第一样本映射信息对应的样本模板图像进行映射处理，得到每个样本模板图像对应的重建模板图像，从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取该重建模板图像对应的样本模板图像以及样本模板标注图像。
其中，该图像处理模型与下述步骤402-404中的图像处理模型相同，该图像处理模型对样本模板图像和目标图像进行处理的过程与下述步骤402-404中图像处理模型对模板图像和目标图像进行处理的过程类似，在此暂不做说明。
其中，由于第一样本映射信息为样本模板图像映射到目标图像所采用的映射信息，因此根据第一样本映射信息对样本模板图像进行映射处理，得到的重建模板图像与该目标图像的关联度越高，该第一样本映射信息越准确，后续利用该第一样本映射信息以及该样本模板图像对应的样本模板标注图像，获取目标图像对应的目标标注图像的准确率越高。
因此，当计算机设备得到每个样本模板图像对应的重建模板图像，计算机设备分别对每个重建模板图像和目标图像进行对比处理，得到每个重建模板图像与目标图像之间的关联度。则计算机设备从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取该重建模板图像对应的样本模板图像以及样本模板标注图像。
可选地，计算机设备可采取三线性插值的方式对第一样本映射信息和样本模板图像进行处理，得到重建模板图像。则计算机设备对第一样本映射信息和样本模板图像进行处理的公式如下：
Figure BDA0002502373590000141
其中，
Figure BDA0002502373590000142
表示重建模板图像，l表示样本模板图像，φf表示第一样本映射信息，ο表示三线性插值操作。
可选地，计算机设备可采用NCC(Normalized Cross Correlation，归一化互相关)算法对重建模板图像与目标图像进行处理，得到重建模板图像与目标图像之间的关联度，该关联度即为重建模板图像与目标图像之间的NCC值。
402、计算机设备调用图像处理模型中的编码网络，对模板图像进行编码处理，得到模板图像对应的模板特征信息。
本申请实施例中，图像处理模型用于对任两个图像进行处理获取这两个图像之间的映射信息。该图像处理模型包括编码网络和解码网络，编码网络和解码网络连接。编码网络用于对任一图像进行编码处理得到该图像对应的特征信息，解码网络用于对任两个图像的特征信息进行解码处理得到这两个图像之间的映射信息。当计算机设备获取到模板图像时，则调用该图像处理模型中的编码网络，对模板图像进行编码处理，得到该模板图像对应的模板特征信息。
其中，该模板特征信息用于表示该模板图像的特征，可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
在一种可能实现方式中，编码网络包括n个编码层，n为大于1的正整数，n个编码网络均用于提取特征信息。其中，编码网络中的n个编码层依次连接，第k个编码层的输入为第k-1个编码层的输出，k为不大于n的正整数。
则计算机设备调用n个编码层，对模板图像依次进行编码处理，得到模板图像对应的模板特征信息，即对模板图像进行n次编码处理得到该模板特征信息。本申请实施例以编码网络中包括3个编码层为例进行说明，则如图5所示，该步骤402包括：
4021、调用第一个编码层，对模板图像进行编码处理，得到模板图像对应的模板特征信息。
计算机设备将模板图像输入至编码网络的第一个编码层，该第一个编码层对模板图像进行下采样，得到该模板图像对应的模板特征信息。
可选地，第一个编码层的通道数为16，该第一个编码层包括第一编码单元和第二编码单元，第一编码单元是卷积核为3×3×3的卷积单元，第二编码单元是LeakReLU单元(Leak Rectified Linear Unit，激活单元)。
可选地，该模板图像的大小为1*96*96*64，该第一个编码层输出的模板特征信息大小为16*48*48*32。
4022、调用第二个编码层，对第一个编码层输出的模板特征信息进行编码处理，得到下一个模板特征信息。
计算机设备将第一个编码层输出的模板特征信息输入至第二个编码层，该第二个编码层对模板特征信息进行下采样，得到下一个模板特征信息。
可选地，第二个编码层的通道数为32，该第二个编码层包括第三编码单元和第四编码单元，第三编码单元是卷积核为3×3×3的卷积单元，第四编码单元是LeakReLU单元。
可选地，第一个编码层输出的模板特征信息大小为16*48*48*32，该第二个编码层输出的模板特征信息大小为32*24*24*16。
4023、调用第三个编码层，对第二个编码层输出的模板特征信息进行编码处理，得到下一个模板特征信息。
计算机设备将第二个编码层输出的模板特征信息输入至第三个编码层，该第三个编码层对模板特征信息进行下采样，得到下一个模板特征信息。
可选地，第三个编码层的通道数为64，该第三个编码层包括第五编码单元和第六编码单元，第五编码单元是卷积核为3×3×3的卷积单元，第六编码单元是LeakReLU单元。
可选地，第二个编码层输出的模板特征信息大小为32*24*24*16，该第三个编码层输出的模板特征信息大小为64*12*12*8。
其中，第二个编码层输出的模板特征信息是比第一个编码层输出的模板特征信息更深层的特征信息，第三个编码层输出的模板特征信息是比第二个编码层输出的模板特征信息更深层的特征信息，由此实现了提取模板图像的不同层次的特征信息，后续可根据该不同层次的特征信息获取映射信息，使得获取的映射信息更加准确。
图6是本申请实施例提供的一种编码网络的结构示意图，参见图6，编码网络包括第一卷积单元601、第一激活单元602、第二卷积单元603、第二激活单元604、第三卷积单元605和第三激活单元606，且第一卷积单元601、第一激活单元602、第二卷积单元603、第二激活单元604、第三卷积单元605和第三激活单元606依次连接。将模板图像输入至第一卷积单元601中，由第一卷积单元601、第一激活单元602、第二卷积单元603、第二激活单元604、第三卷积单元605和第三激活单元606对该模板图像进行处理，得到该模板图像的模板特征信息。将目标图像输入至第一卷积单元601中，由第一卷积单元601、第一激活单元602、第二卷积单元603、第二激活单元604、第三卷积单元605和第三激活单元606对该目标图像进行处理，得到该目标图像的目标特征信息。
403、计算机设备调用图像处理模型中的编码网络，对目标图像进行编码处理，得到目标图像对应的目标特征信息。
当计算机设备获取到目标图像时，调用该图像处理模型中的编码网络，对目标图像进行编码处理，得到该目标图像对应的目标特征信息。其中，该目标特征信息用于表示该目标图像的特征，可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
在一种可能实现方式中，编码网络包括n个编码层，n为大于1的正整数，n个编码网络均用于提取特征信息。其中，编码网络中的n个编码层依次连接，第k个编码层的输入为第k-1个编码层的输出，k为不大于n的正整数。
则计算机设备调用n个编码层，对目标图像依次进行编码处理，得到目标图像对应的目标特征信息，即对目标图像进行n次编码处理得到该目标特征信息。本申请实施例以编码网络中包括3个编码层为例进行说明，则如图7所示，步骤403包括：
4031、调用第一个编码层，对目标图像进行编码处理，得到目标图像对应的目标特征信息。
4032、调用第二个编码层，对第一个编码层输出的目标特征信息进行编码处理，得到下一个目标特征信息。
4033、调用第三个编码层，对第二个编码层输出的目标特征信息进行编码处理，得到下一个目标特征信息。
该步骤4031-4033与上述步骤4021-4023类似，在此不再一一赘述。
通过上述步骤402-403，实现了调用图像处理模型中的编码网络，分别对模板图像和目标图像进行编码处理，得到模板图像对应的模板特征信息和目标图像对应的目标特征信息。
需要说明的是，本申请实施例仅以先执行步骤402，再执行步骤403为例进行说明。在另一实施例中，还可以先执行步骤403，再执行步骤402。在另一实施例中，图像处理模型包括两个相同的编码网络，计算机设备分别调用两个相同的编码网络，同时对模板图像和目标图像进行处理，得到模板特征信息和目标特征信息，也即是该图像处理模型包括孪生网络结构，该孪生网络结构包括两个结构相同的并行分支，分别提取模板图像和目标图像的模板特征信息和目标特征信息，实现同时执行步骤402和步骤403。
404、计算机设备调用图像处理模型中的解码网络，对模板特征信息和目标特征信息进行解码处理，得到由模板图像映射到目标图像的映射信息。
图像处理模型中的解码网络用于对任两个图像的特征信息进行处理得到这两个图像之间的映射信息。以两个图像分别为第一图像和第二图像为例进行说明，两个图像之间的映射信息包括由第一图像映射到第二图像的映射信息，以及由第二图像映射到第一图像的映射信息。其中，图像处理模型中的解码网络采用不同的处理顺序对模板特征信息和目标特征信息进行解码处理，可分别得到由模板图像映射到目标图像的映射信息，以及由目标图像映射到模板图像的映射信息，本申请实施例中，仅以计算机设备调用图像处理模型中的解码网络，对模板特征信息和目标特征信息进行解码处理，得到由模板图像映射到目标图像的映射信息为例进行说明。
本申请实施例中的映射信息是指由模板图像的多个位置映射到目标图像的多个位置所采用的映射信息，也可以看作是模板图像映射到目标图像的位置偏移信息，或者说是模板图像变换到目标图像的光流运动信息。该映射信息可以为特征矩阵、特征向量或者特征图像等形式的信息。例如，当模板图像和目标图像为二维图像时，模板图像和目标图像中分别包括多个像素位置，映射信息是指从模板图像中的各个像素位置映射到目标图像中的对应的像素位置的映射信息。例如，当模板图像和目标图像为三维图像时，模板图像和目标图像中分别包括多个体素位置，映射信息是指从模板图像中的各个体素位置映射到目标图像中的对应的体素位置的映射信息。其中，该映射信息可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
计算机设备获取到模板特征信息和目标特征信息后，调用图像处理模型中的解码网络，先对模板特征信息进行处理，再对目标特征信息进行处理，得到由模板图像映射到目标图像的映射信息。
在一种可能实现方式中，解码网络包括n个解码层，n为大于1的正整数，n个解码网络均用于提取映射信息。其中，解码网络中的n个解码层依次连接，第k个解码层的输入包括第k-1个解码层的输出，k为不大于n的正整数。计算机设备调用解码网络中的第一个解码层，对模板特征信息和目标特征信息进行解码处理，得到映射信息，调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及映射信息进行解码处理，得到下一个映射信息，直至得到解码网络中的最后一个解码层输出的映射信息。
其中，第k个解码层与第n+1-k个编码层对应。例如，n＝3，编码网络包括3个编码层，解码网络包括3个解码层，则解码网络中的第一个解码层与编码网络中的第三个编码层对应，该第一个解码层输入的信息包括第三个编码层输出的信息。解码网络中的第二个解码层与编码网络中的第二个编码层对应，该第二个解码层输入的信息包括第二个编码层输出的信息。解码网络中的第三个解码层与编码网络中的第一个编码层对应，该第三个解码层输入的信息包括第一个编码层输出的信息。
本申请实施例以解码网络中包括3个解码层为例进行说明，则如图8所示，步骤404包括：
4041、调用解码网络中的第一个解码层，对模板特征信息和目标特征信息进行解码处理，得到映射信息。
计算机设备将模板特征信息和目标特征信息输入至解码网络中的第一个解码层，该第一个解码层对模板特征信息和目标特征信息进行下采样，得到由模板图像映射到目标图像的映射信息。其中，该模板特征信息和目标特征信息为编码网络中的第三个编码层输出的信息。
可选地，第一个解码层包括第一对比单元和第一解码单元，第一对比单元用于提取差异信息，第一解码单元用于提取映射信息。则计算机设备调用第一个解码层中的第一对比单元，对模板特征信息和目标特征信息进行对比处理，得到目标特征信息与模板特征信息之间的差异信息，调用第一个解码层中的第一解码单元，对差异信息和目标特征信息进行解码处理，得到映射信息。
其中，第一对比单元可以为Cost volume单元(成本体积单元)，第一解码单元可以为Correspondence estimator单元(对应估计量单元)，该第一解码单元可以为5个卷积单元，每个卷积单元的通道数分别为32、32、16、8和3。
4042、调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及第一个解码层输出的映射信息进行解码处理，得到下一个映射信息。
第二个解码层对应的编码层为第二个编码层。计算机设备将第二个编码层输出的模板特征信息和目标特征信息以及第一个解码层输出的映射信息输入至解码网络中的第二个解码层，该第二个解码层对模板特征信息、目标特征信息和映射信息进行下采样，得到下一个映射信息。
可选地，第二个解码层包括第一映射单元、第二对比单元和第二解码单元，第一映射单元用于重建特征信息，第二对比单元用于提取差异信息，第二解码单元用于提取映射信息。则计算机设备调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的模板特征信息和第一个解码层输出的映射信息进行映射处理，得到重建特征信息，调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的目标特征信息和重建特征信息进行对比处理，得到差异信息，调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的目标特征信息、差异信息和第一个解码层输出的映射信息进行解码处理，得到下一个映射信息。
其中，第一映射单元可以为Warping单元(弯曲单元)，可对特征信息执行Warp(弯曲)操作得到重建的特征信息，该第二对比单元与上述步骤4041中的第一对比单元类似，该第二解码单元与上述步骤4041中的第一解码单元类似，在此不再一一赘述。
4043、调用解码网络中的第三个解码层，对第三个解码层对应的编码层输出的模板特征信息和目标特征信息以及第二个解码层输出的映射信息进行解码处理，得到下一个映射信息。
其中，步骤4043与上述步骤4042类似，在此不再一一赘述。
其中，第二个解码层根据第一个解码层输出的映射信息对特征信息进行处理得到下一个映射信息，第三个解码层根据第二个解码层输出的映射信息对特征信息进行处理得到下一个映射信息，由此实现了根据不同层次的特征信息对映射信息进行调整，使得最终获得的映射信息更加准确。
图9是本申请实施例提供的一种解码层的结构示意图，参见图9，第二个解码层包括第一映射单元901、第二对比单元902、卷积单元903、卷积单元904、卷积单元905、卷积单元906和卷积单元907，且第一映射单元901、第二对比单元902、卷积单元903、卷积单元904、卷积单元905、卷积单元906和卷积单元907依次连接。
图10是本申请实施例提供的一种图像处理的示意图，参见图10，图像处理模型中包括两个并行分支：第一编码网络1001和第二编码网络1002，第一编码网络1001包括第一个编码层1011、第二个编码层1021和第三个编码层1031，第二编码网络1002包括第一个编码层1012、第二个编码层1022和第三个编码层1032。
将模板图像输入第一编码网络1001中，该第一编码网络1001中的第一个编码层1011输出模板特征信息，第二个编码层1021输出下一个模板特征信息，第三个编码层1031输出最后一个模板特征信息。将目标图像输入第二编码网络1002中，该第二编码网络1002中的第一个编码层1012输出目标特征信息，第二个编码层1022输出下一目标特征信息，第三个编码层1032输出最后一个目标特征信息。
图10以解码网络中的第二个解码层1003对第二个编码层1021输出的模板特征信息、第二个编码层1022输出的目标特征信息和第一个解码层输出的映射信息进行处理为例进行说明，该第二个解码层包括第一映射单元1013、第二对比单元1023和第二解码单元1033，将模板特征信息和映射信息输入第一映射单元1013，将目标特征信息输入第二对比单元1023，将目标特征信息和映射信息输入第二解码单元1033，最终第二解码单元1033输出下一个映射信息。
通过上述步骤402-404，实现了调用图像处理模型，对模板图像和目标图像进行对比处理，得到由模板图像映射到目标图像的映射信息。
405、计算机设备根据映射信息对模板标注图像进行映射处理，得到目标图像对应的目标标注图像。
当计算机设备获取到由模板图像映射到目标图像的映射信息，则根据该映射信息对该模板图像对应的模板标注图像进行映射处理，得到一个新的标注图像。由于该映射信息是模板图像映射到目标图像的映射信息，该模板图像与模板标注图像对应，则该新的标注图像可确定为目标图像对应的目标标注图像，目标标注图像包括目标图像中至少一个区域的标注标签。
在一种可能实现方式中，计算机设备可采取三线性插值的方式对映射信息和模板标注图像进行处理，得到目标标注图像。则计算机设备对映射信息和模板标注图像进行处理的公式如下：
Figure BDA0002502373590000201
其中，
Figure BDA0002502373590000202
表示目标标注图像，ls表示模板标注图像，φf表示映射信息，ο表示三线性插值操作。
图11是本申请实施例提供的一种图像标注方法的流程图，参见图11，以对医学领域的医学图像进行标注为例来说明，前端1101接收到m例对应有标注图像的第一医学图像和大量无标注图像的第二医学图像，前端1101将该m例第一医学图像和对应的标注图像以及大量第二医学图像上传至后端1102，后端1102通过本申请实施例提供的方法进行处理，将该m例第一医学图像和对应的标注图像作为模板，即可得到大量第二医学图像的标注图像，并将得到的标注图像返回给前端1103。其中，前端1101和前端1103可以为用于采集图像的设备，后端1102可以为用于处理图像的设备，前端1101、后端1102和前端1103可以为同一个设备，也可以为建立通信连接的不同的设备。或者，前端1101、后端1102和前端1103为运行在同一计算机设备中的不同的应用程序，前端1101和前端1103为用于采集图像的应用程序，后端1102为用于处理图像的应用程序。
本申请实施例提供的方法，图像处理模型具有获取由模板图像映射到目标图像的映射信息的功能，映射信息代表模板图像与目标图像之间的映射关系，且该映射关系也适用于模板图像对应的标注图像和目标图像对应的标注图像，根据该映射信息对模板标注图像进行映射得到的目标标注图像，实现了对目标图像的图像分割，且保证了目标标注图像的准确性。由于仅需获取模板图像对应的模板标注图像，无需人工对大量模板图像进行标注，也不需要训练图像标注模型，有效节省了人力和时间，通过计算机设备代替人工完成对图像的标注，因此可以提高实现图像标注的效率。
并且，获取多个样本模板图像对应的第一样本映射信息，根据每个第一样本映射信息得到每个样本模板图像对应的重建模板图像，从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取该重建模板图像对应的样本模板图像以及样本模板标注图像。由于第一样本映射信息为样本模板图像映射到目标图像所采用的映射信息，因此根据第一样本映射信息对样本模板图像进行映射处理，得到的重建模板图像与该目标图像的关联度越高，该第一样本映射信息越准确，因此利用该第一样本映射信息以及样本模板标注图像获取目标标注图像的准确率高。
并且，调用编码网络中的第一编码层、第二编码层和第三编码层，对图像进行下采样处理，第二编码层输出的特征信息是比第一编码层输出的特征信息更深层的特征信息，第三编码层输出的特征信息是比第二编码层输出的特征信息更深层的特征信息，由此实现了提取图像的不同层次的特征信息，后续可根据该不同层次的特征信息获取对应的映射信息，使得获取的映射信息更加准确。
并且，调用解码网络中的第一解码层、第二解码层和第三解码层，对特征信息进行上采样处理，第二解码层根据第一解码层输出的映射信息对特征信息进行处理得到下一个映射信息，第三解码层根据第二解码层输出的映射信息对特征信息进行处理得到下一个映射信息，由此实现了根据不同层次的特征信息对映射信息进行调整，使得最终获取的映射信息更加准确，可以进一步提高目标标注图像的准确率。
在调用图像处理模型对模板图像和目标图像进行处理之前，需要先训练图像处理模型，训练过程详见下述实施例。
图12是本申请实施例提供的一种图像处理模型训练方法的流程图。本申请实施例的执行主体为计算机设备，参见图12，该方法包括：
1201、计算机设备获取第一样本图像和第二样本图像。
在一种可能实现方式中，计算机设备获取样本图像集合，该样本图像集合中包括对应有标注图像的样本图像以及没有对应的标注图像的样本图像，其中，该样本图像集合中的任一样本图像均可作为本申请实施例中的第一样本图像或者第二样本图像。
其中，计算机设备可采用本申请实施例提供的模型训练方法得到训练好的图像处理模型，后续计算机设备可将对应有标注图像的样本图像作为模板图像，将没有对应的标注图像的样本图像作为目标图像，调用训练好的图像处理模型，执行上述图4所示的实施例中的步骤，以获取目标图像对应的目标标注图像。
可选地，计算机设备在样本图像集合中获取对应有标注图像的多个样本图像，以及多个样本图像对应的标注图像，对该多个样本图像和多个标注图像进行处理，使得该多个样本图像和多个标注图像的尺寸相同，且每个标注图像中包括的标注标签的个数以及标注标签的类型相同。例如，在医学领域中，样本图像集合中包括从The Cancer ImageArchive(癌症图像档案)和The Beyond the Cranial Vault Abdomen dataset(腹部数据集)中选取的90个样本图像以及对应的90个标注图像，对90个样本图像和对应的90个标注图像进行处理，使90个样本图像和90个标注图像的尺寸相同，且每个标注图像中包括脾、左肾、食道、肝、胃、十二指肠和胰腺这7个腹部器官的标注标签。可选地，在该90个样本图像中随机抽取70个样本图像作为样本训练图像(第一样本图像或者第二样本图像)构成训练数据集，对该训练数据集中的样本训练图像执行本申请实施例的方法，来训练图像处理模型。其他20个样本图像作为样本测试图像构成测试数据集，后续计算机设备即可对该测试数据集中的样本测试图像执行上述图4所示的实施例中的方法，以便测试图像处理模型的准确率。
在另一种可能实现方式中，计算机设备获取到多个样本图像和多个样本测试图像，根据每个样本图像与该多个样本测试图像之间的关联度，在多个样本图像中选取至少一个样本图像作为样本训练图像，构成训练数据集。
可选地，计算机设备按照关联度由高到低的顺序对多个样本图像进行排序，在多个样本图像中选取前x个样本图像作为第一样本图像，其中，x为不大于多个样本图像的数目的正整数。
可选地，对于每个样本图像，分别获取该样本图像和每个样本测试图像之间的关联度，计算机设备根据获取到的多个关联度确定该样本图像对应的参考关联度，从而获取每个样本图像对应的参考关联度，则计算机设备根据每个样本图像对应的参考关联度，在多个样本图像中选取至少一个样本图像作为样本训练图像。
可选地，计算机设备按照参考关联度由高到低的顺序对多个样本图像进行排序，在多个样本图像中选取前x个样本图像作为样本训练图像，x为小于多个样本图像的数目的正整数。
可选地，计算机设备将样本图像对应的多个关联度的和作为该样本图像对应的参考关联度，或者计算机设备将样本图像对应的多个关联度的平均值作为该样本图像对应的参考关联度。
可选地，样本图像对应的关联度可以为样本图像与样本测试图像之间的NCC值。
其中，由于参考关联度涉及到样本图像与多个样本测试图像之间的关联度，则样本图像对应的参考关联度越高，该样本图像与该多个样本测试图像之间的关联度越高，因此选取对应的参考关联度高的样本图像作为样本训练图像来训练图像处理模型，可以提高图像处理模型的泛化能力。
1202、计算机设备调用图像处理模型中的编码网络，对第一样本图像进行编码处理，得到第一样本图像对应的第一样本特征信息。
当计算机设备获取到第一样本图像时，调用该图像处理模型中的编码网络，对第一样本图像进行编码处理，得到该第一样本图像对应的第一样本特征信息。其中，该第一样本特征信息用于表示该第一样本图像的特征，
在一种可能实现方式中，编码网络包括n个编码层，n为大于1的正整数，n个编码网络均用于提取特征信息。其中，编码网络中的n个编码层依次连接，第k个编码层的输入为第k-1个编码层的输出，k为不大于n的正整数。
则计算机设备调用n个编码层，对第一样本图像依次进行编码处理，得到第一样本图像对应的第一样本特征信息。本申请实施例以编码网络中包括3个编码层为例进行说明，则如图13所示，步骤1202包括：
12021、调用第一个编码层，对第一样本图像进行编码处理，得到第一样本图像对应的第一样本特征信息。
12022、调用第二个编码层，对第一个编码层输出的第一样本特征信息进行编码处理，得到下一个第一样本特征信息。
12023、调用第三个编码层，对第二个编码层输出的第一样本特征信息进行编码处理，得到下一个第一样本特征信息。
步骤12021-12023与上述步骤3021-3023类似，在此不再一一赘述。
1203、计算机设备调用图像处理模型中的编码网络，对第二样本图像进行编码处理，得到第二样本图像对应的第二样本特征信息。
当计算机设备获取到第二样本图像时，调用该图像处理模型中的编码网络，对第二样本图像进行编码处理，得到该第二样本图像对应的第二样本特征信息。其中，该第二样本特征信息用于表示该第二样本图像的特征。
在一种可能实现方式中，编码网络包括n个编码层，n为大于1的正整数，n个编码网络均用于提取特征信息。其中，编码网络中的n个编码层依次连接，第k个编码层的输入为第k-1个编码层的输出，k为不大于n的正整数。则计算机设备调用n个编码层，对第一样本图像依次进行编码处理，得到第一样本图像对应的第一样本特征信息。本申请实施例以编码网络中包括3个编码层为例进行说明，则如图14所示，步骤1203包括：
12031、调用第一个编码层，对第二样本图像进行编码处理，得到第二样本图像对应的第二样本特征信息。
12032、调用第二个编码层，对第一个编码层输出的第二样本特征信息进行编码处理，得到下一个第二样本特征信息。
12033、调用第三个编码层，对第二个编码层输出的第二样本特征信息进行编码处理，得到下一个第二样本特征信息。
该步骤12031-12032与上述步骤3021-3023类似，在此不再一一赘述。
通过上述步骤1202-1203，实现了调用图像处理模型中的编码网络，分别对第一样本图像和第二样本图像进行编码处理，得到第一样本图像对应的第一样本特征信息和第二样本图像对应的第二样本特征信息。
需要说明的是，本申请实施例仅以先执行步骤1202，再执行步骤1203为例进行说明。在另一实施例中，还可以先执行步骤1203，再执行步骤1202。在另一实施例中，图像处理模型包括两个相同的编码网络，计算机设备分别调用两个相同的编码网络，同时对第一样本图像和第二样本图像进行处理，得到第一样本特征信息和第二样本特征信息，也即是该图像处理模型包括孪生网络结构，该孪生网络结构包括两个结构相同的并行分支，分别提取第一样本特征信息和第二样本特征信息，实现同时执行步骤1202和步骤1203。
1204、计算机设备调用图像处理模型中的解码网络，对第一样本特征信息和第二样本特征信息进行解码处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息。
本申请实施例中的第一样本映射信息是指由第一样本图像的多个位置映射到第二样本图像的多个位置所采用的映射信息，也可以看作是第一样本图像映射到第二样本图像的位置偏移信息，或者说是第一样本图像变换到第二样本图像的光流运动信息。其中，该第一样本映射信息可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
计算机设备获取到第一样本特征信息和第二样本特征信息后，调用图像处理模型中的解码网络，先对第一样本特征信息进行处理，再对第二样本特征信息进行处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息。
在一种可能实现方式中，解码网络包括n个解码层，n为大于1的正整数，n个解码网络均用于提取映射信息。其中，解码网络中的n个解码层依次连接，第k个解码层的输入包括第k-1个解码层的输出，k为不大于n的正整数。计算机设备调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第一样本映射信息，调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第一样本映射信息进行解码处理，得到下一个第一样本映射信息，直至得到解码网络中的最后一个解码层输出第一样本映射信息。
其中，第k个解码层与第n+1-k个编码层对应。
本申请实施例以解码网络中包括3个解码层为例进行说明，则如图15所示，步骤1204包括：
12041、调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第一样本映射信息。
可选地，第一个解码层包括第一对比单元和第一解码单元，第一对比单元用于提取差异信息，第一解码单元用于提取映射信息。则计算机设备调用第一个解码层中的第一对比单元，对第一样本特征信息和第二样本特征信息进行对比处理，得到第二样本特征信息与第一样本特征信息之间的第一样本差异信息，调用第一个解码层中的第一解码单元，对第一样本差异信息和第二样本特征信息进行解码处理，得到第一样本映射信息。
12042、调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第一个解码层输出的第一样本映射信息进行解码处理，得到下一个第一样本映射信息。
可选地，第二个解码层包括第一映射单元、第二对比单元和第二解码单元。则计算机设备调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的第一样本特征信息和第一个解码层输出的第一样本映射信息进行映射处理，得到第一重建特征信息，调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的第二样本特征信息和第一重建特征信息进行对比处理，得到第一样本差异信息，调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的第二样本特征信息、第一样本差异信息和第一个解码层输出的第一样本映射信息进行解码处理，得到下一个第一样本映射信息。
12043、调用解码网络中的第三个解码层，对第三个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第二个解码层输出的第一样本映射信息进行解码处理，得到下一个第一样本映射信息。
其中，步骤12041-12043与上述步骤3041-3043类似，在此不再一一赘述。
1205、计算机设备调用图像处理模型中的解码网络，对第一样本特征信息和第二样本特征信息进行解码处理，得到由第二样本图像映射到第一样本图像的第二样本映射信息。
本申请实施例中的第二样本映射信息是指由第二样本图像的多个位置映射到第一样本图像的多个位置所采用的映射信息。其中，该第二样本映射信息可以为特征向量、特征矩阵或者特征图像等形式，本申请实施例对此不做限定。
计算机设备获取到第一样本特征信息和第二样本特征信息后，调用图像处理模型中的解码网络，先对第二样本特征信息进行处理，再对第一样本特征信息进行处理，得到由第二样本图像映射到第一样本图像的第二样本映射信息。
在一种可能实现方式中，解码网络包括n个解码层，n为大于1的正整数，n个解码网络均用于提取映射信息。其中，解码网络中的n个解码层依次连接，第k个解码层的输入包括第k-1个解码层的输出，k为不大于n的正整数。计算机设备调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第二样本映射信息，调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第二样本映射信息进行解码处理，得到下一个第二样本映射信息，直至得到解码网络中的最后一个解码层输出第二样本映射信息。
其中，第k个解码层与第n+1-k个编码层对应。
本申请实施例以解码网络中包括3个解码层为例进行说明，则如图16所示，步骤1205包括：
12051、调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第二样本映射信息。
可选地，第一个解码层包括第一对比单元和第一解码单元，第一对比单元用于提取差异信息，第一解码单元用于提取映射信息。则计算机设备调用第一个解码层中的第一对比单元，对第二样本特征信息和第一样本特征信息进行对比处理，得到第一样本特征信息与第二样本特征信息之间的第二样本差异信息，调用第一个解码层中的第一解码单元，对第二样本差异信息和第一样本特征信息进行解码处理，得到第二样本映射信息。
12052、调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第一个解码层输出的第二样本映射信息进行处理，得到下一个第二样本映射信息。
可选地，第二个解码层包括第一映射单元、第二对比单元和第二解码单元。则计算机设备调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的第二样本特征信息和第一个解码层输出的第二样本映射信息进行映射处理，得到第二重建特征信息，调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的第一样本特征信息和第二重建特征信息进行对比处理，得到第二样本差异信息，调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的第一样本特征信息、第二样本差异信息和第一个解码层输出的第二样本映射信息进行解码处理，得到下一个第二样本映射信息。
12053、调用解码网络中的第三个解码层，对对第三个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第二个解码层输出的第二样本映射信息进行解码处理，得到下一个第二样本映射信息。
其中，步骤12051-12053与上述步骤3041-3043类似，在此不再一一赘述。
需要说明的是，本申请实施例仅以先执行步骤1204，再执行步骤1205为例进行说明。在另一实施例中，还可以先执行步骤1205，再执行步骤1204。
通过上述步骤1204-1205，实现了调用图像处理模型中的解码网络，对第一样本特征信息和第二样本特征信息进行解码处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息，以及由第二样本图像映射到第一样本图像的第二样本映射信息。
通过上述步骤1202-1205，实现了调用图像处理模型，对第一样本图像和第二样本图像进行对比处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息，以及由第二样本图像映射到第一样本图像的第二样本映射信息。
1206、计算机设备对第一样本映射信息和第二样本映射信息进行处理，得到第一样本映射信息和第二样本映射信息之间的损失值，根据该损失值训练图像处理模型。
计算机设备根据该损失值训练图像处理模型，以使该图像处理模型输出的特征信息以及映射信息越来越准确。
在一种可能实现方式中，该第一样本映射信息和第二样本映射信息之间的损失值包括以下至少一项：
第一项，第一样本映射信息对应的第一平滑损失值。
该第一平滑损失值表示根据第一样本映射信息对第一样本图像进行映射处理得到的第一重建图像的平滑程度。其中，第一样本映射信息可以包括由第一样本图像的多个位置映射到第二样本图像的多个位置的第一映射值，则相邻位置的第一映射值之间的差异越小，该第一样本映射信息的平滑程度越高，该第一平滑损失值越小。当第一样本图像为二维图像时，第一样本图像中的位置可以是以像素点为单位进行划分得到的多个像素位置；当第一样本图像为三维图像时，第一样本图像中的位置可以是以体素点为单位进行划分得到的多个体素位置。
第二项，第二样本映射信息对应的第二平滑损失值。
该第二平滑损失值表示根据第二样本映射信息对第二样本图像进行映射处理得到的第二重建图像的平滑程度。其中，第二样本映射信息可以包括由第二样本图像的多个位置映射到第一样本图像的多个位置的第二映射值，则相邻位置的第二映射值之间的差异越小，该第二样本映射信息的平滑程度越高，该第二平滑损失值越小。
可选地，计算机设备可以对第一平滑损失值和第二平滑损失值进行加权处理，得到第一样本映射信息和第二样本映射信息对应的平滑损失值。该平滑损失值用于对第一样本映射信息和第二样本映射信息进行正则化约束。在一种可能实现方式中，第一样本图像和第二样本图像为三维图像，则计算机设备获取平滑损失值的公式如下为：
Figure BDA0002502373590000281
其中，Ls表示平滑损失值，v表示第一样本图像和第二样本图像中的位置，φf(v)表示第一样本图像中的位置v对应的第一映射值，φb(v)表示第二样本图像中的位置v对应的第二映射值，
Figure BDA0002502373590000282
表示第一样本图像中相邻位置之间沿x轴、y轴和z轴方向的空间梯度差异，
Figure BDA0002502373590000283
表示第二样本图像中相邻位置之间沿x轴、y轴和z轴方向的空间梯度差异，
Figure BDA0002502373590000284
表示第一平滑损失值，
Figure BDA0002502373590000285
表示第二平滑损失值。λf和λb为预设的参数，可选地，可设置为λf＝3和λb＝1。
第三项，第一样本映射信息和第二样本映射信息之间的一致性损失值。
一致性损失值表示第一样本映射信息与第二样本映射信息之间的一致程度。其中，第一样本映射信息可以包括由第一样本图像的多个位置映射到第二样本图像的多个位置的第一映射值，第二样本映射信息可以包括由第二样本图像的多个位置映射到第一样本图像的多个位置的第二映射值，以第一样本图像中的位置a和第二样本图像中的位置b为例，当位置a根据对应的第一映射值可以映射到位置b，且位置b根据对应的第二映射值可以映射到位置a时，则认为位置a和位置b的第一映射值和第二映射值是一致的。则第一样本映射信息中的第一映射值和第二样本映射信息中的第二映射值一致的个数越多，该第一样本映射信息和第二样本映射信息之间的一致程度越高，则该一致性损失值越小。
可选地，第一样本图像和第二样本图像为三维图像，则计算机设备获取一致性损失值的公式如下为其公式表示为：
Figure BDA0002502373590000291
其中，Lc表示一致性损失值，v表示第一样本图像和第二样本图像中的位置，φf(v)表示第一样本图像中的位置v对应的第一映射值，φb(v)表示第二样本图像中的位置v对应的第二映射值。V＝H×W×D，H、W、D分别表示沿x轴、y轴和z轴方向的体素位置数。可选地，该第一样本图像和第二样本图像为医学领域的医学图像，则H、W、D分别表示沿冠状方向、矢状方向和轴向方向的体素位置数。ρ表示惩罚项，定义为ρ(x)＝(x2+ε2)γ，ε2和γ均为预设的参数，可选地，可设置为γ＝0.45。
第四项，第一样本映射信息对应的第一相似性损失值。
第一相似性损失值表示根据第一样本映射信息对第一样本图像进行映射处理得到的第一重建图像，与第二样本图像之间的相似程度。第一重建图像与第二样本图像之间的相似程度越高，该第一相似性损失值越小。
在一种可能实现方式中，获取第一相似性损失值的过程包括：根据第一样本映射信息对第一样本图像进行处理，得到第一重建图像，获取第二样本图像和第一重建图像之间的第一相似值，根据第一相似值，获取第一样本映射信息对应的第一相似性损失值。
可选地，计算机设备可采取三线性插值的方式对第一样本映射信息和第一样本图像进行处理，得到第一重建图像。则计算机设备对第一样本映射信息和第一样本图像进行处理的公式如下：
Figure BDA0002502373590000292
其中，
Figure BDA0002502373590000293
表示第一重建图像，l表示第一样本图像，φf表示第一样本映射信息，ο表示三线性插值操作。
可选地，第一样本映射信息包括多个位置对应的第一映射值，第二样本映射信息包括多个位置对应的第二映射值。计算机设备根据第一样本图像中每个位置对应的第一映射值，以及第二样本图像中每个位置对应的第二映射值，获取第一样本图像中每个位置对应的第一差异值，根据第一差异值和第一相似值，获取第一样本映射信息对应的第一相似性损失值。
其中，第一样本图像和第二样本图像之间存在个体差异，个体差异是由于样板模板图像或者第二样本图像存在遮挡所导致的，为了提高获取的映射信息的准确率，在获取第一相似性损失值时，将第一样本图像中存在个体差异的位置忽略，不参与处理。本申请实施例中，通过获取第一样本图像中每个位置对应的第一差异值，来对第一样本图像中的每个位置是否存在个体差异进行标记。
其中，对于不存在遮挡的位置，第一映射值应该与第二映射值之间存在一致性。因此，可以通过核对第一映射值与第二映射值之间的一致性来识别个体差异，当某一位置对应的第二映射值与第一映射值的位移偏差大于第一预设值时，该位置被视为存在个体差异。
可选地，当识别到某一位置对应的第二映射值与第一映射值的位移偏差大于第一预设值，则认为第一样本图像中的该位置存在个体差异，将该位置对应的第一差异值设置为1；当识别到某一位置对应的第二映射值与第一映射值的位移偏差不大于第一预设值时，则认为第一样本图像中的该位置不存在个体差异，将该位置对应的第一差异值设置为0。
可选地，计算机设备判断第一样本图像中的位置是否存在个体差异的公式如下：
|φf(v)+φb(v+φf(v))|2<a1(|φf(v)|2+|φb(v+φf(v))|2)+a2；
其中，φf(v)表示第一样本图像中的位置v对应的第一映射值，φb(v)表示第二样本图像中的位置v对应的第二映射值。α1和α2均为预设的参数，可选地，可设置为α1＝0.01，α2＝0.5。
当位置v不满足上述公式时，确定第一样本图像中的位置v存在个体差异，当位置v满足上述公式时，确定第一样本图像中的位置v不存在个体差异。
可选地，计算机设备获取第一样本映射信息对应的第一相似性损失值的公式如下：
Figure BDA0002502373590000301
其中，L1表示第一相似性损失值，v表示第一样本图像和第二样本图像中的位置，V＝H×W×D，H、W、D分别表示沿x轴、y轴和z轴方向的体素位置数。u表示第二样本图像，
Figure BDA0002502373590000302
表示第一重建图像，。
Figure BDA0002502373590000303
表示位置v对应的第一差异值，
Figure BDA0002502373590000304
表示位置v对应的第一相似值。
第五项，第二样本映射信息对应的第二相似性损失值。
第二相似性损失值表示根据第二样本映射信息对第二样本图像进行映射处理得到的第二重建图像，与第一样本图像之间的相似程度。第二重建图像与第一样本图像之间的相似程度越高，该第二相似性损失值越小。
在一种可能实现方式中，获取第二相似性损失值的过程包括：根据第二样本映射信息对第二样本图像进行处理，得到第二重建图像，获取第一样本图像和第二重建图像之间的第二相似值，根据第二相似值，获取第二样本映射信息对应的第二相似性损失值。
可选地，计算机设备可采取三线性插值的方式对第二样本映射信息和第二样本图像进行处理，得到第二重建图像。则计算机设备对第二样本映射信息和第二样本图像进行处理的公式如下：
Figure BDA0002502373590000311
其中，
Figure BDA0002502373590000312
表示第二重建图像，u表示第二样本图像，φb表示第二样本映射信息，ο表示三线性插值操作。
可选地，第一样本映射信息包括多个位置对应的第一映射值，第二样本映射信息包括多个位置对应的第二映射值。计算机设备根据第一样本图像中每个位置对应的第一映射值，以及第二样本图像中每个位置对应的第二映射值，获取第二样本图像中每个位置对应的第二差异值，根据第二差异值和第二相似值，获取第二样本映射信息对应的第二相似性损失值。
可选地，计算机设备根据第一样本图像中每个位置对应的第一映射值，以及第二样本图像中每个位置对应的第二映射值，确定第二样本图像的某一位置存在个体差异时，将第二差异值设置为1，确定第二样本图像的某一位置不存在个体差异时，将第二差异值设置为0。
可选地，计算机设备判断第二样本图像的某一位置是否存在个体差异的公式如下：
|φb(v)+φf(v+φb(v))|2<a1(|φb(v)|2+|φf(v+φb(v))|2)+a2；
其中，φf(v)表示第一样本图像中的位置v对应的第一映射值，φb(v)表示第二样本图像中的位置v对应的第二映射值。α1和α2均为预设的参数，可选地，可设置为α1＝0.01，α2＝0.5。
当位置v不满足上述公式时，确定第二样本图像的位置v存在个体差异，当位置v满足上述公式时，确定第二样本图像的位置v不存在个体差异。
可选地，计算机设备获取第二样本映射信息对应的第二相似性损失值的公式如下：
Figure BDA0002502373590000313
其中，L2表示第二相似性损失值，v表示第一样本图像和第二样本图像中的位置，V＝H×W×D，H、W、D分别表示沿x轴、y轴和z轴方向的体素位置数，l表示第一样本图像，
Figure BDA0002502373590000314
表示第二重建图像，
Figure BDA0002502373590000315
表示位置v对应的第二差异值，
Figure BDA0002502373590000316
表示位置v对应的第二相似值。
在一种可能实现方式中，计算机设备可以对第一相似性损失值和第二相似性损失值进行加权处理，得到第一样本映射信息和第二样本映射信息对应的相似性损失值。在一种可能实现方式中，第一样本图像和第二样本图像为三维图像，则计算机设备获取相似性损失值的公式如下为：
Figure BDA0002502373590000317
其中，Ld表示相似性损失值，λf和λb为预设的参数，可选地，可将预设的参数设置为λf＝3和λb＝1。v表示第一样本图像和第二样本图像中的位置，V＝H×W×D，H、W、D分别表示沿x轴、y轴和z轴方向的体素位置数。ρ表示惩罚项，定义为ρ(x)＝(x2+ε2)γ，ε2和γ均为预设的参数，可选地，可设置为γ＝0.45。u表示第二样本图像，
Figure BDA0002502373590000321
表示第一重建图像，l表示第一样本图像，
Figure BDA0002502373590000322
表示第二重建图像，
Figure BDA0002502373590000323
表示第一样本图像的位置v和第二重建图像的位置v之间的NCC值，
Figure BDA0002502373590000324
表示第二样本图像的位置v和第一重建图像的位置v之间的NCC值。
Figure BDA0002502373590000325
表示位置v对应的第一差异值，
Figure BDA0002502373590000326
表示位置v对应的第二差异值。其中，1-
Figure BDA0002502373590000327
表示第一相似性损失值，
Figure BDA0002502373590000328
表示第二相似性损失值。
在一种可能实现的方式中，计算机设备可对以上第一平滑损失值、第二平滑损失值、一致性损失值、第一相似性损失值和第二相似性损失值中的至少两项进行加权处理，得到第一样本映射信息和第二样本映射信息之间的损失值。
可选地，计算机设备对平滑损失值、一致性损失值和相似性损失值进行处理，得到第一样本映射信息和第二样本映射信息之间的损失值，公式如下：
L＝Ls+Lc+Ld；其中，L表示损失值，Ls表示平滑损失值，Lc表示一致性损失值，Ld表示相似性损失值。
通过上述步骤1206，实现了根据第一样本映射信息和第二样本映射信息，训练所述图像处理模型。
图17是本申请实施例提供的一种训练图像处理模型的网络架构图，参见图17，对第一样本图像1701和第二样本图像1702进行前向对比处理，得到第一样本映射图像1703，对第一样本图像1701和第二样本图像1702进行后向对比处理，得到第二样本映射图像1704。根据第一样本映射图像1703对第一样本图像1701进行映射处理，得到第一重建图像1707，根据第二样本映射图像1704对第二样本图像1702进行映射处理，得到第二重建图像1708。
对第一样本映射信息1703和第二样本映射信息1704进行处理得到平滑损失值1709。对第一样本映射信息1703和第二样本映射信息1704进行处理得到一致性损失值17010，对第一样本映射信息1703和第二样本映射信息1704进行一致性检查，得到第一差异值1705和第二差异值1706，对第一样本图像1701、第二样本图像1702、第一差异值1705、第二差异值1706、第一重建图像1707和第二重建图像1708进行处理，得到相似性损失值17011。
本申请实施例提供的方法，获取第一样本图像和第二样本图像，调用图像处理模型，对第一样本图像和第二样本图像进行对比处理，根据得到的第一样本映射信息和第二样本映射信息，训练图像处理模型。因此本申请实施例的方法训练图像处理模型仅根据第一样本图像和第二样本图像即可完成训练，无需获取样本图像对应的标注图像，因此无需人工对样本图像进行标注，节省了人力和时间。
并且，调用编码网络中的第一编码层、第二编码层和第三编码层，对图像进行下采样处理，第二编码层输出的特征信息是比第一编码层输出的特征信息更深层的特征信息，第三编码层输出的特征信息是比第二编码层输出的特征信息更深层的特征信息，由此实现了提取图像的不同层次的特征信息，后续可根据该不同层次的特征信息获取对应的映射信息，使得获取的映射信息更加准确。
并且，调用解码网络中的第一解码层、第二解码层和第三解码层，对特征信息进行上采样处理，第二解码层根据第一解码层输出的样本映射信息对特征信息进行处理得到下一个样本映射信息，第三解码层根据第二解码层输出的样本映射信息对特征信息进行处理得到下一个样本映射信息，由此实现了根据不同层次的特征信息对样本映射信息进行调整，使得最终获取的样本映射信息更加准确，进一步提高了样本映射信息的准确率。
并且，本申请实施例中的图像处理模型同时学习第一样本映射信息和第二样本映射信息，利用第一样本映射信息和第二样本映射信息之间的可逆性、第一重建图像和第一样本图像之间的一致性、第二重建图像和第二样本图像的之间一致性，设计多项损失值，使得利用该图像处理模型输出的映射关系所得到的标注图像具有平滑性，符合标注图像的纹理特征。
并且，根据样本图像中每个位置是否存在个体差异，来获取样本图像中每个位置对应的差异值，根据差异值和相似值，获取样本映射信息对应的相似性损失值。可以在获取相似性损失值时将样本图像中存在个体差异的位置对应的映射值过滤掉，不考虑此种映射值对相似性损失值的影响，因此可以使相似性损失值更加准确，从而提高训练的图像处理模型的准确率。
图18是本申请实施例提供的一种图像标注方法的结构示意图。参见图18，该装置包括：
第一图像获取模块1801，用于获取目标图像、模板图像和模板图像对应的模板标注图像，模板标注图像包括模板图像中至少一个区域的标注标签；
对比处理模块1802，用于调用图像处理模型，对模板图像和目标图像进行对比处理，得到由模板图像映射到目标图像的映射信息；
第一映射处理模块1803，用于根据映射信息对模板标注图像进行映射处理，得到目标图像对应的目标标注图像，目标标注图像包括目标图像中至少一个区域的标注标签。
本申请实施例提供的装置，图像处理模型具有获取由模板图像映射到目标图像的映射信息的功能，映射信息代表模板图像与目标图像之间的映射关系，且该映射关系也适用于模板图像对应的标注图像和目标图像对应的标注图像，根据该映射信息对模板标注图像进行映射得到的目标标注图像，实现了对目标图像的图像分割，且保证了目标标注图像的准确性。由于仅需获取模板图像对应的模板标注图像，无需人工对大量模板图像进行标注，也不需要训练图像标注模型，有效节省了人力和时间，通过计算机设备代替人工完成对图像的标注，因此可以提高实现图像标注的效率。
可选地，参见图19，第一图像获取模块1801，包括：
图像获取子模块1811，用于获取目标图像、训练图像处理模型时采用的多个样本模板图像和多个样本模板图像对应的样本模板标注图像；
对比处理子模块1821，用于调用图像处理模型，分别对多个样本模板图像和目标图像进行对比处理，得到由每个样本模板图像映射到目标图像的第一样本映射信息；
映射处理子模块1831，用于分别根据每个第一样本映射信息，对每个第一样本映射信息对应的样本模板图像进行映射处理，得到每个样本模板图像对应的重建模板图像；
图像选取子模块1841，用于从多个重建模板图像中确定与目标图像的关联度最高的重建模板图像，选取重建模板图像对应的样本模板图像以及样本模板标注图像。
可选地，参见图19，对比处理模块1802，包括：
编码处理子模块1812，用于调用图像处理模型中的编码网络，分别对模板图像和目标图像进行编码处理，得到模板图像对应的模板特征信息和目标图像对应的目标特征信息；
解码处理子模块1822，用于调用图像处理模型中的解码网络，对模板特征信息和目标特征信息进行解码处理，得到由模板图像映射到目标图像的映射信息。
可选地，参见图19，编码网络包括n个编码层，n为大于1的正整数，编码处理子模块1812，用于：
调用n个编码层，对模板图像依次进行编码处理，得到模板图像对应的模板特征信息；
调用n个编码层，对目标图像依次进行编码处理，得到目标图像对应的目标特征信息。
可选地，参见图19，解码网络包括n个解码层，解码处理子模块1822，用于：
调用解码网络中的第一个解码层，对模板特征信息和目标特征信息进行解码处理，得到映射信息；
调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及映射信息进行解码处理，得到下一个映射信息，直至得到解码网络中的最后一个解码层输出的映射信息；
其中，第k个解码层与第n+1-k个编码层对应，k为不大于n的正整数。
可选地，参见图19，解码处理子模块1822，用于：
调用第一个解码层中的第一对比单元，对模板特征信息和目标特征信息进行对比处理，得到目标特征信息与模板特征信息之间的差异信息；
调用第一个解码层中的第一解码单元，对差异信息和目标特征信息进行解码处理，得到映射信息。
可选地，参见图19，解码处理子模块1822，用于：
调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的模板特征信息和第一个解码层输出的映射信息进行映射处理，得到重建特征信息；
调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的目标特征信息和重建特征信息进行对比处理，得到差异信息；
调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的目标特征信息、差异信息和第一个解码层输出的映射信息进行解码处理，得到下一个映射信息。
可选地，参见图19，装置还包括：
第二图像获取模块1804，用于获取第一样本图像和第二样本图像；
对比处理模块1802，还用于调用图像处理模型，对第一样本图像和第二样本图像进行对比处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息，以及由第二样本图像映射到第一样本图像的第二样本映射信息；
训练模块1805，用于根据第一样本映射信息和第二样本映射信息，训练图像处理模型。
可选地，参见图19，对比处理模块1802，包括：
编码处理子模块1812，用于调用图像处理模型中的编码网络，分别对第一样本图像和第二样本图像进行编码处理，得到第一样本图像对应的第一样本特征信息和第二样本图像对应的第二样本特征信息；
解码处理子模块1822，用于调用图像处理模型中的解码网络，对第一样本特征信息和第二样本特征信息进行解码处理，得到由第一样本图像映射到第二样本图像的第一样本映射信息，以及由第二样本图像映射到第一样本图像的第二样本映射信息。
可选地，参见图19，编码网络包括n个编码层，n为大于1的正整数，编码处理子模块1812，用于：
调用n个编码层，对第一样本图像依次进行编码处理，得到第一样本图像对应的第一样本特征信息；
调用n个编码层，对第二样本图像依次进行编码处理，得到第二样本图像对应的第二样本特征信息。
可选地，参见图19，解码网络包括n个解码层，解码处理子模块1822，用于：
调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第一样本映射信息；
调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第一样本映射信息进行解码处理，得到下一个第一样本映射信息，直至得到解码网络中的最后一个解码层输出的第一样本映射信息；
调用解码网络中的第一个解码层，对第一样本特征信息和第二样本特征信息进行解码处理，得到第二样本映射信息；
调用解码网络中的第二个解码层，对第二个解码层对应的编码层输出的第一样本特征信息和第二样本特征信息以及第二样本映射信息进行解码处理，得到下一个第二样本映射信息，直至得到解码网络中的最后一个解码层输出的第二样本映射信息；
其中，第k个解码层与第n+1-k个编码层对应，k为不大于n的正整数。
可选地，参见图19，解码处理子模块1822，用于：
调用第一个解码层中的第一对比单元，对第一样本特征信息和第二样本特征信息进行对比处理，得到第二样本特征信息与第一样本特征信息之间的第一样本差异信息；
调用第一个解码层中的第一解码单元，对第一样本差异信息和第二样本特征信息进行解码处理，得到第一样本映射信息。
可选地，参见图19，解码处理子模块1822，用于：
调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的第一样本特征信息和第一个解码层输出的第一样本映射信息进行映射处理，得到第一重建特征信息；
调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的第二样本特征信息和第一重建特征信息进行对比处理，得到第一样本差异信息；
调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的第二样本特征信息、第一样本差异信息和第一个解码层输出的第一样本映射信息进行解码处理，得到下一个第一样本映射信息。
可选地，参见图19，解码处理子模块1822，用于：
调用第一个解码层中的第一对比单元，对第二样本特征信息和第一样本特征信息进行对比处理，得到第一样本特征信息与第二样本特征信息之间的第二样本差异信息；
调用第一个解码层中的第一解码单元，对第二样本差异信息和第一样本特征信息进行解码处理，得到第二样本映射信息。
可选地，参见图19，解码处理子模块1822，用于：
调用第二个解码层中的第一映射单元，对第二个解码层对应的编码层输出的第二样本特征信息和第一个解码层输出的第二样本映射信息进行映射处理，得到第二重建特征信息；
调用第二个解码层中的第二对比单元，对第二个解码层对应的编码层输出的第一样本特征信息和第二重建特征信息进行对比处理，得到第二样本差异信息；
调用第二个解码层中的第二解码单元，对第二个解码层对应的编码层输出的第一样本特征信息、第二样本差异信息和第一个解码层输出的第二样本映射信息进行解码处理，得到下一个第二样本映射信息。
可选地，参见图19，训练模块1805，包括：
损失值获取子模块1815，用于对第一样本映射信息和第二样本映射信息进行处理，得到第一样本映射信息和第二样本映射信息之间的损失值；
训练子模块1825，用于根据损失值，训练图像处理模型。
可选地，参见图19，损失值包括以下至少一项：
第一样本映射信息对应的第一平滑损失值，第一平滑损失值表示根据第一样本映射信息对第一样本图像进行映射处理得到的第一重建图像的平滑程度；
第二样本映射信息对应的第二平滑损失值，第二平滑损失值表示根据第二样本映射信息对第二样本图像进行映射处理得到的第二重建图像的平滑程度；
第一样本映射信息和第二样本映射信息之间的一致性损失值，一致性损失值表示第一样本映射信息与第二样本映射信息之间的一致程度；
第一样本映射信息对应的第一相似性损失值，第一相似性损失值表示根据第一样本映射信息对第一样本图像进行映射处理得到的第一重建图像，与第二样本图像之间的相似程度；
第二样本映射信息对应的第二相似性损失值，第二相似性损失值表示根据第二样本映射信息对第二样本图像进行映射处理得到的第二重建图像，与第一样本图像之间的相似程度。
可选地，参见图19，装置还包括：
第二映射处理模块1806，用于根据第一样本映射信息对第一样本图像进行映射处理，得到第一重建图像；
相似值获取模块1807，用于获取第二样本图像和第一重建图像之间的第一相似值；
相似性损失值获取模块1808，用于根据第一相似值，获取第一样本映射信息对应的第一相似性损失值。
可选地，参见图19，第一样本映射信息包括多个位置对应的第一映射值，相似性损失值获取模块1808，包括：
差异值获取子模块1818，用于根据第一样本图像中每个位置对应的第一映射值，以及第二样本图像中每个位置对应的第二映射值，获取第一样本图像中每个位置对应的第一差异值；
相似性损失值获取子模块1828，用于根据第一差异值和第一相似值，获取第一样本映射信息对应的第一相似性损失值。
可选地，参见图19，装置还包括：
第二映射处理模块1806，用于根据第二样本映射信息对第二样本图像进行处理，得到第二重建图像；
相似值获取模块1807，用于获取第一样本图像和第二重建图像之间的第二相似值；
相似性损失值获取模块1808，用于根据第二相似值，获取第二样本映射信息对应的第二相似性损失值。
可选地，参见图19，第一样本映射信息包括多个位置对应的第一映射值，相似性损失值获取模块1808，包括：
差异值获取子模块1818，用于根据第一样本图像中每个位置对应的第一映射值，以及第二样本图像中每个位置对应的第二映射值，获取第二样本图像中每个位置对应的第二差异值；
相似性损失值获取子模块1828，用于根据第二差异值和第二相似值，获取第二样本映射信息对应的第二相似性损失值。
需要说明的是：上述实施例提供的图像标注方法在标注图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像标注方法与图像标注方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图20示出了本申请一个示例性实施例提供的终端2000的结构示意图。
通常，终端2000包括有：处理器2001和存储器2002。
处理器2001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器2001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器2001可以在集成有GPU(Graphics Processing Unit，图像处理的交互器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器2001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器2002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器2002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器2002中的非暂态的计算机可读存储介质用于存储至少一条指令，该至少一条指令用于被处理器2001所具有以实现本申请中方法实施例提供的图像标注方法。
在一些实施例中，设备2000还可选包括有：外围设备接口2003和至少一个外围设备。处理器2001、存储器2002和外围设备接口2003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2003相连。具体地，外围设备包括：射频电路2004、显示屏2005、摄像头组件2006和电源2007中的至少一种。
外围设备接口2003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器2001和存储器2002。在一些实施例中，处理器2001、存储器2002和外围设备接口2003被集成在同一芯片或电路板上；在一些其他实施例中，处理器2001、存储器2002和外围设备接口2003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路2004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路2004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路2004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2004可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路2004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏2005用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2005是触摸显示屏时，显示屏2005还具有采集在显示屏2005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2001进行处理。此时，显示屏2005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏2005可以为一个，设置终端2000的前面板；在另一些实施例中，显示屏2005可以为至少两个，分别设置在终端2000的不同表面或呈折叠设计；在一些实施例中，显示屏2005可以是柔性显示屏，设置在终端2000的弯曲表面上或折叠面上。甚至，显示屏2005还可以设置成非矩形的不规则图形，也即异形屏。显示屏2005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件2006用于采集图像或视频。可选地，摄像头组件2006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端2000的前面板，后置摄像头设置在终端2000的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件2006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
电源2007用于为终端2000中的各个组件进行供电。电源2007可以是交流电、直流电、一次性电池或可充电电池。当电源2007包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图20中示出的结构并不构成对终端2000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图21是本申请实施例提供的一种服务器的结构示意图，该服务器2100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)2101和一个或一个以上的存储器2102，其中，所述存储器2102中存储有至少一条指令，所述至少一条指令由所述处理器2101加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器2100可以用于执行上述图像标注方法中计算机设备所执行的步骤。
本申请实施例还提供了一种用于图像标注的计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令，该至少一条指令由处理器加载并执行，以实现上述实施例的图像标注方法中所具有的操作。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行，以实现上述实施例的图像标注方法中所具有的操作。
本申请实施例还提供了一种计算机程序，该计算机程序包括至少一条指令，该至少一条指令由处理器加载并执行，以实现上述实施例的图像标注方法中所具有的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像标注方法，其特征在于，所述方法包括：
获取目标图像、模板图像和所述模板图像对应的模板标注图像，所述模板标注图像包括所述模板图像中至少一个区域的标注标签；
调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息；
根据所述映射信息对所述模板标注图像进行映射处理，得到所述目标图像对应的目标标注图像，所述目标标注图像包括所述目标图像中至少一个区域的标注标签。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像、模板图像和所述模板图像对应的模板标注图像，包括：
获取目标图像、训练所述图像处理模型时采用的多个样本模板图像和所述多个样本模板图像对应的样本模板标注图像；
调用所述图像处理模型，分别对所述多个样本模板图像和所述目标图像进行对比处理，得到由所述每个样本模板图像映射到所述目标图像的第一样本映射信息；
分别根据每个第一样本映射信息，对所述每个第一样本映射信息对应的样本模板图像进行映射处理，得到所述每个样本模板图像对应的重建模板图像；
从多个重建模板图像中确定与所述目标图像的关联度最高的重建模板图像，选取所述重建模板图像对应的样本模板图像以及样本模板标注图像。
3.根据权利要求1所述的方法，其特征在于，所述调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息，包括：
调用所述图像处理模型中的编码网络，分别对所述模板图像和所述目标图像进行编码处理，得到所述模板图像对应的模板特征信息和所述目标图像对应的目标特征信息；
调用所述图像处理模型中的解码网络，对所述模板特征信息和所述目标特征信息进行解码处理，得到由所述模板图像映射到所述目标图像的映射信息。
4.根据权利要求3所述的方法，其特征在于，所述编码网络包括n个编码层，所述n为大于1的正整数，所述调用所述图像处理模型中的编码网络，分别对所述模板图像和所述目标图像进行编码处理，得到所述模板图像对应的模板特征信息和所述目标图像对应的目标特征信息，包括：
调用所述n个编码层，对所述模板图像依次进行编码处理，得到所述模板图像对应的模板特征信息；
调用所述n个编码层，对所述目标图像依次进行编码处理，得到所述目标图像对应的目标特征信息。
5.根据权利要求4所述的方法，其特征在于，所述解码网络包括n个解码层，所述调用所述图像处理模型中的解码网络，对所述模板特征信息和所述目标特征信息进行解码处理，得到由所述模板图像映射到所述目标图像的映射信息，包括：
调用所述解码网络中的第一个解码层，对所述模板特征信息和所述目标特征信息进行解码处理，得到映射信息；
调用所述解码网络中的第二个解码层，对所述第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及所述映射信息进行解码处理，得到下一个映射信息，直至得到所述解码网络中的最后一个解码层输出的映射信息；
其中，第k个解码层与第n+1-k个编码层对应，所述k为不大于n的正整数。
6.根据权利要求5所述的方法，其特征在于，所述调用所述解码网络中的第一个解码层，对所述模板特征信息和所述目标特征信息进行解码处理，得到映射信息，包括：
调用所述第一个解码层中的第一对比单元，对所述模板特征信息和所述目标特征信息进行对比处理，得到所述目标特征信息与所述模板特征信息之间的差异信息；
调用所述第一个解码层中的第一解码单元，对所述差异信息和所述目标特征信息进行解码处理，得到所述映射信息。
7.根据权利要求5所述的方法，其特征在于，所述调用所述解码网络中的第二个解码层，对所述第二个解码层对应的编码层输出的模板特征信息和目标特征信息以及所述映射信息进行解码处理，得到下一个映射信息，包括：
调用所述第二个解码层中的第一映射单元，对所述第二个解码层对应的编码层输出的模板特征信息和所述第一个解码层输出的映射信息进行映射处理，得到重建特征信息；
调用所述第二个解码层中的第二对比单元，对所述第二个解码层对应的编码层输出的目标特征信息和所述重建特征信息进行对比处理，得到差异信息；
调用所述第二个解码层中的第二解码单元，对所述第二个解码层对应的编码层输出的目标特征信息、所述差异信息和所述第一个解码层输出的映射信息进行解码处理，得到下一个映射信息。
8.根据权利要求1所述的方法，其特征在于，所述调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息之前，所述方法还包括：
获取第一样本图像和第二样本图像；
调用所述图像处理模型，对所述第一样本图像和所述第二样本图像进行对比处理，得到由所述第一样本图像映射到所述第二样本图像的第一样本映射信息，以及所述由第二样本图像映射到所述第一样本图像的第二样本映射信息；
根据所述第一样本映射信息和所述第二样本映射信息，训练所述图像处理模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一样本映射信息和所述第二样本映射信息，训练所述图像处理模型，包括：
对所述第一样本映射信息和所述第二样本映射信息进行处理，得到所述第一样本映射信息和所述第二样本映射信息之间的损失值；
根据所述损失值，训练所述图像处理模型。
10.根据权利要求9所述的方法，其特征在于，所述损失值包括以下至少一项：
所述第一样本映射信息对应的第一平滑损失值，所述第一平滑损失值表示根据所述第一样本映射信息对所述第一样本图像进行映射处理得到的第一重建图像的平滑程度；
所述第二样本映射信息对应的第二平滑损失值，所述第二平滑损失值表示根据所述第二样本映射信息对所述第二样本图像进行映射处理得到的第二重建图像的平滑程度；
所述第一样本映射信息和所述第二样本映射信息之间的一致性损失值，所述一致性损失值表示所述第一样本映射信息与所述第二样本映射信息之间的一致程度；
所述第一样本映射信息对应的第一相似性损失值，所述第一相似性损失值表示根据所述第一样本映射信息对所述第一样本图像进行映射处理得到的第一重建图像，与所述第二样本图像之间的相似程度；
所述第二样本映射信息对应的第二相似性损失值，所述第二相似性损失值表示根据所述第二样本映射信息对所述第二样本图像进行映射处理得到的第二重建图像，与所述第一样本图像之间的相似程度。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
根据所述第一样本映射信息对所述第一样本图像进行映射处理，得到第一重建图像；
获取所述第二样本图像和所述第一重建图像之间的第一相似值；
根据所述第一相似值，获取所述第一样本映射信息对应的第一相似性损失值。
12.根据权利要求11所述的方法，其特征在于，所述第一样本映射信息包括多个位置对应的第一映射值，所述第二样本映射信息包括所述多个位置对应的第二映射值；所述根据所述第一相似值，获取所述第一样本映射信息对应的第一相似性损失值，包括：
根据所述第一样本图像中每个位置对应的第一映射值，以及所述第二样本图像中每个位置对应的第二映射值，获取所述第一样本图像中每个位置对应的第一差异值；
根据所述第一差异值和所述第一相似值，获取所述第一样本映射信息对应的第一相似性损失值。
13.一种图像标注装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取目标图像、模板图像和所述模板图像对应的模板标注图像，所述模板标注图像包括所述模板图像中至少一个区域的标注标签；
对比处理模块，用于调用图像处理模型，对所述模板图像和所述目标图像进行对比处理，得到由所述模板图像映射到所述目标图像的映射信息；
第一映射处理模块，用于根据所述映射信息对所述模板标注图像进行映射处理，得到所述目标图像对应的目标标注图像，所述目标标注图像包括所述目标图像中至少一个区域的标注标签。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现如权利要求1至12任一所述的图像标注方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行，以实现如权利要求1至12任一所述的图像标注方法。
CN202010436238.4A 2020-05-21 2020-05-21 图像标注方法、装置、计算机设备及存储介质 Active CN111612068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010436238.4A CN111612068B (zh) 2020-05-21 2020-05-21 图像标注方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010436238.4A CN111612068B (zh) 2020-05-21 2020-05-21 图像标注方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111612068A true CN111612068A (zh) 2020-09-01
CN111612068B CN111612068B (zh) 2023-01-06

Family

ID=72202023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010436238.4A Active CN111612068B (zh) 2020-05-21 2020-05-21 图像标注方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111612068B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037305A (zh) * 2020-11-09 2020-12-04 腾讯科技（深圳）有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN112101371A (zh) * 2020-11-18 2020-12-18 北京京东尚科信息技术有限公司 数据处理方法、装置、电子设备和计算机存储介质
CN112330530A (zh) * 2020-10-21 2021-02-05 北京市商汤科技开发有限公司 图像处理方法、装置、设备及存储介质
CN113627413A (zh) * 2021-08-12 2021-11-09 杭州海康威视数字技术股份有限公司 数据标注方法、图像比对方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902672A (zh) * 2019-01-17 2019-06-18 平安科技（深圳）有限公司 图像标注方法及装置、存储介质、计算机设备
US20190332900A1 (en) * 2018-04-30 2019-10-31 Elekta Ab Modality-agnostic method for medical image representation
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190332900A1 (en) * 2018-04-30 2019-10-31 Elekta Ab Modality-agnostic method for medical image representation
CN109902672A (zh) * 2019-01-17 2019-06-18 平安科技（深圳）有限公司 图像标注方法及装置、存储介质、计算机设备
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备及可读存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ERIC MITCHELL ET AL.: "Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision", 《ARXIV》 *
GUHA BALAKRISHNAN ET AL.: "VoxelMorph: A Learning Framework for Deformable Medical Image Registration", 《ARXIV》 *
SHUXIN WANG ET AL.: "LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation", 《ARXIV》 *
SHUXIN WANG ET AL.: "LT-Net: LabelTransferbyLearningReversible Voxel-wiseCorrespondence for", 《ARXIV》 *
SIMON MEISTER ET AL.: "UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss", 《ARXIV》 *
刘梦迪 等: "图像自动标注技术研究进展", 《计算机应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330530A (zh) * 2020-10-21 2021-02-05 北京市商汤科技开发有限公司 图像处理方法、装置、设备及存储介质
CN112330530B (zh) * 2020-10-21 2024-04-12 北京市商汤科技开发有限公司 图像处理方法、装置、设备及存储介质
CN112037305A (zh) * 2020-11-09 2020-12-04 腾讯科技（深圳）有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN112037305B (zh) * 2020-11-09 2021-03-19 腾讯科技（深圳）有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN112101371A (zh) * 2020-11-18 2020-12-18 北京京东尚科信息技术有限公司 数据处理方法、装置、电子设备和计算机存储介质
CN112101371B (zh) * 2020-11-18 2021-09-10 北京京东尚科信息技术有限公司 数据处理方法、装置、电子设备和计算机存储介质
CN113627413A (zh) * 2021-08-12 2021-11-09 杭州海康威视数字技术股份有限公司 数据标注方法、图像比对方法及装置
CN113627413B (zh) * 2021-08-12 2024-06-04 杭州海康威视数字技术股份有限公司 数据标注方法、图像比对方法及装置

Also Published As

Publication number Publication date
CN111612068B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN111612068B (zh) 图像标注方法、装置、计算机设备及存储介质
CN111091166B (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
US11594006B2 (en) Self-supervised hierarchical motion learning for video action recognition
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN112598686B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
CN105051792A (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111598168B (zh) 图像分类方法、装置、计算机设备及介质
CN111860485A (zh) 图像识别模型的训练方法、图像的识别方法、装置、设备
CN112991494A (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112419326A (zh) 图像分割数据处理方法、装置、设备及存储介质
CN111967515A (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN111369564A (zh) 一种图像处理的方法、模型训练的方法及装置
CN113569855A (zh) 一种舌象分割方法、设备及存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN114283299A (zh) 图像聚类方法、装置、计算机设备及存储介质
CN114677350B (zh) 连接点提取方法、装置、计算机设备及存储介质
CN113570645A (zh) 图像配准方法、装置、计算机设备及介质
Yan et al. Deep learning on image stitching with multi-viewpoint images: A survey
CN112528760B (zh) 图像处理方法、装置、计算机设备及介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN113256621A (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028462

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant