CN113449755B - 数据处理方法、模型训练方法、装置、设备和存储介质 - Google Patents
数据处理方法、模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113449755B CN113449755B CN202010224729.2A CN202010224729A CN113449755B CN 113449755 B CN113449755 B CN 113449755B CN 202010224729 A CN202010224729 A CN 202010224729A CN 113449755 B CN113449755 B CN 113449755B
- Authority
- CN
- China
- Prior art keywords
- sample image
- network
- input
- image
- input sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 60
- 230000004044 response Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000001960 triggered effect Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 29
- 230000003902 lesion Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 16
- 210000004185 liver Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 238000002372 labelling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000006740 morphological transformation Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种数据处理方法、模型训练方法、装置、设备和存储介质，该方法包括：接收用户上传的包含样本生成请求的请求数据，再根据请求数据，获取包含目标对象的输入样本图像。确定此输入样本图像中包含目标对象的目标图像区域对应的空间关系特征，并根据此空间关系特征获取生成样本图像。可见，通过生成样本图像的生成，可以实现样本图像的数据增强。同时，生成样本图像生成过程中使用的仅是输入样本图像中目标对象所在的图像区域对应的空间关系特征，而非整张输入样本图像的空间关系特征，避免了输入样本图像中非目标对象所在的图像区域的空间关系特征对生成样本图像的生成产生干扰，使得生成样本图像更加逼真。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、模型训练方法、装置、设备和存储介质。
背景技术
神经网络模型已经在人工智能、智能控制等众多领域有着广泛应用前景。神经网络模型的训练过程中，训练样本的质量会直接影响到模型的训练效果，即训练样本的数量越多且训练样本的多样性越丰富，模型的训练效果越好。
而从样本数量角度来说，在一些特定应用场景中往往又会存在样本获取困难的情况。为了保证样本的数量，对已有的样本进行数据增强就是一种常见的解决方式。此时，如何对样本进行数据增强就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、模型训练方法、装置、设备和存储介质，用以实现输入样本图像的数据增强。
第一方面，本发明实施例提供一种数据处理方法，包括：
接收用户上传的请求数据，其中，所述请求数据包括样本生成请求；
根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象；
确定包含所述目标对象的目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
第二方面，本发明实施例提供一种数据处理装置，包括：
接收模块，用于接收用户上传的请求数据，其中，所述请求数据包括样本生成请求；
第一获取模块，用于根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象；
确定模块，用于确定包含所述目标对象的目标图像区域对应的空间关系特征；
第二获取模块，用于基于所述空间关系特征，获取生成样本图像。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的数据处理方法。
第五方面，本发明实施例提供一种数据处理方法，包括：
展示用户输入的包含目标对象的输入样本图像；
响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域；
响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
确定所述目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
第六方面，本发明实施例提供一种数据处理装置，包括：
展示模块，用于展示用户输入的包含目标对象的输入样本图像；
第一确定模块，用于响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域；
第二确定模块，用于响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
第三确定模块，用于确定所述目标图像区域对应的空间关系特征；
获取模块，用于基于所述空间关系特征，获取生成样本图像。
第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的数据处理方法。
第九方面，本发明实施例提供一种数据处理方法，包括：
获取包含目标对象的输入样本图像；
确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
第十方面，本发明实施例提供一种数据处理装置，包括：
获取模块，用于获取包含目标对象的输入样本图像；
确定模块，用于确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
输入模块，用于将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
第十一方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第十二方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第九方面所述的数据处理方法。
第十三方面，本发明实施例提供一种模型训练方法，包括：
获取包含目标对象的输入样本图像；
确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像；
以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
根据训练后的判别网络对所述生成网络进行训练。
第十四方面，本发明实施例提供一种模型训练装置，包括：
获取模块，用于获取包含目标对象的输入样本图像；
确定模块，用于确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
输入模块，用于将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像；
第一训练模块，用于以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
第二训练模块，用于根据训练后的判别网络对所述生成网络进行训练；其中，其中，所述输入样本图像和所述生成样本图像为三维图像。
第十五方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的模型训练方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第十六方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第十三方面所述的模型训练方法。
本发明实施例提供的数据处理方法，接收用户上传的包含样本生成请求的请求数据，再根据请求数据，获取包含目标对象的输入样本图像。接着，确定此输入样本图像中包含目标对象的目标图像区域以及此图像区域对应的空间关系特征。根据此空间关系特征获取生成样本图像。通过生成样本图像的生成，也即是实现了样本图像的数据增强。
根据上述描述可知，在生成样本图像的生成过程中使用到的仅是输入样本图像中目标图像区域对应的空间关系特征，而不是整张输入样本图像对应的空间关系特征。也就是说，输入样本图像中非目标对象所在的图像区域对应的空间关系特征不会参与到样本图像生成的过程中，也就不会对生成样本图像的生成造成干扰，使得得到的生成样本图像更加逼真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图；
图2为肝脏病变场景下的目标图像区域对应的空间关系特征；
图3为本发明实施例提供的另一种数据处理方法的流程图；
图4为本发明实施例提供的又一种数据处理方法的流程图；
图5为本发明实施例提供的一种网络训练方法的流程图；
图6为图5所示实施例中步骤403一种可选实现方式的流程图；
图7为图5所示实施例中步骤403另一种可选实现方式的流程图；
图8为本发明实施例提供的一种模型训练方法的流程图；
图9为本发明实施例提供的一种数据处理装置的结构示意图；
图10为与图9所示实施例提供的数据处理装置对应的电子设备的结构示意图；
图11为本发明实施例提供的另一种数据处理装置的结构示意图；
图12为与图11所示实施例提供的数据处理装置对应的电子设备的结构示意图；
图13为本发明实施例提供的又一种数据处理装置的结构示意图；
图14为与图13所示实施例提供的数据处理装置对应的电子设备的结构示意图；
图15为本发明实施例提供的模型训练装置的结构示意图；
图16为与图15所示实施例提供的模型训练装置对应的电子设备的结构示意图。
图17为本发明实施例提供的模型训练方法以及数据处理方法在医疗场景下的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
在对本发明实施例提供的数据处理方法进行说明之前，还需要先对该数据处理方法的现实意义和适用场景进行示例性说明：
正如背景技术中提及的神经网络模型已经应用到众多领域中，比如医学领域中脏器病变的判别。要想网络模型能够输出准确的判别结果，就需要使用大量的样本来对网络模型进行训练。而在实际中的某些场景下比如上述的医学场景，由于训练样本中往往包含用户的个人信息，训练样本的采集往往需要征得用户的同意，因此，使得样本的采集成本较高，样本数量也就较少。
为了改善此种情况，就需要根据已经征得用户同意的少量的真实训练样本生成一些虚拟训练样本，从而达到训练样本数据增强的目的。基于数据增强的结果，还可以使用数据增强得到的虚拟训练样本和征得同意后得到的真实训练样本来共同训练其他网络模型，比如用于识别图像中是否包含肝脏病变区域的分割网络模型，以保证此分割网络模型的训练效果。
而根据真实训练样本生成虚拟训练样本的过程，则可以采用本发明下述各实施例提供的数据处理方法。其中，需要说明得有，前述的真实训练样本具体来说就是真实样本图像，其可以认为是后续各实施例中的输入样本图像，前述的虚拟训练样本具体来说就是虚拟样本图像，其可以认为是生成样本图像。
基于上述背景，下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
下述各实施例以医学领域为例进行说明。图1为本发明实施例提供的一种数据处理方法的流程图，本发明实施例提供的该数据处理方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。如图1所示，该方法包括如下步骤：
S101，接收用户上传的请求数据，其中，请求数据包括样本生成请求。
S102，根据请求数据，获取输入样本图像，其中，输入样本图像包括目标对象。
在实际应用中，用户可以通过处理设备提供的界面触发样本生成操作。此时，处理设备便能够接收到包含样本生成请求的请求数据。可选地，请求数据中还可以包含输入样本图像。其中，输入样本图像中可以包含目标对象。并且可选地，输入样本图像可以是用户通过互联网获取到的或者在征得用户同意后即可获取到的。
另外，在医学领域中，输入样本图像可以是任一种医学影像，比如X光影像，CT影像，核磁共振影像等等，图像中的目标对象也即是某器官的病变区域，比如肝脏的肿瘤区域等等。
S103，确定包含目标对象的目标图像区域对应的空间关系特征。
在得到输入样本图像后，一种可选地方式，处理设备可以将输入样本图像展示给用户。则处理设备可以响应于用户对输入样本图像中目标对象所在的图像区域触发的框选操作，从而确定出目标图像区域。
其中，需要说明的是，目标图像区域中可以包含目标对象以及与目标对象最相邻的非目标对象。同时，用户还可以在此目标图像区域中进一步对其中包含的目标对象和非目标对象进行标注，标注后便可得到目标图像区域对应的空间关系特征。用户上述的框选和标注操作可以认为是对输入样本图像进行的标注处理。
需要说明的有，上述的空间关系特征不能反映目标图像区域的纹理信息，只能反映在目标图像区域中目标对象、非目标对象各自所在的位置以及二者之间的位置关系，比如，可以反映在目标图像区域中，目标对象位于中部偏上位置，非目标对象在目标对象的右下方等等。这部分内容可以参考图2所示的内容进行理解。以肝脏病变场景为例，图2中的白色部分代表病变区域，非白色部分代表器官的正常组织。
在实际应用中，输入样本图像中包括的目标对象可以是至少一个。当仅包含一个目标对象时，即可按照上述方式确定出与输入样本图像唯一对应的空间关系特征。当包含多个目标对象时，一种可选地方式，可以按照上述方式将每个目标对象单独截取出来。也即是根据一张输入样本图像确定出多个空间关系特征，每个空间关系特征对应于一个目标对象。另一种可选地方式，还可以从输入样本图像中确定同时一个包含所有目标对象最小的目标图像区域，以确定出此最小的目标图像区域对应的空间关系特征。
S104，基于空间关系特征，获取生成样本图像。
处理设备可以根据输入样本图像中目标图像区域对应的空间关系特征，得到与输入样本图像对应的生成样本图像。可选地，可以将空间关系特征输入至一收敛的生成网络中，并借由此生成网络输出生成样本图像，也即是使处理设备获取到生成样本图像。
根据上述描述可知，在输入样本图像只包含一个目标对象的情况下，根据一张输入样本图像可以得到一张对应的生成样本图像，从而使得样本图像的数量增加为原来的两倍，达到样本图像数据增强的效果。另外，与输入样本图像相同的，生成样本图像也是三维图像。
另外，可选地，还可以对输入样本图像中目标图像区域的空间关系特征进行形态学变换，使空间关系特征的数量扩大，从而也就进一步扩大了生成样本图像的数量，保证了数据增强的效果。可选地，形态学变换具体可以是旋转、缩放、腐蚀、膨胀等等。
在经过上述步骤后，处理设备一并获取到了生成样本图像以及输入样本图像。此时，对于这些数量丰富的输入以及生成样本图像，一种可选地场景，可以将这些样本图像作为训练样本对分割网络进行训练，以实现分割网络的收敛。承接上述肝脏病变的举例，分割网络可以用于确定输入待识别图像中是否包含肝脏病变区域。
本实施例中，处理设备在接收用户上传的请求数据并进一步得到包含目标对象的输入样本图像后，可以再确定此输入样本图像中包含目标对象的目标图像区域对应的空间关系特征，根据此空间关系特征获取生成样本图像。可见，获取到生成样本图像也即是实现了样本图像的数据增强。并且在生成样本图像的生成过程中使用的仅是输入样本图像中目标图像区域对应的空间关系特征，而不是整张输入样本图像对应的空间关系特征。也就是说，输入样本图像中非目标对象所在的图像区域对应的空间关系特征不会参与到样本图像生成的过程中，也就不会对生成生成样本图像的生成造成干扰，使得生成生成样本图像更加逼真。
继续承接医学领域，图3为本发明实施例提供的另一种数据处理方法的流程图。本发明实施例提供的该数据处理方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。如图3所示，该方法包括如下步骤：
S201，展示用户输入的包含目标对象的输入样本图像。
S202，响应于用户的输入操作，根据用户输入的图像区域属性信息，在输入样本图像中确定具有属性信息的备选图像区域。
S203，响应于用户触发的确认操作，在备选图像区域中确定包含目标对象的目标图像区域。
用户可以在处理设备提供的界面上触发输入操作，以将获取到的输入样本图像输入至处理设备中。其中，输入样本图像可以认为是真实样本图像，并且其中包含目标对象，具体的获取方式可以参见上述实施例中的相关描述。
响应于用户的输入操作，处理设备可以将输入样本图像展示给用户。同时，用户还可以通过处理设备进一步输入图像区域属性信息，属性信息比如可以是图像区域的尺寸和/或形状。
对于属性信息的输入，可选地，用户可以根据展示的输入样本图像，直接输入图像区域属性信息。比如，用户可以在展示的输入样本图像中框选出任意的图像区域，此框选出的图像区域具有的尺寸和/或形状即可认为是用户输入的图像区域的属性信息。当然，可选地，图像区域属性信息的输入也可以在处理设备提供的另一不显示输入样本图像的操作界面中进行。
接着，处理设备可以根据此属性信息在输入样本图像中确定出至少一个属性信息满足要求的备选图像区域，也即是在输入样本图像中将备选图像区域标注出来，并将标注结果展示给用户。其中，这些备选图像区域可以认为是处理设备自身确定出的有可能包含目标对象的图像区域。
用户则可以在此至少一个备选图像区域中进行选择也即是触发确认操作，处理设备会将用户选中的图像区域确定为目标图像区域也即是真正包含目标对象的图像区域。
S204，确定目标图像区域对应的空间关系特征。
S205，基于空间关系特征，获取生成样本图像。
基于得到的目标图像区域，用户还可以对区域中的目标对象以及非目标对象所在的区域进行详细标注，此校准结果也即是目标图像区域对应的空间关系特征。
另外，上述步骤204～205的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
本实施例中，通过与用户交互的方式实现包含目标对象的目标图像区域的确定，并且由于目标图像区域具有的属性信息是用户人为设定的，因此，可以使确定出的目标区域图像更符合用户的习惯、更有针对性。进一步地，还可以根据目标图像区域对应的空间关系特征得到生成样本图像，实现了样本数据增强的同时，也能够使得生成样本图像更加逼真。
继续承接医学领域，图4为本发明实施例提供的又一种数据处理方法的流程图。本发明实施例提供的该数据处理方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。如图4所示，该方法包括如下步骤：
S301，获取包含目标对象的输入样本图像。
通过互联网获取输入样本图像或者在征得用户同意后即可获取到输入样本图像，其中，输入样本图像中可以包含目标对象。可选地，输入样本图像可以是三维图像。并且在医学领域中，输入样本图像可以也是如图1所示实施例中提及的任一种医学影像，图像中的目标对象也即是某器官的病变区域，比如肝脏的肿瘤区域等等。
S302，确定输入样本图像中包含目标对象的目标图像区域对应的空间关系特征。
得到输入样本图像后，对于空间关系特征的确定方式，一种可选地方式，可以参见如图1所示实施例中的相关描述，在此不再赘述。
除此之外，另一种可选地方式，可以根据图像中各像素点的像素信息，对像素点进行聚类。其中，像素信息可以是像素点的灰度值。对于聚类后得到的至少一簇数据，从中确定出目标对象对应的第一数据簇以及与目标对象最相邻的非目标对象对应的第二数据簇，再根据第一、第二数据簇确定空间关系特征。
S303，将空间关系特征输入到训练至收敛的生成网络中，以获得生成网络输出的第一生成样本图像。
然后，将空间关系特征输入训练至收敛的生成网络中，以由此生成网络可以输出与输入样本图像对应的第一生成样本图像，从而使处理设备得到第一生成样本图像。根据上述描述可知，在输入样本图像只包含一个目标对象的情况下，根据一张输入样本图像可以生成一张对应的生成样本图像，从而使得样本图像的数量增加为原来的两倍，达到样本图像数据增强的效果。另外，与输入样本图像相同的，生成样本图像也是三维图像。
可选地，与图1所示实施例中相同的，还可以对输入样本图像中目标图像区域的空间关系特征进行形态学变换，使空间关系特征的数量扩大，进一步扩大生成样本图像的数量，保证了数据增强的效果。
与图1所示实施例中相同的，对于处理设备获取到的生成样本图像以及输入样本图像，一种可选地场景，也可以将这些样本图像作为训练样本对分割网络进行训练。比如可以是用于确定输入待识别图像中是否包含肝脏病变区域的分割网络。
本实施例中，先确定出输入样本图像中包含目标对象的目标图像区域对应的空间关系特征。再将此此特征入训练至收敛的生成网络中，以使此生成网络输出生成样本图像。通过生成样本图像的生成，从而实现了样本图像的数据增强。同时，生成样本图像的生成使用的仅是输入样本图像中目标图像区域的空间关系特征，而非一整张输入样本图像的空间关系特征，避免了输入样本图像中非目标对象所在的图像区域的空间关系特征对生成样本图像的生成过程产生干扰，使得生成样本图像更加逼真。
进一步的，还可以以输入样本图像和数据增强后得到的生成样本图像作为训练样本来训练一分割网络，比如训练用于确定图像中是否包含目标对象的分割网络。此时，由于样本图像已经进行过数据增强，因此，样本图像的数量是有保障的且生成样本图像也是逼真的，从而保证了分割网络的训练效果。
上述实施例中描述了生成网络输出的生成样本图像中可以包括肝脏病变区域，还可以根据此生成样本图像来训练适用于肝脏的分割网络。当然，上述生成的包含肝脏病变区域的生成样本图像同样还可以作为训练适用于其他器官比如肾脏等的分割网络，样本图像的适用范围较广，网络的泛化能力也较好。
另外，根据上述描述可知，如果直接使用整张输入样本图像对应的空间关系特征生成生成样本图像，则输入样本图像中非目标对象所在的图像区域对应的空间关系特征会对生成样本图像的生成造成干扰。并且非目标对象所在的图像区域占整个参考图像的比例越大，干扰就越显著。因此，本发明提供的数据处理方法尤其适用于目标对象在整张输入样本图像中较小比例的情况。
需要说明的还有，当然，本发明提供的方法也适用于目标对象占输入样本图像中较大比例的情况，本发明并不对目标对象在输入样本图像中的比例进行限定。同时，当输入样本图像以及生成样本图像均为二维图像时，本发明提供的数据处理方法同样适用。
根据上述实施例可知，生成样本图像的生成是通过一个训练至收敛的生成网络实现的，对于生成网络的训练，如图5所示，可选地，可以采用以下方式：
S401，将空间关系特征输入到未训练至收敛的生成网络中，以获得生成网络输出的第二生成样本图像。
S402，以第二生成样本图像作为负样本，以输入样本图像作为正样本，对判别网络进行训练。
S403，根据训练后的判别网络对生成网络进行训练。
容易理解的，当生成网络输出的生成样本图像的逼真程度已经满足预设条件，则可以认为生成网络已经训练至收敛。而生成样本图像的逼真程度是否满足条件可以通过判别网络判定。此判别网络可以输出判定此生成样本图像是输入样本图像的概率值。当判别网络无法判别出生成网络输出的样本图像是输入样本图像还是生成样本图像时，也即是当生成网络输出的样本图像输入至判别网络后，判别网络输出的概率值为0.5时，则认为生成网络训练至收敛。
可见，判别网络输出的概率值实际上是判断生成网络是否已经训练至收敛的的依据。因此，对于对抗生成网络中判别网络和生成网络的训练是
在调整生成网络的参数之前，还需要先对判别网络进行参数调整。其中，上述的判别网络和生成网络可以共同组成一对抗生成网络。
在实际训练过程过程中，对抗网络中的生成网络和判别网络是交替迭代训练的，即第一生成网络根据输入样本图像输出生成样本图像，再将此生成样本图像输入第一判别网络，根据判别网络输出的概率值调整网络参数，以得到第二判别网络。固定第二判别网络的参数，将上述的生成样本图像再次输入至第二判别网络，根据其输出的概率值调整第一生成网络的参数，以得到第二生成网络，依次交替训练，直至两个网络都收敛。承接上述的医疗领域，此对抗网络适用于三维医学影像样本的生成。
关于训练过程，具体来说，可以先将输入样本图像目标图像区域对应的空间关系特征输入到未训练至收敛的生成网络，此时生成网络中的参数可以是一初始值。未收敛的生成网络可以输出逼真程度较低的第二生成样本图像。
需要说明的有，第二生成样本图像与图4所示实施例中的第一生成样本图像，虽然都是生成样本图像，但二者分别是由收敛的生成网络和未收敛的生成网络输出的，第一生成样本图像的逼真程度当然远远高于第二生成样本图像。因此，为保证本文描述的清晰，需要通过命名将二者区分。
可以以第二生成样本为负样本，以输入样本图像为正样本，进行第一阶段的训练即调整判别网络的参数，从而得到训练后的判别网络。
可选地，可以采用以下损失函数计算判别网络的损失值，以根据损失值调整当前未收敛的判别网络的参数：
L*(D)＝arg minλ1L(D)
其中，L*(D)是判别网络的损失值，λ1是预设权重系数，
在根据上述公式计算出损失值之后，可以使用Adam优化器实现判别网络参数的更新，也即是得到训练后的判别网络，此判别网络通常也是未收敛的。参数更新后，固定此训练后的判别网络的参考，此时开始第二阶段的训练，即再将第二生成样本再次输入训练后的判别网络中，根据训练后的判别网络输出的概率值对未收敛的生成网络的参数进行调整。
本实施例中，在未收敛的生成网络输出逼真程度较低的第二生成样本之后，第一阶段，先根据未收敛的判别网络输出的概率值调整判别网络的参数，以得到训练后的判别网络。第二阶段，再将第二生成样本图像重新输入训练后的判别网络，根据训练后的判别网络重新输出的概率值，调整生成网络的参数。上述两训练阶段交替进行直至生成网络和判别网络都收敛，以使生成网络能够输出逼真的生成样本图像。
需要说明的有，判别网络只在生成网络的训练过程中使用到。在生成网络训练至收敛后，将输入样本图像输入其中即可自动生成相应的生成样本图像，此时就无需使用判别网络。
在得到训练后的判别网络训练之后，如图6所示，还可以继续对生成网络进行训练，一种可选地方式，也即是步骤403一种具体的实现方式：
S4031，将第二生成样本图像输入到训练后的判别网络中，以通过训练后的判别网络获得与第二生成样本图像对应的第一损失值。
S4032，根据第一损失值调整生成网络的参数。
具体来说，将第二生成样本图像输入训练后的判别网络中，判别网络可以输出第二生成样本图像为输入样本图像的概率值。进一步的，可以根据判别网络输出的概率值计算得到此第二生成样本图像的第一损失值。此第一损失值可以认为是生成网络的对抗损失值，用以表明生成样本图像与输入样本图像之间在语义上的相似程度。
可选地，可以根据以下公式计算第一损失值：
其中，
为第一损失值，λ2是预设权重系数，可选地，λ2可以与图2实施例中的λ1相等，
G(x)为生成网络生成的第二生成样本图像，D(G(x))为将第二生成样本图像输入至训练后的判别网络中，此训练后的判别网络输出的概率值。
在根据上述公式计算出损失值之后，同样也可以使用Adam优化器实现生成网络参数的更新。
在上述实施例中已经考虑到了通过比对生成样本图像和输入样本图像在语义层面相似度来对生成网络的参数进行调整，在此基础上，还可以从两样本图像的像素层面的相似度来调整生成网络的参数。
因此，如图7所示，还可以继续采用以下方式对生成网络进行训练，也即是步骤403另一种具体的实现方式：
S4033，将第二生成样本图像输入到训练后的判别网络中，以通过训练后的判别网络获得与第二生成样本图像对应的第一损失值。
上述步骤4033的执行过程与前述实施例的相应步骤相似，可以参见如图6所示实施例中的相关描述，在此再不赘述。
S4034，根据第二生成样本图像和输入样本图像的相似度，获取第二生成样本图像对应的第二损失值。
S4035，根据第一损失值和第二损失值对调整生成网络的参数。
具体来说，计算第二生成样本与输入样本图像之间的相似度，以得到第二生成样本图像对应的第二损失值。此第二损失值可以认为是重建损失，用以表明生成样本图像与对应的输入样本图像之间在像素层面的相似程度。
可选地，可以根据以下公式计算第二损失值：
其中，
为第二损失值，λ2是预设权重系数，
y为输入至生成网络的输入样本图像，G(x)为生成网络生成的第二生成样本图像。
此时，可以采用以下公式实现根据两个损失值对生成网络的参数进行调整：
综上所述，上述两个实施例，一个是单独从从样本图像的语义层面出发调整生成网络的参数；另一个是同时从样本图像的语义层面和像素层面出发对生成网络的参数进行调整，最终使得生成网络收敛。而在实际应用中，也可以单独从像素层面出发调整生成网络的参数。
在实际应用中，对于获取到的多个输入样本图像，可以先对输入样本图像进行Mini-patch随机采样，以随机选择出一组预设数量的输入样本图像。再将选中的输入样本图像对应的空间关系特征输入未收敛的生成网络中，以生成对应数量的第二生成样本图像。此时可以根据这一部分的第二生成样本图像对判别网络的参数进行调整，再固定判别网络的参数进一步调整生成网络的参数，从而完成判别网络和生成网络的一轮训练。然后，再利用另一组输入样本图像对网络进行又一轮的训练，经过多轮训练后，直至两网络收敛。
另外，需要说明的有，由于本发明中各实施例适用的是输入样本图像较少的场景，因此，图4所示实施例提供的数据处理方法中使用到的输入样本图像，可以与图5～图7所示实施例提供的网络训练过程中使用到的输入样本图像相同。
这种情况下，当生成网络已经训练至收敛之后，便可以直接将网络训练过程中使用到的输入样本图像对应的空间网络特征直接输入至生成网络中即可。当然，如果又得到了新的输入样本图像，则还需要在此新的输入样本图像中确定其对应的空间关系特征，并将已有的和最新得到的输入样本图像各自对应的空间网络特征输入至收敛的生成网络中。
对于生成网络的具体训练方式，图8为本发明实施例提供的一种模型训练方法的流程图。本发明实施例提供的该模型训练方法可以由训练设备来执行。可以理解的是，该训练设备可以实现为软件、或者软件和硬件的组合。如图8所示，该方法可以包括如下步骤：
S501，获取包含目标对象的输入样本图像。
S502，确定输入样本图像中包含目标对象的目标图像区域对应的空间关系特征。
上述步501～502的执行过程与前述实施例的相应步骤相似，可以参见如图4所示实施例中的相关描述，在此再不赘述。
S503，将空间关系特征输入到未训练至收敛的生成网络中，以获得生成网络输出的第二生成样本图像。
S504，以第二生成样本图像作为负样本，以输入样本图像作为正样本，对判别网络进行训练。
S505，根据训练后的判别网络对生成网络进行训练。
上述步503～505的执行过程与前述实施例的相应步骤相似，可以参见如图5～图7所示实施例中的相关描述，在此再不赘述。
另外，可选地，本实施例中涉及的输入样本图像以及生成样本图像均可以为三维图像。并且本实施例中的生成样本图像也即是图5～图7所示实施例中的第二生成样本图像。并且上述的生产网络和判别网络可以共同组成对抗生成网络，用以生成高逼真程度的生成样本图像。
本实施例中，获取包含目标对象的输入样本图像，确定图像中包含目标对象的目标图像区域对应的空间关系特征。然后，将此特征输入未收敛的生成网络中。再将输入样本图像和生成网络输出的生成样本图像作为训练样本，先对判别网络进行训练，以得到训练后的判别网络，再根据训练后的判别网络对生成样本图像的输出结果进一步调整生成网络的参数，以实现生成网络的训练。
可见，训练过程中使用到的仅是输入样本图像中部分图像对应的空间关系特征，而不是整张输入样本图像的空间关系特征。这样的话输入样本图像中非目标对象所在的图像区域对应的空间关系特征就不会参与网络模型训练的过程中，避免对模型训练产生干扰，保证模型训练的效果。
以下将详细描述本发明的一个或多个实施例的数据处理装置。本领域技术人员可以理解，这些数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图9为本发明实施例提供的一种数据处理装置的结构示意图，如图9所示，该装置包括：
接收模块11，用于接收用户上传的请求数据，其中，所述请求数据包括样本生成请求。
第一获取模块12，用于根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象。
确定模块13，用于确定包含所述目标对象的目标图像区域对应的空间关系特征。
第二获取模块14，用于基于所述空间关系特征，获取生成样本图像。
可选地，所述第二获取模块14具体用于：基于所述空间关系特征，通过生成网络，获取所述生成样本图像。
图9所示装置可以执行图1至图2所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图2所示实施例中的描述，在此不再赘述。
以上描述了数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备。如图10所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该电子设备执行上述图1至图2所示实施例中提供的数据处理方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：
接收用户上传的请求数据，其中，所述请求数据包括样本生成请求；
根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象；
确定包含所述目标对象的目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
可选地，所述处理器21还用于执行前述图1至图2所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口23，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图2所示方法实施例中数据处理方法所涉及的程序。
图11为本发明实施例提供的另一种数据处理装置的结构示意图，如图11所示，该装置包括：
展示模块31，用于展示用户输入的包含目标对象的输入样本图像。
第一确定模块32，用于响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域。
第二确定模块33，用于响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域。
第三确定模块34，用于确定所述目标图像区域对应的空间关系特征。
获取模块35，用于基于所述空间关系特征，获取生成样本图像。
图11所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。
以上描述了数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备。如图12所示，该电子设备可以包括：处理器41和存储器42。其中，所述存储器42用于存储支持该电子设备执行上述图3所示实施例中提供的数据处理方法的程序，所述处理器41被配置为用于执行所述存储器42中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器41执行时能够实现如下步骤：
展示用户输入的包含目标对象的输入样本图像；
响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域；
响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
确定所述目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
可选地，所述处理器41还用于执行前述图3所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口43，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图3所示方法实施例中数据处理方法所涉及的程序。
图13为本发明实施例提供的又一种数据处理装置的结构示意图，如图13所示，该装置包括：
获取模块51，用于获取包含目标对象的输入样本图像。
确定模块52，用于确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征。
输入模块53，用于将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
可选地，所述输入样本图像和所述第一生成样本图像为三维图像。
所述确定模块52具体用于：根据所述参考图像中像素点的像素信息，对所述像素点进行聚类；以及根据聚类结果确定所述目标图像区域以及所述空间关系特征。
可选地，所述装置还包括：转换模块61，用于对所述空间关系特征进行变换处理，以扩展真空间关系特征的数量。
可选地，所述装置还包括：第一训练模块62和第二训练模块63。
所述输入模块53，用于将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的第二生成样本图像。
所述第一训练模块62，用于以所述第二生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练。
所述第二训练模块63，用于根据训练后的判别网络对所述生成网络进行训练。
可选地，所述第二训练模块63具体包括：
第一计算单元631，用于将所述第二生成样本图像输入到训练后的判别网络中，以通过所述训练后的判别网络获得与所述第二生成样本图像对应的第一损失值。
调整单元632，用于根据所述第一损失值调整所述生成网络的参数。
可选地，所述第二训练模块63具体还包括：
第二计算单元633，用于根据所述第二生成样本图像和所述输入样本图像的相似度，获取所述第二生成样本图像对应的第二损失值。
所述调整单元632，用于根据所述第一损失值和所述第二损失值对调整所述生成网络的参数。
可选地，所述装置还包括：第三训练模块64，用于以所述输入图像样本以及训练至收敛的生成网络输出的生成样本图像为训练样本，训练分割网络，所述分割网络用于确定输入的待识别图像中是否包含所述目标对象。
图13所示装置可以执行图4至图7所示实施例的方法，本实施例未详细描述的部分，可参考对图4至图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4至图7所示实施例中的描述，在此不再赘述。
以上描述了数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备，如图14所示，该电子设备可以包括：处理器71和存储器72。其中，所述存储器72用于存储支持该电子设备执行上述图4至图7所示实施例中提供的数据处理方法的程序，所述处理器71被配置为用于执行所述存储器72中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器71执行时能够实现如下步骤：
获取包含目标对象的输入样本图像；
确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
可选地，所述处理器71还用于执行前述图4至图7所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口73，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图4至图7所示方法实施例中数据处理方法所涉及的程序。
以下将详细描述本发明的一个或多个实施例的模型训练装置。本领域技术人员可以理解，这些模型训练装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图15为本发明实施例提供的模型训练装置的结构示意图，如图15所示，该装置包括：
获取模块81，用于获取包含目标对象的输入样本图像。
确定模块82，用于确定所述输入样本图像包含所述目标对象的目标图像区域对应的空间关系特征。
输入模块83，用于将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像。
第一训练模块84，用于以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练。
第二训练模块85，用于根据训练后的判别网络对所述生成网络进行训练，其中，所述输入样本图像和所述生成样本图像为三维图像。
图15所示装置可以执行图8所示实施例的方法，本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。
以上描述了模型训练装置的内部功能和结构，在一个可能的设计中，模型训练装置的结构可实现为一电子设备，如图16所示，该电子设备可以包括：处理器91和存储器92。其中，所述存储器92用于存储支持该电子设备执行上述图8所示实施例中提供的模型训练方法的程序，所述处理器91被配置为用于执行所述存储器92中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器91执行时能够实现如下步骤：
获取包含目标对象的输入样本图像；
确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像；
以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
根据训练后的判别网络对所述生成网络进行训练。
可选地，所述处理器91还用于执行前述图8所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口93，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图8所示方法实施例中模型训练方法所涉及的程序。
为便于理解，结合医疗应用场景对以上提供的数据处理方法以及模型训练方法的具体实现过程进行示例性说明，以下过程可以结合图17理解。
在征得用户的同意后，可以得到用户的肝脏医学影像也即是上述各实施例中的输入样本图像，此图像是三维图像并且其中是包含目标对象也即是包含肝脏病变区域的。接着，用户可以借助处理设备触发请求操作，处理设备可以响应于此操作，接收用户上传的包含样本生成请求的请求数据，此时，处理设备也即是得到了输入样本图像。处理设备也会将此输入样本图像展示给用户。
然后，处理设备需要确定此输入样本图像中包含肝脏病变区域的目标图像区域。
一种可选地目标图像区域确定方式，基于输入样本图像的展示，可以通过人工标注的方式，将肝脏医学影像中的肝脏的病变区域以及非病变区域进行标注，病变区域也即是上述各实施例中的目标对象。根据标注结果便可以得到一张完整的医学影像确定出目标图像区域。
另一种可选地目标图像区域确定方式，用户可以在展示的输入样本图像中随意框选出一图像区域，框选出的图像区域具有的尺寸和/或形状即是图像区域的属性信息。接着，处理设备可以根据此属性信息在输入样本图像中确定出至少一个属性信息满足要求的备选图像区域，并将备选图像区域展示给用户。处理设备会将用户选中的图像区域确定为目标图像区域也即是真正包含目标对象的图像区域。此种方式的具体过程可以参见图3所示实施例中的相关描述。此时用户还可以进一步对目标图像区域中的病变区域以及非病变区域进行标注。
根据标注结果便可以得到目标图像区域对应的空间关系特征。其中，目标图像区域中包含与生成生成样本图像有关的病变区域以及与病变区域最相邻的非病变区域。此时由于输入样本图像的数量通常是较少的，则空间关系特征的数量也是较少的，因此，可选地，可以对空间关系特征进行如旋转、缩放、膨胀、腐蚀等的转换，以扩充空间关系特征的数量。
接着，可以将上述得到的空间关系特征输入至对抗生成网络中的未训练至收敛的生成网络中，此生成网络可以为每个空间关系特征输出一张生成样本图像，也即是上述的第二生成样本图像，这些第二生成样本图像的逼真程度都是较低的。然后，再将第二生成样本图像以及输入样本图像输入至对抗生成网络中未训练至收敛的判别网络，判别网络会为每个第二生成样本图像输出一个判别结果，此判别结果具体表现为判断第二生成样本图像为输入样本图像的概率值。可以根据判别网络输出的概率值对其参数进行调整，以得到训练后的判别网络，当然此网络也是未收敛的。具体的调整方式可以参见图5所示的实施例。
进而，将已经生成的第二生成样本图像输入训练后的判别网络中，再根据训练后的判别网络重新输出的对应于第二生成样本图像的概率值，对生成网络的参数进行调整。其中，对于生成网络的参数的调整方式可以考虑样本图像的语义层面，以得到对抗损失值即上述实施例中的第一损失值。同时还可以考虑样本图像像素层面，以得到重建损失值即上述实施例中的第二损失值，可以根据这两个损失值来调整网络参数。具体的调整方式可以参见图6～图7所示的实施例。
经过上述过程后便可以得到收敛的判别网络和收敛的生成网络，以由二者组成一个完整的对抗生成网络。之后便可以使用此收敛的生成网络生成逼真的生成样本图像即上述各实施例中的第一生成样本图像。
具体来说，在此医疗场景中，输入样本图像的数量通常是较少的，因此，可以继续将训练生成网络时使用的输入样本图像对应的空间关系特征输入至收敛的生成网络中，以由生成网络输出第一生成样本图像。由于生成样本图像的生成使用的仅是输入样本图像中部分图像区域对应的空间关系特征，而非一整张图像对应的空间关系特征，避免了输入样本图像中非目标对象所在的图像区域对应的空间关系特征对生成样本图像的生成产生干扰，使得第一生成样本图像更加逼真。
当然，在得到收敛的生成网络后，还可以从全新的一些输入样本图像中确定出其对应的全新的空间关系特征，将其输入至生成网络，并最终得到逼真的第一生成样本图像。其中，确定出全新的空间关系特征的过程同样可以采用人工标注的方式来实现。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (24)
1.一种数据处理方法，其特征在于，包括：
接收用户上传的请求数据，其中，所述请求数据包括样本生成请求；
根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象；
根据所述用户输入的属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；
响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；
根据聚类结果确定包含所述目标对象的目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述空间关系特征，获取生成样本图像，包括：
基于所述空间关系特征，通过生成网络，获取所述生成样本图像。
3.一种数据处理方法，其特征在于，包括；
展示用户输入的包含目标对象的输入样本图像；
响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域，所述属性信息包括尺寸和/或形状；
响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；
根据聚类结果确定所述目标图像区域对应的空间关系特征；
基于所述空间关系特征，获取生成样本图像。
4.一种数据处理方法，其特征在于，包括：
获取包含目标对象的输入样本图像；
根据属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；
响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；
根据聚类结果确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
5.根据权利要求4所述的方法，其特征在于，所述输入样本图像和所述第一生成样本图像为三维图像。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述空间关系特征进行变换处理，以扩展所述空间关系特征的数量。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的第二生成样本图像；
以所述第二生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
根据训练后的判别网络对所述生成网络进行训练。
8.根据权利要求7所述的方法，其特征在于，所述根据训练后的判别网络对所述生成网络进行训练，包括：
将所述第二生成样本图像输入到所述训练后的判别网络中，以通过所述训练后的判别网络获得与所述第二生成样本图像对应的第一损失值；
根据所述第一损失值调整所述生成网络的参数。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述第二生成样本图像和所述输入样本图像的相似度，获取所述第二生成样本图像对应的第二损失值；
根据所述第一损失值和所述第二损失值对调整所述生成网络的参数。
10.根据权利要求4所述的方法，其特征在于，所述方法还包括：
以所述输入样本图像以及训练至收敛的生成网络输出的生成样本图像为训练样本，训练分割网络，所述分割网络用于确定输入的待识别图像中是否包含所述目标对象。
11.一种模型训练方法，其特征在于，包括：
获取包含目标对象的输入样本图像；
根据属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；
响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；
根据聚类结果确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像；
以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
根据训练后的判别网络对所述生成网络进行训练。
12.根据权利要求11所述的方法，其特征在于，所述输入样本图像和所述生成样本图像为三维图像。
13.一种数据处理装置，其特征在于，包括：
接收模块，用于接收用户上传的请求数据，其中，所述请求数据包括样本生成请求；
第一获取模块，用于根据所述请求数据，获取输入样本图像，其中，所述输入样本图像包括目标对象；
确定模块，用于根据属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；根据聚类结果确定包含所述目标对象的目标图像区域对应的空间关系特征；
第二获取模块，用于基于所述空间关系特征，获取生成样本图像。
14.一种数据处理装置，其特征在于，包括：
展示模块，用于展示用户输入的包含目标对象的输入样本图像；
第一确定模块，用于响应于所述用户的输入操作，根据所述用户输入的图像区域属性信息，在所述输入样本图像中确定具有所述属性信息的备选图像区域，所述属性信息包括尺寸和/或形状；
第二确定模块，用于响应于所述用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；
第三确定模块，用于根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；根据聚类结果确定所述目标图像区域对应的空间关系特征；
获取模块，用于基于所述空间关系特征，获取生成样本图像。
15.一种数据处理装置，其特征在于，包括：
获取模块，用于获取包含目标对象的输入样本图像；
确定模块，用于根据属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；根据聚类结果确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
输入模块，用于将所述空间关系特征输入到训练至收敛的生成网络中，以获得所述生成网络输出的第一生成样本图像。
16.一种模型训练装置，其特征在于，包括：
获取模块，用于获取包含目标对象的输入样本图像；
确定模块，用于根据属性信息在所述输入样本图像中确定出属性信息满足要求的备选图像区域，所述属性信息包括尺寸和/或形状；响应于用户触发的确认操作，在所述备选图像区域中确定包含所述目标对象的目标图像区域；根据所述输入样本图像中像素点的像素信息，对所述像素点进行聚类；根据聚类结果确定所述输入样本图像中包含所述目标对象的目标图像区域对应的空间关系特征；
输入模块，用于将所述空间关系特征输入到未训练至收敛的生成网络中，以获得所述生成网络输出的生成样本图像；
第一训练模块，用于以所述生成样本图像作为负样本，以所述输入样本图像作为正样本，对判别网络进行训练；
第二训练模块，用于根据训练后的判别网络对所述生成网络进行训练，其中，所述输入样本图像和所述生成样本图像为三维图像。
17.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至2中任一项所述的数据处理方法。
18.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求3所述的数据处理方法。
19.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求4至10中任一项所述的数据处理方法。
20.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求11至12中任一项所述的模型训练方法。
21.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至2中任一项所述的数据处理方法。
22.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求3所述的数据处理方法。
23.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求4至10中任一项所述的数据处理方法。
24.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求11至12中任一项所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010224729.2A CN113449755B (zh) | 2020-03-26 | 2020-03-26 | 数据处理方法、模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010224729.2A CN113449755B (zh) | 2020-03-26 | 2020-03-26 | 数据处理方法、模型训练方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113449755A CN113449755A (zh) | 2021-09-28 |
| CN113449755B true CN113449755B (zh) | 2022-12-02 |
Family
ID=77807195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010224729.2A Active CN113449755B (zh) | 2020-03-26 | 2020-03-26 | 数据处理方法、模型训练方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449755B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102495865A (zh) * | 2011-11-28 | 2012-06-13 | 南京大学 | 结合图像内部空间关系及视觉共生关系的图像标注方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322550B (zh) * | 2015-02-16 | 2023-06-20 | 深圳迈瑞生物医疗电子股份有限公司 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
| CN107358241B (zh) * | 2017-06-30 | 2021-01-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US11138731B2 (en) * | 2018-05-30 | 2021-10-05 | Siemens Healthcare Gmbh | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium |
| EP3611699A1 (en) * | 2018-08-14 | 2020-02-19 | Siemens Healthcare GmbH | Image segmentation using deep learning techniques |
| CN109493308B (zh) * | 2018-11-14 | 2021-10-26 | 吉林大学 | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 |
| CN110059748A (zh) * | 2019-04-18 | 2019-07-26 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法和装置 |
| CN110378838B (zh) * | 2019-06-25 | 2023-04-18 | 达闼机器人股份有限公司 | 变视角图像生成方法，装置，存储介质及电子设备 |
-
2020
- 2020-03-26 CN CN202010224729.2A patent/CN113449755B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102495865A (zh) * | 2011-11-28 | 2012-06-13 | 南京大学 | 结合图像内部空间关系及视觉共生关系的图像标注方法 |
Non-Patent Citations (1)
| Title |
|---|
| 空间关系信息和颜色信息相结合的地形图分层算法;郑华利等;《中国图象图形学报》;20030430(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113449755A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899163B (zh) | 生成对抗网络中单图像超分辨率的有效结构保持 | |
| CN111353546B (zh) | 图像处理模型的训练方法、装置、计算机设备和存储介质 | |
| JP2019536162A (ja) | シーンのポイントクラウドを表現するシステム及び方法 | |
| US20130089258A1 (en) | Method and apparatus for removing a visual object from a visual data stream | |
| US20230059499A1 (en) | Image processing system, image processing method, and non-transitory computer readable medium | |
| CN109583509A (zh) | 数据生成方法、装置及电子设备 | |
| US20190087982A1 (en) | Automatic coloring of line drawing | |
| US20240153271A1 (en) | Method and apparatus for selecting cover of video, computer device, and storage medium | |
| US20220207790A1 (en) | Image generation method and apparatus, and computer | |
| CN115908109A (zh) | 人脸图像风格化模型训练方法、设备和存储介质 | |
| CN109493319A (zh) | 融合图像效果量化方法、装置、计算机设备和存储介质 | |
| CN113706583B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| JP6980913B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
| CN113449755B (zh) | 数据处理方法、模型训练方法、装置、设备和存储介质 | |
| CN114762004A (zh) | 数据生成方法、数据生成装置、模型生成方法、模型生成装置及程序 | |
| US9628672B2 (en) | Content processing apparatus, content processing method, and storage medium | |
| CN114373034B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN116363320A (zh) | 重建模型的训练和三维模型重建方法、装置、设备及介质 | |
| CN114373033B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN111627528A (zh) | VRDS 4D医学影像多设备Ai联动显示方法及产品 | |
| CN108447066A (zh) | 胆道图像分割方法、终端、存储介质 | |
| US11908070B2 (en) | Dynamic three-dimensional imaging method | |
| CN112862923A (zh) | 特征直方图驱动的二维标量场数据可视化方法及系统 | |
| JP6375778B2 (ja) | 画像処理方法および画像処理装置 | |
| CN113824898B (zh) | 一种视频生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |