CN113723294A - 数据处理方法、装置及对象识别方法、装置 - Google Patents
数据处理方法、装置及对象识别方法、装置 Download PDFInfo
- Publication number
- CN113723294A CN113723294A CN202111009614.2A CN202111009614A CN113723294A CN 113723294 A CN113723294 A CN 113723294A CN 202111009614 A CN202111009614 A CN 202111009614A CN 113723294 A CN113723294 A CN 113723294A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional data
- style
- dimensional
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 203
- 230000005012 migration Effects 0.000 claims abstract description 107
- 238000013508 migration Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims description 64
- 230000004927 fusion Effects 0.000 claims description 51
- 238000009826 distribution Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了数据处理方法、装置及对象识别方法、装置，应用于数据增强技术领域。该数据处理方法包括：获取源三维数据；按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；获取所述参考三维数据的成像风格特征，作为目标风格特征；基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。通过本方案，可以将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据。在此基础上，本申请实施例提供的数据识别方法、装置，可以提高对象识别模型在目标应用场景中的识别性能。
Description
技术领域
本申请涉及数据增强技术领域，特别是涉及数据处理方法、装置及对象识别方法、装置。
背景技术
三维对象识别是一种利用对象的三维几何信息进行对象识别的技术，相对于二维对象识别具有较大优势。其中，三维对象识别主要利用预先训练的对象识别模型实现，而对象识别模型则需要依赖大量的样本三维数据，即需要大量的样本三维数据对深度学习网络模型进行训练，才可以得到可用的对象识别模型。
相关技术中，通过多源数据的方式，扩展用于训练对象识别模型的样本三维数据的规模，即从多个数据源中获取源三维数据，作为样本三维数据。
然而，由于不同应用场景下所采集的三维数据的成像风格存在较大的差异，因此，通过多源数据的方式所扩展的三维数据，与对象识别模型所针对目标应用场景下的三维数据的成像风格不同。这样使得采用扩展的三维数据进行训练的对象识别模型，不能很好的适应目标应用场景的应用，即采用相关技术所训练的对象识别模型在目标应用场景中识别性能较低。
发明内容
本申请实施例的目的在于提供一种数据处理方法、装置，以将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础。在此基础上，本申请实施例还提供了一种对象识别方法，以提高对象识别模型在目标应用场景中的识别性能。具体技术方案如下：
第一方面，本申请实施例提供一种数据处理方法，包括：
获取源三维数据；
按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；其中，所述指定格式为参考三维数据所具有的数据格式，所述参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
获取所述参考三维数据的成像风格特征，作为目标风格特征；
基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据，包括：
识别所述待处理数据的内容特征；其中，所述内容特征为所述待处理数据的各特征中去除成像风格特征的特征；
将所述内容特征与所述目标风格特征进行特征融合，得到融合特征；
生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述识别所述待处理数据的内容特征，包括：基于预设的数据编码方式，对所述待处理数据进行编码处理，得到所述待处理数据的内容特征；
所述生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据，包括：基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码，得到解码数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述获取参考三维数据的成像风格特征的步骤、所述基于预设的数据编码方式，对所述待处理数据进行编码处理的步骤、将所述内容特征与所述目标风格特征进行特征融合的步骤，以及基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码的步骤，通过预先训练的风格迁移模型实现；
其中，所述预先训练的风格迁移模型为基于样本三维数据和所述样本参考数据训练得到的、用于将所述样本三维数据的成像风格迁移为所述样本参考数据的成像风格的模型。
在一种实现方式中，按照以下方式训练所述风格迁移模型：
获取样本三维数据和所述样本参考数据；将所获取的样本三维数据和对应的样本参考数据输入至待训练的风格迁移模型，以使待训练的风格迁移模型获取所述样本参考数据的成像风格特征，并基于预设的数据编码方式，对所述样本三维数据进行编码处理，得到样本三维数据的内容特征，将所述样本三维数据的内容特征与所述样本参考数据的成像风格特征进行特征融合，基于与所述数据编码方式相对应的数据解码方式，对特征融合后的内容进行解码，得到成像风格特征迁移后的三维数据；
基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值；
基于所述损失函数值，判断所述待训练的风格迁移模型是否收敛，当未收敛时，调整所述待训练的风格迁移模型的参数，并进行下一次训练，当收敛时，得到训练完成的风格迁移模型。
在一种实现方式中，所述基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值，包括：
基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种；
基于所述身份损失值、所述结构信息损失值、所述身份分类损失值和所述风格分类损失值中的至少一种，确定损失函数值。
在一种实现方式中，所述指定格式为深度图格式；
所述按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据，包括：
确定与所述源三维数据所表征内容相同、数据格式为非深度图的三维数据，作为预处理数据；
将所述预处理数据的每一三维点映射在目标相机的成像平面上，得到每一三维点对应的映射点；其中，所述目标相机为：采集所述目标应用场景中包含对象的三维数据的相机；
基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据。
在一种实现方式中，所述基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据，包括：
若所述源三维数据的数据格式为非深度图的三维数据，则将源三维数据作为预处理数据；
若所述源三维数据为深度图，则将源三维数据转换为数据格式为非深度图的三维数据，作为待处理数据。
在一种实现方式中，所述基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为预处理数据，包括：
针对每一三维点，基于所述目标相机的畸变参数，对该三维点对应的映射点的坐标进行畸变计算，得到畸变坐标，并将所述畸变坐标转换为所述目标相机的像素坐标系下的像素坐标，作为该三维点对应的像素坐标；
针对每一像素坐标，基于该像素坐标对应的三维点的深度值，确定该像素坐标下像素点的像素值，得到深度图，作为预处理数据。
在一种实现方式中，三维数据的成像风格包括：噪点分布、空洞分布、误差分布、深度图分辨率、点云密度中的至少一种；
三维数据的成像风格特征包括：噪点分布特征、空洞分布特征、误差分布特征、深度图分辨率特征、点云密度特征中的至少一种。
第二方面，本申请实施例提供一种对象识别方法，包括：
获取针对目标应用场景中的待识别对象的三维数据；
利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到所述待识别对象的识别结果；
其中，所述对象识别模型为利用样本三维数据和所述样本三维数据对应的标注结果训练得到的，所述样本三维数据为采用第一方面所述的方法处理后、与所获取的三维数据的成像风格相匹配的三维数据。
第三方面，本申请实施例提供一种数据处理装置，包括：
第一数据获取模块，用于获取源三维数据；
数据生成模块，用于按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；其中，所述指定格式为参考三维数据所具有的数据格式，所述参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
风格获取模块，用于获取所述参考三维数据的成像风格特征，作为目标风格特征；
风格迁移模块，用于基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于识别所述待处理数据的内容特征；其中，所述内容特征为所述待处理数据的各特征中去除成像风格特征的特征；将所述内容特征与所述目标风格特征进行特征融合，得到融合特征；生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于基于预设的数据编码方式，对所述待处理数据进行编码处理，得到所述待处理数据的内容特征；基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码，得到解码数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于通过预先训练的风格迁移模型实现；
其中，所述预先训练的风格迁移模型为基于样本三维数据和所述样本参考数据训练得到的、用于将所述样本三维数据的成像风格迁移为所述样本参考数据的成像风格的模型。
在一种实现方式中，还包括模型训练模块，用于获取样本三维数据和所述样本参考数据；将所获取的样本三维数据和对应的样本参考数据输入至待训练的风格迁移模型，以使待训练的风格迁移模型获取所述样本参考数据的成像风格特征，并基于预设的数据编码方式，对所述样本三维数据进行编码处理，得到样本三维数据的内容特征，将所述样本三维数据的内容特征与所述样本参考数据的成像风格特征进行特征融合，基于与所述数据编码方式相对应的数据解码方式，对特征融合后的内容进行解码，得到成像风格特征迁移后的三维数据；基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值；基于所述损失函数值，判断所述待训练的风格迁移模型是否收敛，当未收敛时，调整所述待训练的风格迁移模型的参数，并进行下一次训练，当收敛时，得到训练完成的风格迁移模型。
在一种实现方式中，所述模型训练模块，具体用于基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种；基于所述身份损失值、所述结构信息损失值、所述身份分类损失值和所述风格分类损失值中的至少一种，确定损失函数值。
在一种实现方式中，所述指定格式为深度图格式；
所述模型训练模块，具体用于确定与所述源三维数据所表征内容相同、数据格式为非深度图的三维数据，作为预处理数据；将所述预处理数据的每一三维点映射在目标相机的成像平面上，得到每一三维点对应的映射点；其中，所述目标相机为：采集所述目标应用场景中包含对象的三维数据的相机；基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据。
在一种实现方式中，所述模型训练模块，具体用于若所述源三维数据的数据格式为非深度图的三维数据，则将源三维数据作为预处理数据；若所述源三维数据为深度图，则将源三维数据转换为数据格式为非深度图的三维数据，作为待处理数据。
在一种实现方式中，所述模型训练模块，具体用于针对每一三维点，基于所述目标相机的畸变参数，对该三维点对应的映射点的坐标进行畸变计算，得到畸变坐标，并将所述畸变坐标转换为所述目标相机的像素坐标系下的像素坐标，作为该三维点对应的像素坐标；针对每一像素坐标，基于该像素坐标对应的三维点的深度值，确定该像素坐标下像素点的像素值，得到深度图，作为预处理数据。
在一种实现方式中，三维数据的成像风格包括：噪点分布、空洞分布、误差分布、深度图分辨率、点云密度中的至少一种；
三维数据的成像风格特征包括：噪点分布特征、空洞分布特征、误差分布特征、深度图分辨率特征、点云密度特征中的至少一种。
第四方面，本申请实施例提供一种对象识别装置，包括：
第二数据获取模块，用于获取针对目标应用场景中的待识别对象的三维数据；
数据处理模块，用于利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到所述待识别对象的识别结果；
其中，所述对象识别模型为利用样本三维数据和所述样本三维数据对应的标注结果训练得到的，所述样本三维数据为采用第三方面所述的装置处理后、与所获取的三维数据的成像风格相匹配的三维数据。
本申请实施例有益效果：
本申请实施例所提供的数据处理方法中，在获取源三维数据后，可以按照预设的数据生成策略，基于源三维数据，生成与参考三维数据所具有的数据格式相同的三维数据，作为待处理数据，进而基于参考三维数据的成像风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。可见，通过本方案，将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础，同时，该数据还保留了原始三维数据的标注信息。
在此基础上，本申请实施例还提供一种对象识别方法，可以在获取针对目标应用场景中的待识别对象的三维数据后，通过基于上述数据处理方法处理后的三维数据进行训练所得的对象识别模型，对所获取的三维数据进行对象识别处理，得到待识别对象的识别结果。由于用于训练对象识别模型的训练数据与所获取的三维数据的成像风格相匹配，因此，训练所得到的对象识别模型能够更好的适用于目标应用场景，从而可以提高对象识别模型在目标应用场景中的识别性能。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的数据处理方法的流程图；
图2为本申请实施例提供的数据处理方法的另一流程图；
图3为本申请实施例提供的风格迁移模型的框架示意图；
图4为本申请实施例提供的风格迁移模型训练方法的流程图；
图5为本申请实施例提供的数据处理方法的另一流程图；
图6为本申请实施例提供的对象识别方法的流程图；
图7为本申请实施例所提供的数据处理装置的结构示意图；
图8为本申请实施例所提供的对象识别装置的结构示意图；
图9为本申请实施例所提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
三维对象识别是一种利用三维数据进行对象识别的技术。其中，三维对象识别与二维对象识别的区别体现在：二维对象识别主要基于纹理信息进行对象识别，而三维对象识别主要基于对象的三维几何信息进行对象识别。由于纹理信息受环境等因素(如光照因素、化妆等)的影响较大，而三维几何信息受环境等因素的影响较小，因此，三维对象识别比二维对象识别更具优势，近年来越来越受到重视。
其中，三维对象识别主要通过预先训练的对象识别模型来实现。并且，一个可用的对象识别模型需要使用大量的样本三维数据进行训练。
然而，三维数据的采集和标注较为困难，这样导致针对目标应用场景而言，无法采集足够多的三维数据，该目标应用场景为待训练的对象识别模型所针对的应用场景。因此，相关技术中，通过使用多源数据的方式扩展样本三维数据的数量，即从多个数据源中获取源三维数据，作为样本三维训练数据。
但是，由于采集三维数据的采集设备的原理和技术的差异，使得不同应用场景下所采集的三维数据的成像风格存在较大差异，例如不同的噪点分布、空洞分布、误差分布、深度图分辨率、点云密度等。上述不同应用场景指不同的采集设备和/或采集环境。
举例而言，高精度3D(3Dimensions，三维)扫描仪和大规模相机阵列可以采集数十万个数据点、且误差低于0.5mm的高精度3D人脸。而目前主流的结构光深度相机在相距1m左右的正对白墙测试中误差大约为2mm，在非垂直的表面，误差会更大。另外，同一采集设备在不同采样距离上，针对人脸的采集质量也会存在明显的不同，以结构光深度相机为例，其测量精度与目标到相机的距离负相关，距离越远，测量误差越大，采集到的人脸深度图分辨率越低。
当采用多源数据的方式扩展样本三维数据时，不同数据源的三维数据的采样场景，通常与对象识别模型所针对的目标应用场景不同。进而，从不同数据源获取的三维数据的成像风格，与目标应用场景下采集的三维数据的成像风格不相同。这样使得采用扩展的三维数据进行训练的对象识别模型，不能很好的适应目标应用场景的应用，导致采用相关技术所训练的对象识别模型在目标应用场景中识别性能较低。
基于上述描述，本申请实施例首先提供了一种数据处理方法，将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础。在此基础上，为了提高对象识别模型在目标应用场景中的识别性能，本申请实施例首先提供了一种对象识别方法。
需要说明的是，本申请实施例的数据处理方法或对象识别可以应用于电子设备，例如，个人电脑、服务器、手机以及其他具有数据处理能力的设备。并且，本申请实施例提供的数据处理方法或对象识别方法可以通过软件、硬件或软硬件结合的方式实现。
其中，本申请实施例的数据处理方法，可以包括：
获取源三维数据；
按照预设的数据生成策略，基于源三维数据，生成指定格式的三维数据，作为待处理数据；其中，指定格式为参考三维数据所具有的数据格式，参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
获取参考三维数据的成像风格特征，作为目标风格特征；
基于目标风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。
在本申请实施例提供的上述方案中，由于在获取源三维数据后，可以按照预设的数据生成策略，基于源三维数据生成与参考三维数据所具有的数据格式相同的三维数据，进而基于参考三维数据的成像风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。可见，通过本方案，可以将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础。
其中，本申请实施例的对象识别方法，可以包括：
获取针对目标应用场景中的待识别对象的三维数据；
利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到待识别对象的识别结果；
其中，对象识别模型为利用样本三维数据和样本三维数据对应的标注结果训练得到的，样本三维数据为采用上述数据处理方法处理后、与所获取的三维数据的成像风格相匹配的三维数据。
在本申请实施例提供的上述方案中，由于用于训练对象识别模型训的训练数据与所获取的三维数据的成像风格相匹配，使得训练所得到的对象识别模型能够更好的适用于目标应用场景，从而可以提高对象识别模型在目标应用场景中的识别性能。
为了更清楚的阐述本申请实施例所提供技术方案，下面结合附图对本申请实施例所提供的技术方案进行介绍。
如图1所示，本申请实施例提供的一种数据处理方法，可以包括如下步骤：
S101，获取源三维数据；
本步骤中，电子设备可以从任意三维数据源中获取的三维数据，作为源三维数据。其中，该源三维数据的数据格式可以为3D点云数据、网格(mesh)数据或深度图，当然并不局限于此。另外，获取的源三维数据的数量可以为一个或多个，针对每一源三维数据的处理过程均相同。
上述源三维数据可以为针对真实对象进行采集所得到的三维数据，也可以为使用CG(Computer Graphics，电子计算机制图)动画软件、3DMM(3D Morphable Model，三维变形模型)等建模技术生成的虚拟对象的三维数据，对此本申请实施例不做具体限定。
需要说明的，无论源三维数据是真实对象的三维数据，还是虚拟对象的三维数据，该源三维数据所属对象的身份或类别已知。示例性的，上述对象可以为人脸、人体、交通工具、建筑物、植物、家具、电器等任意一种。
S102，按照预设的数据生成策略，基于源三维数据，生成指定格式的三维数据，作为待处理数据；其中，指定格式为参考三维数据所具有的数据格式，参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
其中，参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据。举例而言，目标应用场景为：在商场A中，设备B相距对象N米，进行三维数据采集，则上述参考三维数据为商场A中的设备B以N米为采样距离时，所采集的任意一深度图，其中，N为指定的任一数值。
为了便于后续基于参考三维数据对源三维数据进行处理，可以将源三维数据进行格式转换，以将源三维数据的数据格式转换为参考三维数据所具有的指定格式。其中，指定格式可以为三维数据的各数据格式中的任意一种数据格式，例如3D点云数据、网格数据、深度图中等，当然，也可以为其他三维数据的可能存在的格式，本申请实施例在此不做具体限定。
本步骤中预设的数据生成策略可以结合指定格式进行确定，具体将在后续实施例中进行示例性描述，在此不再赘述。
S103，获取参考三维数据的成像风格特征，作为目标风格特征；
其中，成像风格特征为：用于描述三维数据成像风格的特征。示例性的，三维数据的成像风格包括：噪点分布、空洞分布、误差分布、深度图分辨率、点云密度中的至少一种；相应的，三维数据的成像风格特征包括：噪点分布特征、空洞分布特征、误差分布特征、深度图分辨率特征、点云密度特征中的至少一种。
由于参考三维数据是针对目标应用场景中包含的对象进行三维数据采集所得的数据，因此，其包含的成像风格特征是实际真实的成像风格特征，能够体现出目标应用场景中采集的三维数据的成像风格。那么，为了将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，可以将参考三维数据的成像风格特征作为目标风格特征，以便后续的使用。
可选的，当需要参考三维数据的成像风格特征时，可以实时从参考三维数据中提取，或者，也可以预先已提取并保存参考三维数据的成像风格特征，当需要参考三维数据的成像风格特征时，可以从保存位置处读取参考三维数据的成像风格特征。
需要说明的是，参考三维数据可以为一个也可以为多个。当参考三维数据为一个时，可以将该参考三维数据的成像风格特征作为目标风格特征，而当参考三维数据为多个时，可以对多个参考三维数据的成像风格特征进行平均处理后，将平均处理后的成像风格特征作为目标风格特征，或者，也可以将每个参考三维数据的成像风格特征作为成像风格特征集合的一个元素，该成像风格特征集合作为目标风格特征，这都是可以的。
S104，基于目标风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。
其中，风格迁移即为将待处理数据中的成像风格更换为：目标风格特征所表征的成像风格。
举例而言，待处理数据包含对象C，其数据中的噪点分布符合函数c，而目标风格特征中噪点分布为函数d，则对待处理数据进行风格迁移后，所得到的三维数据为：包含对象C，且噪点分布符合函数d。
需要说明的是，相关技术中存在向源三维数据添加高斯随机噪点，以增强源三维数据适应目标应用场景的技术方案，例如，利用Pix2pix网络，在低质点云中添加高斯随机噪点，得到高质点云。上述添加高斯随机噪点的方案的实现基础是：目标应用场景下的三维数据的误差分布或噪点分布服从高斯分布。但在实际应用场景中，针对目标应用场景所采集的三维数据中误差分布或噪点分布往往并不服从高斯分布，例如，结构光深度相机采集的采用16位整数编码方式编码所得到的深度图，其误差分布或噪点分布呈现离散的距离值，不服从高斯分布。因此，上述添加高斯随机噪点的方案，无法有效增强源三维数据对于目标应用场景的适用性，也就是说，无法将源三维数据的成像风格处理为目标应用场景下的三维数据的成像风格。
而本步骤中则是基于目标风格特征对待处理数据进行风格迁移，由于目标风格特征是针对目标应用场景采集的参考三维数据的成像风格特征，因此，使得目标风格特征能够准确反映目标应用场景的真实分布规律，无需关心目标应用场景下三维数据是否服从高斯分布，具有较好的适用性。
在本申请实施例提供的上述方案中，由于在获取源三维数据后，可以按照预设的数据生成策略，基于源三维数据生成与参考三维数据所具有的数据格式相同的三维数据，进而基于参考三维数据的成像风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。可见，通过本方案，可以将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础。
基于图1的实施例，如图2所示，本申请的另一实施例所提供的数据处理方法，上述S104，可以包括：
S1041，识别待处理数据的内容特征；其中，内容特征为待处理数据的各特征中去除成像风格特征的特征；
其中，内容特征也可以称为身份内容特征，假定待处理数据是针对身份为S的对象采集的三维数据，则该待处理数据中的内容特征为能够表征对象S身份的特征，如对象S的形状特征、姿态特征，空间位置关系特征等。对于任意一个三维数据而言，该三维数据中除成像风格特征外的各类特征或特征的集合均可认为是该三维数据的内容特征，也就是说，待处理数据的内容特征为：待处理数据中各类特征中除成像风格特征之外的特征。
在一种实现方式中，可以通过预设的数据编码方式提取待处理数据的内容特征，此时，上述步骤S1041，可以包括：
基于预设的数据编码方式，对待处理数据进行编码处理，得到待处理数据的内容特征。
上述预设的数据编码方式可以为利用深度学习模型进行处理的方式，如卷积神经网络模型；；此时上述步骤为利用深度学习网络提取待处理数据的内容特征。
S1042，将内容特征与目标风格特征进行特征融合，得到融合特征；
由前述内容可知，一个三维数据的内容特征为该三维数据的各类特征中除成像风格特征之外的所有特征，因此，针对一个三维数据而言，将该三维数据的内容特征与另一三维数据的成像风格特征进行融合所得的融合特征，具有一个三维数据的完整特征。
举例而言，三维数据E的完整特征包括：内容特征E1+成像风格特征E2，三维数据F的完整特征包括：内容特征F1+成像风格特征F2，三维数据E为待处理数据，三维数据F为参考三维数据，在将三维数据E的内容特征E1与三维数据F的成像风格特征F2进行融合后，得到的融合特征为内容特征E1+成像风格特征F2，该内容特征E1+成像风格特征B2可以理解为三维数据G的完整特征，该三维数据G即为对三维数据A进行风格迁移后所得到的三维数据。
由于内容特征为各特征中去除成像风格特征的特征，在与目标风格特征融合后，所得到的融合特征具有待处理数据的完整的身份信息。
上述特征融合可以为对内容特征与目标风格特征进行串行或并行的处理。例如，内容特征为X×Y1维的三维矩阵，目标风格特征为X×Y2维的三维矩阵，则对内容特征与目标风格特征进行串行处理，得到X×(Y1+Y2)维的三维矩阵，作为融合特征。
S1043，生成具有融合特征的三维数据，作为与参考三维数据的成像风格相匹配的三维数据。
其中，由于融合特征具有三维数据的完整特征，因此，通过融合特征可以生成新的三维数据，又由于融合特征包含目标风格特征，因此可以将所生成的三维数据作为与参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，可以通过基于与上述数据编码方式相对应的数据解码方式，生成具有融合特征的三维数据，此时，上述步骤S1043，包括：
基于与数据编码方式相对应的数据解码方式，对融合特征进行解码，得到解码数据，作为与参考三维数据的成像风格相匹配的三维数据。
其中，当预设的数据编码方式为通过卷积函数进行的编码方式时，与数据编码方式相对应的数据解码方式可以为通过反卷积函数进行的解码方式。
在本申请实施例提供的上述方案中，可以将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础，进一步的，提供了一种生成与参考三维数据的成像风格相匹配的三维数据的方式，为将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据提供了基础。
可选的，在一种实施例中，上述获取参考三维数据的成像风格特征的步骤、基于预设的数据编码方式，对待处理数据进行编码处理的步骤、将内容特征与目标风格特征进行特征融合的步骤，以及基于与数据编码方式相对应的数据解码方式，对融合特征进行解码的步骤，均可以通过预先训练的风格迁移模型实现。
此时，本申请实施例提供的数据处理方法，可以包括：
获取源三维数据；
按照预设的数据生成策略，基于上述源三维数据，生成指定格式的三维数据，作为待处理数据；
将待处理数据输入至预先训练的风格迁移模型，以使风格迁移模型获取参考三维数据的成像风格特征，作为目标风格特征，并基于预设的数据编码方式，对待处理数据进行编码处理，得到待处理数据的内容特征，将待处理数据的内容特征与目标风格特征进行特征融合，基于与上述数据编码方式相对应的数据解码方式，对特征融合后的融合特征进行解码，以生成与参考三维数据的成像风格相匹配的三维数据。
其中，预先训练的风格迁移模型为基于样本三维数据和样本参考数据训练得到的、用于将样本三维数据的成像风格迁移为样本参考数据的成像风格的模型。
可选的，如图3所示，为本申请实施例提供的一种风格迁移模型的结构示意图。风格迁移模型包括身份内容编码器、图像风格编码器和图像解码器。总体框架以二元组为输入，生成风格迁移后的三维数据，即将待处理数据和参考三维数据输入至风格迁移模型，得到风格迁移模型输出的风格迁移后的三维数据。其所生成的风格迁移后的三维数据与待处理数据具有相同的对象身份，即内容特征相同，所生成的风格迁移后的三维数据与参考三维数据具有相同的目标成像风格。
上述身份内容编码器用于提取待处理数据中的内容特征，例如人脸身份信息，并过滤其成像风格特征。身份内容编码器用的输入为待处理数据，输出为一个高维的特征图或特征向量，作为待处理数据的内容特征。
可选的，在一种实现方式中，身份内容编码器可以包括卷积层、规一化层、非线性激活层、池化层、全连接层等基本网络层。可选的，还可包含ResBlock(残差网络)、DenseBlock(密集卷积网络)等CNN(Convolutional Neural Network，卷积神经网络)网络模块。可选的，还可以包括基于注意力机制所生成的transformer(互感器)等深度学习模块。
上述图像风格编码器用于提取参考三维数据的目标成像风格特征，并过滤内容特征。图像风格编码器的输入为参考三维数据，当然，除参考三维数据为，图像风格编码器也可以额外输入待处理数据，以降低参考三维数据的影响力，从而可以提升图像风格编码器输出成像风格特征的稳定性。
可选的，在一种实现方式中，图像风格编码器可以由一系列的卷积层，规一化层，非线性激活层，池化层，全连接层等操作构成。可选的，针对额外输入待处理数据的方式，由于涉及待处理数据和参考三维数据特征的融合，因此可以使用concat(连接)，逐元素乘加等操作。可选的，为了防止其输出包含过多的与身份内容相关的信息，上述图像风格编码器的输出特征维数需要低于身份内容编码器输出的特征维数。
上述图像解码器用于解码出与待待处理数据具有相同对象身份，与参考三维数据具有相同成像风格的三维数据。图像解码器的输入包含身份内容编码器输出的身份内容特征和图像风格编码器输出的成像风格特征。
可选的，在一种实现方式中，图像解码器可以包含卷积，规一化，非线性激活、跨层连接等网路层，还可以包含解卷积、PixelShuffle等上采样层，其中，PixelShuffle是一种上采样层，可以对缩小后的特征图进行有效放大。进一步的，图像解码器中身份内容特征和成像风格特征的融合可使用AdaIN(Adaptive Instance Normalization，自适应实例归一化)、SPADE(Spatially Adaptive Denormalization，空间自适应非规范化)等网络结构，也可以直接使用Concat(合并)、逐元素乘加等操作对身份内容特征和成像风格特征进行特征融合。
在本申请实施例提供的上述方案中，可以将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础，进一步的，通过风格迁移模型可以快速、准确地将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据。
在图3所示的实施例的基础上，如图4所示，本申请的另一实施例所提供的数据处理方法，按照以下步骤训练风格迁移模型，包括：
S401，获取样本三维数据和样本参考数据；
其中，样本三维数据和样本参考数据为针对任意对象进行三维数据采集所得到的三维数据，样本三维数据和样本参考数据可以相同，也可以不同。
可选的，样本三维数据和样本参考数据可以为从至少一个三维数据源中获取的三维数据，或者，也可以为从预先构建的训练样本集中所获取的，其中，训练样本集中的三维数据可以包括预先从至少一个三维数据源中获取的三维数据，也可以包括通过三维数据采集设备采集的三维数据，或者通过其他方式获取的三维数据，这都是可以的。
可选的，上述预先构建的训练样本集可以包括按照不同成像风格划分的样本子集，每一样本子集中的三维数据的成像风格相同。进一步的，为了确保最终训练得到的风格迁移模型处理不同成像风格能力之间的平衡，各训练子集中包含的三维数据的数量不能相差过大，优选的，各训练子集中包含的三维数据的数量相同。
S402，将样本三维数据和样本参考数据输入至待训练的风格迁移模型，以得到待训练的风格迁移模型输出的三维数据；
为了对待训练的风格迁移模型进行训练，本步骤中，可以将样本三维数据和样本参考数据输入至待训练的风格迁移模型，以获取待训练的风格迁移模型输出的三维数据。
在将样本三维数据和样本参考数据输入至待训练的风格迁移模型之后，上述待训练的风格迁移模型可以获取样本参考数据的成像风格特征，并基于预设的数据编码方式，对样本三维数据进行编码处理，得到样本三维数据的内容特征，以及将样本三维数据的内容特征与样本参考数据的成像风格特征进行特征融合，以及基于与数据编码方式相对应的数据解码方式，对特征融合后的内容进行解码，得到成像风格特征迁移后的三维数据，并输出所得到的三维数据。
可选的，针对具有身份标识等身份信息的样本三维数据而言，还可以将该样本三维数据的身份标识同时输入至待训练的风格迁移模型中。例如针对具有人脸身份的人脸深度图像，可以将人脸深度图与人脸身份同时输入至待训练的风格迁移模型。
S403，基于样本三维数据、样本参考数据和输出的三维数据，计算损失函数值；
其中，在得到待训练的风格迁移模型输出的三维数据后，可以基于样本三维数据、样本参考数据和输出的三维数据，计算损失函数值，以通过损失函数值表征输出三维数据与理想三维数据的差距大小；进而，基于损失函数值，对待训练的风格迁移模型中的参数进行调整。
可选的，在一种实现方式中，上述步骤S402，可以包括步骤1与步骤2：
步骤1，基于样本三维数据、样本参考数据和输出的三维数据，计算身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种；
其中，身份损失值为表征样本三维数据所表征的对象身份和输出的三维数据所表征的对象身份的差异。可选的，可以通过预训练的、固定权重参数的对象识别网络，提取样本三维数据和输出的三维数据的身份识别特征，通过提取的样本三维数据身份识别特征和输出的三维数据的身份识别特征计算出身份损失值。从而可以最小化样本三维数据和输出的三维数据的身份识别特征，保持样本三维数据和输出的三维数据所表征对象身份的一致性。
上述结构信息损失值为样本三维数据和输出之间的三维数据结构信息的差异。由于输出的三维数据应当仅改变样本三维数据的成像风格，而不改变结构信息，因此，样本三维数据和输出的三维数据，应该具有相同的结构信息。对此，可以利用RGB图像中常使用的结构相似性(Structural SIMilarity)，计算样本三维数据和输出的三维数据中每一三维点的梯度，进而计算样本三维数据和输出的三维数据中每一相同位置处的三维点的梯度差值，并计算各位置点的梯度差值之和，作为结构信息损失值。
当样本训练数据包含有身份类别，例如身份标签时，可以计算身份分类损失值，此时，可以对输出的三维数据进行身份分类，进而计算分类结果与样本训练数据包含的身份类别的差异，作为身份分类损失值。
针对风格分类损失值而言，与身份分类损失类似，对成像风格编码的输出的成像风格特征接分类器进行风格分类，用于强化成像风格特征的学习，使同一类成像风格的样本三维数据学习可以得到相似或相同的成像风格特征。可选的，对成像风格进行分类的分类器可以与对身份类别进行分类的分类器相同，也可以不同，这都是可以的。
可选的，在上述损失值的基础上，还可以计算如下损失值：重构一致损失值、编码一致损失值、对抗损失值、特征匹配损失值以及判别器特征损失值中的至少一种。
针对重构一致损失值而言：当样本参考数据与样本三维数据为相同三维数据时，输出的三维数据应该与样本三维数据、样本参考数据一致。由此可构建重构一致损失。可选的，可以计算输出的三维数据与样本三维数据之间的像素距离。
针对编码一致损失值而言，与重构一致损失类似，输出的三维数据通过身份内容编码器后的身份内容特征应该与样本三维数据的身份内容特征相同。输出的三维数据通过成像风格编码后的成像风格特征应与样本参考数据的成像风格特征相同。若风格编码器原始输入为样本三维数据、样本参考数据，则样本三维数据、样本参考数据通过成像风格编码的成像风格特征应该与样本三维数据、输出的三维数据通过风格编码输出的成像风格特征相同。
针对对抗损失值而言：当待训练的风格迁移模型包括GAN网络时，由于样本参考数据可以从训练样本集中抽取，可以是训练样本集中所属的任意一种成像风格。假设训练样本集包含N种成像风格，则构建N个判别，当前样本参考数据的成像风格的标签为i时，则对第i个判别器进行权重更新并使用该判别器对待训练的风格迁移模型中的生成器的权重进行更新，进而计算样本参考数据与输出的三维数据之间的GAN损失，作为对抗损失值。
针对特征匹配损失值而言：当待训练的风格迁移模型包括VGG网络时，可以固定VGG网络的权重参数，进而提取样本三维数据、输出的三维数据的VGG特征的差异，确保其VGG高层特征的一致性。
针对判别器特征损失值而言：当待训练的风格迁移模型包括GAN网络时，可以提取样本参考数据、输出的三维数据在判别器网络中的特征矩阵，并计算样本参考数据、输出的三维数据的特征矩阵的相似性度量以及最小化特征差异，作为判别器特征损失值。通过判别器特征损失值可以加速GAN网络的收敛和改善生成效果。
可选的，针对涉及样本三维数据、输出的三维数据之间特征或像素的距离损失计算(特征匹配损失，身份损失值，结构信息损失值)，由于样本三维数据、输出的三维数据存在成像风格上的差异，即使样本三维数据、输出的三维数据身份信息已经一致，也可能因为成像风格的因素存在度量距离不为0或差异较大的情况。针对成像风格差异导致的特征差异，在梯度回传时可以设置距离阈值，当特征距离小于预设阈值时，认为两个特征足够相似，不进行梯度回传。可选的，距离阈值可根据需求或经验进行设置，或通过多组实验调参获取。
步骤2，基于身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种，确定损失函数值。
可选的，可以对所计算的各损失值进行加权求和，并将加权求和的几个作为待训练的风格迁移模型的损失函数值。其中，各损失值的权重可以为根据经验或需求所确定的，与可也通过训练所得到。
S404，基于损失函数值，判断待训练的风格迁移模型是否收敛，当未收敛时，调整待训练的风格迁移模型的参数，并进行下一次训练，当收敛时，得到训练完成的风格迁移模型。
在计算出损失函数值之后，可以判断待训练的风格迁移模型是否收敛。
可选的，可以预先设置损失阈值，若损失函数值小于损失阈值，则判定待训练的风格迁移模型收敛，从而完成训练，得到训练完成的风格迁移模型，若损失函数值不小于损失阈值，则判定待训练的风格迁移模型未收敛，此时可以基于所计算的损失函数值对待训练的风格迁移模型的参数进行调整，或者，还可以基于计算的各损失值对待训练的风格迁移模型中每一损失值对应的参数进行调整。
在本申请实施例提供的上述方案中，可以将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据，进一步的，提供了一种进行成像风格迁移的风格迁移模型的训练方法，从而快速、准确地将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据提供了基础。
可选的，在指定格式为深度图格式的情况下，基于图1的实施例，如图5所示，本申请的另一实施例所提供的数据处理方法，上述S102，可以包括：
S1021，确定与源三维数据所表征内容相同、数据格式为非深度图的三维数据，作为预处理数据；
可选的，若源三维数据的数据格式为非深度图的三维数据，在一种实现方式，可以将源三维数据作为预处理数据。若源三维数据为深度图，则可以将源三维数据转换为数据格式为非深度图的三维数据，作为预处理数据。需要说明的是，为了简化计算，当源三维数据为深度图时，也可以直接将深度图作为预处理数据。
S1022，将预处理数据的每一三维点映射在目标相机的成像平面上，得到每一三维点对应的映射点；其中，目标相机为：采集目标应用场景中包含对象的三维数据的相机；
本步骤中，可以预先获取目标相机内参，可选的，可以通过预设虚拟相机内参方式获取目标相机的内参，或着，可以通过对实际采集目标应用场景中对象的深度相机参数进行读取或标定的方式获取目标相机内参。
在获取到目标相机的内参之后，针对预处理数据中的每一三维点，可以基于目标相机的内参，将该三维点映射至目标相机的成像平面。可选的，采用如下公式将预处理数据的每一三维点映射在目标相机的成像平面上：
其中，(Xc,Yc,Zc)为预处理三维数据在成像平面坐标系下的映射点的坐标，f为目标相机的有效焦距。
S1023，基于每一映射点在成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据。
可选的，上述步骤S1023可以采用如下步骤1-步骤2实现：
步骤1：针对每一三维点，基于目标相机的畸变参数，对该三维点对应的映射点的坐标进行畸变计算，得到畸变坐标，并将畸变坐标转换为目标相机的像素坐标系下的像素坐标，作为该三维点对应的像素坐标；
其中，可以通过目标相机的径向畸变参数k1,k2,k3和切向畸变参数p1,p2，则添加径向和切向畸变后，更新后的畸变坐标为：
其中，(x,y)为更新前的坐标，r2＝x2+y2，(x′,y′)为更新后的坐标。
进一步的，基于如下公式计算该三维点对应的像素坐标：
其中，dx为像素点在u轴上的单位像素尺寸大小，dy为像素点在v轴方向上单位像素尺寸大小，(u0,v0)为光学中心。
步骤2：针对每一像素坐标，基于该像素坐标对应的三维点的深度值，确定该像素坐标下像素点的像素值，得到深度图，作为待处理数据。
其中，可以将该像素点的像素值设置为三维点(Xc,Yc,Zc)的深度值Zc。进一步通过遍历预处理数据中的三维点，即可完成其深度图的构建。
可选的，当该像素坐标对应的三维点的数量为单个，则将该像素坐标对应的三维点的深度值作为该像素坐标下的像素点的像素值；当该像素坐标对应的三维点的数量为多个，则从该像素坐标对应的多个三维点的深度值中，选择最小深度值(这里假设深度值为正数，相机位于坐标原点，深度值越小离相机越近)，作为该像素坐标下的像素点的像素值。
在本申请实施例提供的上述方案中，可以将不同来源的三维数据处理为与采集于目标应用场景中的三维数据的成像风格相匹配的三维数据。进一步的，对于不同格式的源三维数据映射为深度图格式的待处理数据，从而提高了后续将风格迁移的效率。
在本发实施例提供数据处理方法的基础上，如图6所示，本申请实施例提供的一种对象识别方法，可以包括如下步骤：
S601，获取针对目标应用场景中的待识别对象的三维数据；
本步骤中，可以通过三维数据采集设备，对目标应用场景中的待识别对象进行三维数据采集，得到待识别对象的三维数据。
在一种实现方式中，可以实时获取三维数据采集设备所采集的三维数据，作为待识别对象的三维数据，或者，也可以从三维数据采集设备预先采集的各三维数据中选择需要进行对象识别的三维数据，作为待识别对象的三维数据。
示例性的，三维数据采集设备为三维人脸识别系统内的摄像装置，当检测到一定距离内出现待进行身份识别的人脸时，可以控制摄像装置采集待识别人脸的三维数据。
S602，利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到待识别对象的识别结果；其中，对象识别模型为利用样本三维数据和样本三维数据对应的标注结果训练得到的，样本三维数据为采用本申请实施例所提供的数据处理方法处理后、与所获取的三维数据的成像风格相匹配的三维数据。
其中，对象识别网络训练的网络结构根据输入形式不同，可以是卷积网络、图卷积网络、点云网络(pointnet等)，使用的损失函数包括softmax，cosface等分类损失，也可以是Triplet loss，center loss等度量损失。
在训练完对象识别模型，可以将所获取的三维数据输入至预先训练的对象识别模型，由的对象识别模型运算后输出识别结果。
可选的，在一种实现方式中，可以预先对所获取的三维数据进行预处理，使得其符合对象识别模型的输入格式。
若对象识别模型的输入格式为深度图，则对生成的深度图进行深度规一化，如对深度图内每一关键点的深度值进行偏移缩放，并通过关键点信息进行仿射变换，从而对齐到标准模版。若在将待处理三维数据输入至对象识别模型之前，已进行过深度规一化与仿射变换，则不再需要执行深度规一化与仿射变换处理，如在在将源三维数据转换为待处理三维数据的过程中已进行过深度规一化与仿射变换。
若对象识别模型的输入格式为3D点云为基础，则需要对源三维数据进行网格点云重建，再送入对象识别模型，最后，若对象识别模型输出的三维数据的格式为深度图，则可以进一步的基于深度图的点云重建方法实现3D点云的重建。
在本申请实施例中，对象识别模型的输入形式不限于上述两种，如可以对重建的点云重新展开为纹理图等形式。
在本申请实施例提供的上述方案中，由于用于训练对象识别模型训的训练数据与所获取的三维数据的成像风格相匹配，使得的训练所得到的对象识别模型更好的适用于目标应用场景，从而可以提高对象识别模型在目标应用场景中的识别性能。
相应于上述数据处理方法，如图7所示，本申请实施例还提供了一种数据处理装置，所述装置包括：
第一数据获取模块701，用于获取源三维数据；
数据生成模块702，用于按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；其中，所述指定格式为参考三维数据所具有的数据格式，所述参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
风格获取模块703，用于获取所述参考三维数据的成像风格特征，作为目标风格特征；
风格迁移模块704，用于基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于识别所述待处理数据的内容特征；其中，所述内容特征为所述待处理数据的各特征中去除成像风格特征的特征；将所述内容特征与所述目标风格特征进行特征融合，得到融合特征；生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于基于预设的数据编码方式，对所述待处理数据进行编码处理，得到所述待处理数据的内容特征；基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码，得到解码数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
在一种实现方式中，所述风格迁移模块，具体用于通过预先训练的风格迁移模型实现；
其中，所述预先训练的风格迁移模型为基于样本三维数据和所述样本参考数据训练得到的、用于将所述样本三维数据的成像风格迁移为所述样本参考数据的成像风格的模型。
在一种实现方式中，还包括模型训练模块，用于获取样本三维数据和所述样本参考数据；将所获取的样本三维数据和对应的样本参考数据输入至待训练的风格迁移模型，以使待训练的风格迁移模型获取所述样本参考数据的成像风格特征，并基于预设的数据编码方式，对所述样本三维数据进行编码处理，得到样本三维数据的内容特征，将所述样本三维数据的内容特征与所述样本参考数据的成像风格特征进行特征融合，基于与所述数据编码方式相对应的数据解码方式，对特征融合后的内容进行解码，得到成像风格特征迁移后的三维数据；基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值；基于所述损失函数值，判断所述待训练的风格迁移模型是否收敛，当未收敛时，调整所述待训练的风格迁移模型的参数，并进行下一次训练，当收敛时，得到训练完成的风格迁移模型。
在一种实现方式中，所述模型训练模块，具体用于基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种；基于所述身份损失值、所述结构信息损失值、所述身份分类损失值和所述风格分类损失值中的至少一种，确定损失函数值。
在一种实现方式中，所述指定格式为深度图格式；
所述模型训练模块，具体用于确定与所述源三维数据所表征内容相同、数据格式为非深度图的三维数据，作为预处理数据；将所述预处理数据的每一三维点映射在目标相机的成像平面上，得到每一三维点对应的映射点；其中，所述目标相机为：采集所述目标应用场景中包含对象的三维数据的相机；基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据。
在一种实现方式中，所述模型训练模块，具体用于若所述源三维数据的数据格式为非深度图的三维数据，则将源三维数据作为预处理数据；若所述源三维数据为深度图，则将源三维数据转换为数据格式为非深度图的三维数据，作为待处理数据。
在一种实现方式中，所述模型训练模块，具体用于针对每一三维点，基于所述目标相机的畸变参数，对该三维点对应的映射点的坐标进行畸变计算，得到畸变坐标，并将所述畸变坐标转换为所述目标相机的像素坐标系下的像素坐标，作为该三维点对应的像素坐标；针对每一像素坐标，基于该像素坐标对应的三维点的深度值，确定该像素坐标下像素点的像素值，得到深度图，作为预处理数据。
在一种实现方式中，三维数据的成像风格包括：噪点分布、空洞分布、误差分布、深度图分辨率、点云密度中的至少一种；
三维数据的成像风格特征包括：噪点分布特征、空洞分布特征、误差分布特征、深度图分辨率特征、点云密度特征中的至少一种。
在本申请实施例提供的上述方案中，由于在获取源三维数据后，可以按照预设的数据生成策略，基于源三维数据生成与参考三维数据所具有的数据格式相同的三维数据，进而基于参考三维数据的成像风格特征，对待处理数据进行风格迁移，得到与参考三维数据的成像风格相匹配的三维数据。可见，通过本方案，将数据源中的三维数据的成像风格，转换为目标应用场景下三维数据的成像风格，从而为目标应用场景下的对象识别模型的训练提供数据基础。
相应于上述对象识别方法，如图8所示，本申请实施例还提供了一种对象识别装置，所述装置包括：
第二数据获取模块801，用于获取针对目标应用场景中的待识别对象的三维数据；
数据处理模块802，用于利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到所述待识别对象的识别结果；其中，所述对象识别模型为利用样本三维数据和所述样本三维数据对应的标注结果训练得到的，所述样本三维数据为采用上述数据处理装置处理后、与所获取的三维数据的成像风格相匹配的三维数据。
在本申请实施例提供的上述方案中，由于用于训练对象识别模型训的训练数据与所获取的三维数据的成像风格相匹配，使得的训练所得到的对象识别模型更好的适用于目标应用场景，从而可以提高对象识别模型在目标应用场景中的识别性能。
本申请实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述数据处理方法步骤，或对象识别方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法步骤，或对象识别方法步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法，或对象识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (13)
1.一种数据处理方法，其特征在于，包括：
获取源三维数据；
按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；其中，所述指定格式为参考三维数据所具有的数据格式，所述参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
获取所述参考三维数据的成像风格特征，作为目标风格特征；
基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据，包括：
识别所述待处理数据的内容特征；其中，所述内容特征为所述待处理数据的各特征中去除成像风格特征的特征；
将所述内容特征与所述目标风格特征进行特征融合，得到融合特征；
生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
3.根据权利要求2所述的方法，其特征在于，所述识别所述待处理数据的内容特征，包括：
基于预设的数据编码方式，对所述待处理数据进行编码处理，得到所述待处理数据的内容特征；
所述生成具有所述融合特征的三维数据，作为与所述参考三维数据的成像风格相匹配的三维数据，包括：
基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码，得到解码数据，作为与所述参考三维数据的成像风格相匹配的三维数据。
4.根据权利要求3所述的方法，其特征在于，所述获取所述参考三维数据的成像风格特征的步骤、所述基于预设的数据编码方式，对所述待处理数据进行编码处理的步骤、将所述内容特征与所述目标风格特征进行特征融合的步骤，以及基于与所述数据编码方式相对应的数据解码方式，对所述融合特征进行解码的步骤，通过预先训练的风格迁移模型实现；
其中，所述预先训练的风格迁移模型为基于样本三维数据和样本参考数据训练得到的模型、所述预先训练的风格迁移模型用于将所述样本三维数据的成像风格迁移为所述样本参考数据的成像风格。
5.根据权利要求4所述的方法，其特征在于，按照以下方式训练所述风格迁移模型：
获取样本三维数据和样本参考数据；
将所述样本三维数据和所述样本参考数据输入至待训练的风格迁移模型，以使待训练的风格迁移模型获取所述样本参考数据的成像风格特征，并基于预设的数据编码方式，对所述样本三维数据进行编码处理，得到所述样本三维数据的内容特征，以及将所述样本三维数据的内容特征与所述样本参考数据的成像风格特征进行特征融合，以及基于与所述数据编码方式相对应的数据解码方式，对特征融合后的内容进行解码，得到成像风格特征迁移后的三维数据；
基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值；
基于所述损失函数值，判断所述待训练的风格迁移模型是否收敛，当未收敛时，调整所述待训练的风格迁移模型的参数，并进行下一次训练，当收敛时，得到训练完成的风格迁移模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算损失函数值，包括：
基于所述样本三维数据、所述样本参考数据和输出的三维数据，计算身份损失值、结构信息损失值、身份分类损失值和风格分类损失值中的至少一种；
基于所述身份损失值、所述结构信息损失值、所述身份分类损失值和所述风格分类损失值中的至少一种，确定损失函数值。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述指定格式为深度图格式；
所述按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据，包括：
确定与所述源三维数据所表征内容相同、数据格式为非深度图的三维数据，作为预处理数据；
将所述预处理数据的每一三维点映射在目标相机的成像平面上，得到每一三维点对应的映射点；其中，所述目标相机为：采集所述目标应用场景中包含对象的三维数据的相机；
基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据。
8.根据权利要求7所述的方法，其特征在于，所述基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为待处理数据，包括：
若所述源三维数据的数据格式为非深度图的三维数据，则将源三维数据作为预处理数据；
若所述源三维数据为深度图，则将源三维数据转换为数据格式为非深度图的三维数据，作为待处理数据。
9.根据权利要求7所述的方法，其特征在于，所述基于每一映射点在所述成像平面上的坐标和对应的三维点的深度值，生成深度图，作为预处理数据，包括：
针对每一三维点，基于所述目标相机的畸变参数，对该三维点对应的映射点的坐标进行畸变计算，得到畸变坐标，并将所述畸变坐标转换为所述目标相机的像素坐标系下的像素坐标，作为该三维点对应的像素坐标；
针对每一像素坐标，基于该像素坐标对应的三维点的深度值，确定该像素坐标下像素点的像素值，得到深度图，作为预处理数据。
10.根据权利要求1-6任一项所述的方法，其特征在于，
三维数据的成像风格包括：噪点分布、空洞分布、误差分布、深度图分辨率、点云密度中的至少一种；
三维数据的成像风格特征包括：噪点分布特征、空洞分布特征、误差分布特征、深度图分辨率特征、点云密度特征中的至少一种。
11.一种对象识别方法，其特征在于，包括：
获取针对目标应用场景中的待识别对象的三维数据；
利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到所述待识别对象的识别结果；
其中，所述对象识别模型为利用样本三维数据和所述样本三维数据对应的标注结果训练得到的，所述样本三维数据为采用所述权利要求1-10任一项所述的方法处理后、与所获取的三维数据的成像风格相匹配的三维数据。
12.一种数据处理装置，其特征在于，包括：
第一数据获取模块，用于获取源三维数据；
数据生成模块，用于按照预设的数据生成策略，基于所述源三维数据，生成指定格式的三维数据，作为待处理数据；其中，所述指定格式为参考三维数据所具有的数据格式，所述参考三维数据为针对目标应用场景中包含的对象进行三维数据采集所得的数据；
风格获取模块，用于获取所述参考三维数据的成像风格特征，作为目标风格特征；
风格迁移模块，用于基于所述目标风格特征，对所述待处理数据进行风格迁移，得到与所述参考三维数据的成像风格相匹配的三维数据。
13.一种对象识别装置，其特征在于，包括：
第二数据获取模块，用于获取针对目标应用场景中的待识别对象的三维数据；
数据处理模块，用于利用预先训练的对象识别模型，对所获取的三维数据进行对象识别处理，得到所述待识别对象的识别结果；
其中，所述对象识别模型为利用样本三维数据和所述样本三维数据对应的标注结果训练得到的，所述样本三维数据为采用所述权利要求12项所述的装置处理后、与所获取的三维数据的成像风格相匹配的三维数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111009614.2A CN113723294B (zh) | 2021-08-31 | 2021-08-31 | 数据处理方法、装置及对象识别方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111009614.2A CN113723294B (zh) | 2021-08-31 | 2021-08-31 | 数据处理方法、装置及对象识别方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723294A true CN113723294A (zh) | 2021-11-30 |
| CN113723294B CN113723294B (zh) | 2024-07-05 |
Family
ID=78679586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111009614.2A Active CN113723294B (zh) | 2021-08-31 | 2021-08-31 | 数据处理方法、装置及对象识别方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723294B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331827A (zh) * | 2022-03-07 | 2022-04-12 | 深圳市其域创新科技有限公司 | 风格迁移方法、装置、设备和存储介质 |
| CN116758379A (zh) * | 2023-08-14 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961428A (zh) * | 2018-05-23 | 2018-12-07 | 网易（杭州）网络有限公司 | 一种三维动作的风格迁移方法、介质、装置和计算设备 |
| CN110473141A (zh) * | 2019-08-02 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US20200118003A1 (en) * | 2018-10-15 | 2020-04-16 | Sony Corporation | Information processing apparatus, method, and program |
| CN111626918A (zh) * | 2020-04-29 | 2020-09-04 | 杭州火烧云科技有限公司 | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 |
| CN111723691A (zh) * | 2020-06-03 | 2020-09-29 | 北京的卢深视科技有限公司 | 一种三维人脸识别方法、装置、电子设备及存储介质 |
| CN112232425A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112258382A (zh) * | 2020-10-23 | 2021-01-22 | 北京中科深智科技有限公司 | 一种基于图像到图像的面部风格转移方法和系统 |
| US20210110588A1 (en) * | 2019-10-11 | 2021-04-15 | Robert G. Adamson, III | Mobile application for object recognition, style transfer and image synthesis, and related systems, methods, and apparatuses |
-
2021
- 2021-08-31 CN CN202111009614.2A patent/CN113723294B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961428A (zh) * | 2018-05-23 | 2018-12-07 | 网易（杭州）网络有限公司 | 一种三维动作的风格迁移方法、介质、装置和计算设备 |
| US20200118003A1 (en) * | 2018-10-15 | 2020-04-16 | Sony Corporation | Information processing apparatus, method, and program |
| CN110473141A (zh) * | 2019-08-02 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US20210110588A1 (en) * | 2019-10-11 | 2021-04-15 | Robert G. Adamson, III | Mobile application for object recognition, style transfer and image synthesis, and related systems, methods, and apparatuses |
| CN111626918A (zh) * | 2020-04-29 | 2020-09-04 | 杭州火烧云科技有限公司 | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 |
| CN111723691A (zh) * | 2020-06-03 | 2020-09-29 | 北京的卢深视科技有限公司 | 一种三维人脸识别方法、装置、电子设备及存储介质 |
| CN112232425A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112258382A (zh) * | 2020-10-23 | 2021-01-22 | 北京中科深智科技有限公司 | 一种基于图像到图像的面部风格转移方法和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331827A (zh) * | 2022-03-07 | 2022-04-12 | 深圳市其域创新科技有限公司 | 风格迁移方法、装置、设备和存储介质 |
| CN116758379A (zh) * | 2023-08-14 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN116758379B (zh) * | 2023-08-14 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723294B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN110210513B (zh) | 数据分类方法、装置及终端设备 | |
| CN112241997A (zh) | 基于多尺度点云上采样的三维模型建立、修复方法及系统 | |
| CN113723294B (zh) | 数据处理方法、装置及对象识别方法、装置 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN111027559A (zh) | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 | |
| CN111831844A (zh) | 图像检索方法、图像检索装置、图像检索设备及介质 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN114821196A (zh) | 零样本图像识别方法及其识别装置、介质与计算机终端 | |
| CN111524216A (zh) | 生成三维人脸数据的方法和装置 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN114127785A (zh) | 点云补全方法、网络训练方法、装置、设备及存储介质 | |
| Wei et al. | A robust image watermarking approach using cycle variational autoencoder | |
| CN115810215A (zh) | 面部图像生成方法、装置、设备及存储介质 | |
| CN116630727A (zh) | 模型训练方法、深伪图像检测方法、装置、设备及介质 | |
| CN114638304A (zh) | 图像识别模型的训练方法、图像识别方法及装置 | |
| CN117671432A (zh) | 变化分析模型训练方法、装置、电子设备及存储介质 | |
| CN114677611A (zh) | 数据识别方法、存储介质及设备 | |
| CN113610971B (zh) | 一种细粒度三维模型构建方法、装置及电子设备 | |
| CN113591685B (zh) | 一种基于多尺度池化的地理对象空间关系识别方法及系统 | |
| CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 | |
| CN113538278B (zh) | 基于可变形卷积的深度图补全方法 | |
| CN113591969B (zh) | 面部相似度评测方法、装置、设备以及存储介质 | |
| Dai et al. | Geometry-Aware Enhancement-Based Point Elimination with Overlapping Mask Learning for Partial Point Cloud Registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |