CN116051926B - 图像识别模型的训练方法、图像识别方法和装置 - Google Patents
图像识别模型的训练方法、图像识别方法和装置 Download PDFInfo
- Publication number
- CN116051926B CN116051926B CN202310042188.5A CN202310042188A CN116051926B CN 116051926 B CN116051926 B CN 116051926B CN 202310042188 A CN202310042188 A CN 202310042188A CN 116051926 B CN116051926 B CN 116051926B
- Authority
- CN
- China
- Prior art keywords
- image
- recognition model
- image recognition
- real
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 107
- 230000003190 augmentative effect Effects 0.000 claims abstract description 3
- 239000002131 composite material Substances 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 210000002478 hand joint Anatomy 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了图像识别模型的训练方法、图像识别方法和装置，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，其中，该初始图像识别模型利用包含多个真实图像的训练集训练得到；根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。本公开能提高图像识别的准确性。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。
背景技术
随着人工智能技术的发展与推进，基于深度学习的计算机视觉技术已经在多个方面得到了广泛的应用。在模型训练的过程中，待训练的模型一般需要基于大量的真实图像进行训练，但是由于真实图像的多样性和复杂性，难以对真实图像进行广泛全面的收集。因此，在这种情况下，可以基于合成图像对模型进行训练，以缓解训练集图像匮乏的问题。但是现有的图像合成方法不仅耗时费力，而且存在质量较低的合成图像。这类图像往往会对训练过程造成不可避免的负面影响，导致影响图像识别模型的训练效果。
发明内容
本公开提供了图像识别模型的训练方法、图像识别方法和装置。
根据本公开的一方面，提供了一种图像识别模型的训练方法，包括：
采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，其中，该初始图像识别模型利用包含多个真实图像的训练集训练得到；
根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。
根据本公开的另一方面，提供了一种图像识别方法，包括：
将待识别图像输入图像识别模型，由该图像识别模型输出针对该待识别图像的预测关键点和/或图像识别类型；其中，
该图像识别模型由上述任意一种图像识别模型的训练方法训练得到；
该待识别图像包括真实图像和/或合成图像。
根据本公开的另一方面，提供了一种图像识别模型的训练装置，包括：
第一确定模块，用于采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，其中，该初始图像识别模型利用包含多个真实图像的训练集训练得到；
调整模块，用于根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。
根据本公开的另一方面，提供了一种图像识别装置，包括：
识别模块，用于将待识别图像输入图像识别模型，由该图像识别模型输出针对该待识别图像的预测关键点和/或图像识别类型；其中，
该图像识别模型由上述任意一种图像识别模型的训练装置训练得到；
该待识别图像包括真实图像和/或合成图像。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
本公开提出的图像识别模型的训练方法，采用各个合成图像的预测特征和真实图像的基准特征之间的差异度，确定用于扩充至包含多个真实图像的训练集的部分合成图像，并基于扩充后的训练集对初始图像识别模型的参数进行调整，从而提高模型训练的效果，提高图像识别模型的性能。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开实施例的一分布式集群处理场景的示意图；
图1B是根据本公开实施例的应用场景示意图；
图2是根据本公开实施例图像识别模型的训练方法200的实现流程图；
图3是根据本公开实施例的图像识别模型训练方法的示意图；
图4是根据本公开实施例提出的合成人手图像的生成网络；
图5是根据本公开实施例的图像识别方法500的实现流程图；
图6是根据本公开实施例图像识别模型的训练装置600的结构示意图；
图7是根据本公开实施例图像识别模型的训练装置700的结构示意图；
图8是根据本公开实施例图像识别装置800的结构示意图；
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
随着人工智能技术的发展与推进，基于深度学习的计算机视觉技术已经在图像识别、图像处理和质量检测等多个方面广泛应用。例如，在图像识别场景中，通常通过收集大量的真实图像组成训练集，并通过该训练集来训练图像识别模型，以得到可靠和高效的图像识别模型，达到节省人力和时间成本的目的。
需要说明的是，待训练的模型需要依赖训练集中大量的真实图像学习到足够的特征，并基于该特征完成模型的训练。其中，基于大量真实图像学习到足够特征的这一过程是为了提高训练得到的模型的精度。但是，在实际应用中获取真实图像的过程存在多种影响，因此很多时候往往不仅无法获取大量的真实图像，而且获取到的真实图像的质量也无法保证，因此无法满足模型的训练需求。在这种情况下，可以利用真实图像生成大量的合成图像，并利用该合成图像对模型进行训练，以缓解训练集图像匮乏的问题。其中，合成图像可以指对真实图像进行一系列的随机变化之后，生成的多个相似但不完全相同的图像，基于真实图像生成的合成图像可以达到扩充训练集的效果。需要说明的是，虽然合成图像可以缓解训练集中真实图像匮乏的问题，但是合成图像中不免会存在质量较低的图像，即与真实图像相差较大的图像，这类图像往往会对训练过程造成不可避免的负面影响。因此，在多个合成图像中，如何识别可以应用于模型训练的高质量的合成图像是目前亟待解决的问题。
图1A是根据本公开实施例的一分布式集群处理场景的示意图，该分布式集群系统为集群系统的一个示例，示例性的描述了可以利用该分布式集群系统进行模型训练，本公开不限于单机或多机上的模型训练，采用分布式的处理可以进一步提高模型训练的精度。如图1所示，在该分布式集群系统100中包括多个节点(如服务器集群101、服务器102、服务器集群103、服务器104、服务器105，服务器105还可以连接电子设备，如手机1051及台式机1052)，多个节点间，以及多个节点与连接的电子设备间可以共同执行一个或多个模型训练任务。可选地，该分布式集群系统中的多个节点可以采用数据并行的关系进行模型训练，则多个节点可以基于相同的训练方式执行模型训练任务；若该分布式集群系统中的多个节点采用的是模型并行的模型训练方式，则多个节点可以基于不同的训练方式执行模型训练任务。可选地，在每一轮关系提取模型训练完成后，多个节点之间都可以进行数据交换(如数据同步)。
本公开实施例提出了一种图像识别模型的训练方法，可以用于识别图像的类型。图1B是根据本公开实施例的应用场景示意图。如图1B所示，服务器110在完成图像识别模型的训练之后，将图像识别模型部署到设备120中；设备120在生成备选的合成图像之后，基于其部署的图像识别模型对备选的合成图像进行识别。
图2是根据本公开实施例图像识别模型的训练方法200的实现流程图，该方法可以应用于图像识别模型的训练装置，例如，该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下，可以实现图片、图文、视频等各类应用场景的搜索等处理。其中，终端可以为用户设备(UE，User Equipment)、移动设备、个人数字处理(PDA，Personal Digital Assistant)手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，该图像识别模型的训练方法包括：
S210、采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，其中，该初始图像识别模型利用包含多个真实图像的训练集训练得到；
S220、根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。
其中，真实图像可以包括彩色图像和灰度图像，真实图像可以指通过相机拍摄真实场景得到的图像。由于本公开实施例提出的初始图像识别模型是基于该包含多个真实图像的训练集训练得到的，因此为了避免低质量的真实图像对初始图像模型造成负面影响，本公开实施例提出的训练集中的多个真实图像可以包括通过预先筛选得到的高质量的真实图像。
本公开实施例提出的图像识别模型的训练方法，通过各个合成图像的预测特征与该基准特征的差异度，确定了部分合成图像，并利用该部分合成图像和包含多个真实图像的训练集，实现了在模型训练的过程中调整初始图像识别模型的参数，提高了最终图像识别模型的精度，降低了图像识别模型训练的复杂度。
图3是根据本公开实施例的图像识别模型训练方法的示意图。如图3所示，本公开实施例提出的图像识别模型可以应用于人手图像识别场景，当然本公开并不限制图像识别模型的应用的场景，例如，还可以应用于人脸图像识别场景、人眼图像识别场景、人体姿势识别场景等。以应用于人手图像识别场景为例，该训练集包含多个真实图像，其中，该真实图像包括图像采集装置采集的人手图像；该合成图像包括人手图像合成模型合成的人手图像。
如图3所示，本公开实施例可以采用初始图像识别模型，确定真实图像的基准特征，具体可以包括：
从该训练集中选择至少一个真实图像；
采用该初始图像识别模型，确定选择的至少一个真实图像的基准特征。
基于一个真实图像获取的基准特征可能对真实情况的代表性较低，因此本公开实施例中，可以利用多个真实图像获取基准特征。另外，为了避免低质量的真实图像对初始图像识别模型的训练过程造成负面影响，本公开实施例中，用于获取基准特征的真实图像可以从上述训练集中获取。由于该训练集中的真实图像可以包括预先筛选得到的高质量的真实图像，因此基于训练集中至少一个真实图像获取的基准特征具有代表性高且误差低的特点。因此，本公开实施例提出的真实图像的基准特征具有高准确率和高代表性的特点，能够对图像识别模型的训练过程产生正面效果。
在本公开实施例中，为了能够确定各个合成图像的预测特征、以及真实图像的基准特征，该初始图像识别模型可以包括低层信息提取模块。
相应地，采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，包括：
利用该初始图像识别模型中的低层信息提取模块，提取各个合成图像的预测特征、以及真实图像的基准特征；其中，
该合成图像的预测特征，用于表征该合成图像的纹理特征；
该真实图像的基准特征，用于表征该真实图像的纹理特征。
在一些实施方式中，该低层信息提取模块可以指用于提取图像特征的编码器，该编码器能够提取具有较高分辨率，且保留了较多图像细节信息的低层特征。其中，该低层特征可以包括图像轮廓特征、图像边缘特征、图像颜色特征、图像纹理特征和图像形状特征等。
利用图像识别模型的低层信息提取模块，能够比较准确地提取出该合成图像的预测特征和真实图像的基准特征，避免产生较大的误差，从而对后续模型的训练过程造成负面影响。
一示例中，该纹理特征可以指一种图像全局特征，能够描述图像或图像区域内人或物的表面性质。该纹理特征可以包括粗糙度、方向度、肤色、规整度和光照纹理中的至少之一。以人手图像识别场景为例，该纹理特征可以包括人手肤色和/或人手粗糙程度。
由于低层信息提取模块采集的纹理特征主要涉及颜色、线条等低层信息，而不涉及到关键点位置这类高级信息；因此，采用低层信息提取模块所确定的合成图像的预测特征与真实图像的基准特征进行比较，能够选出与真实图像更相似的合成图像，并用于对图像识别模型进行微调。此处的“更相似”，是指与真实图像的纹理特征更相似，而不是与真实图像中的手部姿势更相似。这样选择出的合成图像，对于采用真实图像训练得到的初始图像识别模型来说更“简单”、更容易确定关键点特征等信息，因此可以提高图像识别模型训练的效率和准确度。
仍以图3为例，在训练过程中，还需要计算初始图像识别模型中低层信息提取模块输出的各个合成图像的预测特征与真实图像的基准特征之间的差异度，并基于该差异度，确定多个合成图像中加入训练集的部分合成图像。具体地，根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，包括：
分别计算各个该预测特征与该基准特征的差异度；
确定满足第一预设条件的至少一个差异度；
将确定出的至少一个差异度对应的合成图像加入该训练集，以扩充该训练集。
在一些实施方式中，该合成图像的预测特征与该真实图像的基准特征的差异度，能够表征该合成图像与真实图像的相似程度。例如，如果该合成图像的预测特征与该基准特征的差异度越高，则该合成图像与真实图像的越不相似；如果该合成图像的预测特征与该基准特征的差异度越低，则该合成图像与真实图像的越相似。一般情况下，对于初始图像识别模型来说，该真实图像是最简单的训练样本，也就是说，相较于与真实图像相似度低的合成图像，与真实图像相似程度高的合成图像，对于该初始图像识别模型来说更易于识别，即如果该合成图像的预测特征与该真实图像的基准特征差异度越低，则该合成图像对于图像识别模型来说更易于识别。
本公开实施例提出的图像识别模型的训练方法，可以先基于包含多个真实图像的训练集预先训练得到初始图像识别模型，再将部分合成图像扩充至该训练集，并利用该扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。因此，本公开实施例提出的图像识别模型的训练方法，可以先基于简单的训练样本对图像识别模型进行训练，再逐步过渡至困难的训练样本，这一训练方法不仅能够提高图像识别模型的识别精度和鲁棒性，也能够降低图像识别模型训练的复杂度。
为了能够在多个合成图像中，选取部分合成图像扩充至该训练集，本公开实施例提出了分别计算各个该预测特征与该基准特征的差异度的方法，该方法可以包括：
分别计算各个预测特征与基准特征的特征分布差异，该特征分布差异用于表征该差异度。
例如，可以通过分别计算各个预测特征和基准特征之间的欧式距离，确定各个预测特征与基准特征的特征分布差异。需要说明的是，本公开实施例并不限制计算预测特征与基准特征的特征分布差异的具体方式。
本公开实施例提出的确定差异度的方法能够全方面的确定该预测特征和该基准特征的特征分布差异，也就是说，各个预测特征与基准特征之间的特征分布差异，可以用于表征该预测特征对应的合成图像和该基准特征对应的真实图像之间的相似程度(即，可以表征差异度)。在一些实施方式中，基于差异度从多个合成图像中确定部分合成图像，并将该部分合成图像扩充至训练集的方法，能够提高整个图像识别模型的性能。
在得到各个合成图像的预测特征与该基准特征的差异度之后，还需要基于该差异度，对各个合成图像进行筛选，以确定用于加入训练集的合成图像。例如，可以预先设定该差异度需要满足的第一预设条件，在该合成图像的预测特征与该基准特征的差异度满足第一预设条件的情况下，将该合成图像扩充至训练集，具体地，确定满足第一预设条件的至少一个差异度，包括：
确定小于或等于预设阈值的至少一个差异度；和/或，
确定多个该预测特征与该基准特征的差异度中，最小的K个差异度，该K为预先确定的整数。
其中，该预设阈值可以基于多个预测特征与基准特征的差异度的平均值、中位数或加权平均值确定。当然，本公开实施例并不限制确定预设阈值的方法，例如，该预设阈值还可以根据具体的图像识别场景进行设置。
在一些实施方式中，也可以基于多个预测特征与基准特征的差异度的具体范围，确定第一预设条件。具体地，可以确定最小的K个差异度为满足第一预设条件的差异度。该确定最小的K个差异度的方式可以包括：
确定各个预测特征与该基准特征的差异度；
将确定出的差异度按照预定顺序进行排序，以得到差异度序列；
根据该差异度序列，确定最小的K个差异度。
其中，该预定顺序可以是从大到小、或从小到大的顺序，也就是说可以采用从大到小、或从小到大的顺序对差异度进行排序，以得到差异度序列。当然，本公开对预定顺序并不做限制，上述预定顺序仅为举例。
需要说明的是，本公开实施例并不限制确定第一预设条件和最小的K个差异度的具体方式。
本公开实施例能够结合各个合成图像的预测特征和基准特征的差异值，确定第一预设条件。因此，基于该第一预设条件确定的至少一个差异度能够比较准确地在多个合成图像中确定与该真实图像比较相似的部分合成图像。该确定满足第一预设条件的至少一个差异度的方法，能够降低从多个合成图像确定部分图像的复杂程度，便于实施。
以上简单介绍了如何基于合成图像的预测特征和基准特征之间的差异度，确定扩充至训练集的部分合成图像。
在一些实施方式中，本公开实施例提出的图像识别模型还可以包括高层信息提取模块和/或识别模块，其中，
该高层信息提取模块用于确定输入图像的关键点；
该识别模块用于根据输入图像的关键点识别图像类型。
其中，该图像类型可以包括合成图像和真实图像
一示例中，该高层信息提取模块确定输入图像关键点的方式，包括：将该低层信息提取模块输出的图像的预测特征输入至该高层信息提取模块，该高层信息提取模块可以基于该图像的预测特征，确定该图像的关键点。其中，该高层信息提取模块可以包括用于提取图像关键点的解码器，该解码器能够对图像中具有丰富语义信息的高层特征进行提取。
本公开实施例提出的高层信息提取模块能够确定输入图像识别模型的关键点，识别模块能够识别输入图像所属的图像类型。该高层信息提取模块和该识别模块能够将图像特征这一抽象的概念转换为图像的关键点和图像类型这种易于理解和表示的概念，便于后续对图像识别模型的训练。
以上介绍了如何基于初始图像识别模型获取图像关键点和图像类型的方法。
本公开实施例提出的图像识别模型的训练方法，在确定扩充后的训练集后，采用扩充后的训练集对初始图像识别模型的参数进行调整，以达到获取最终图像识别模型的目的。具体地，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型，包括：
将该扩充后的训练集中的各个样本分别输入该初始图像识别模型，以得到该各个样本的预测关键点；该样本为真实图像或合成图像；
利用该各个样本的预测关键点和标签，确定损失函数；
在该损失函数不满足第二预设条件的情况下，重复执行根据该差异度扩充训练集、利用该扩充后的训练集调整初始图像识别模型的参数的过程，直至该损失函数满足第二预设条件。
其中，该关键点可以包括二维关键点信息和三维关键点信息。
在一些实施方式中，该各个样本的标签可以是该样本的真实关键点。该真实关键点可以通过关键点检测网络确定，具体地，可以预先将样本输入关键点检测网络，并将该网络输出的真实关键点作为该样本的标签。其中，该关键点检测网络可以包括确定性网络(DetNet，Deterministic Networking)。当然，本公开实施例并不限制获取真实图像真实关键点的具体方式。
在确定损失函数时，可以确定一次训练过程中，该训练集内各个样本的预测关键点与真实关键点的差值的平方，并计算所有平方的均值，将该均值作为图像识别模型的损失函数；或者，确定所有平方的中位数，将该中位数作为图像识别模型的损失函数。在损失函数的值满足相应的第二预设条件的情况下，图像识别模型的训练过程结束。
由于该损失函数是基于训练集内多个样本的预测关键点和标签的差值的平方确定的，因此能够降低单个样本造成的误差，提高图像识别模型的准确率。
其中，该第二预设条件包括以下至少之一：
该损失函数小于或等于损失函数阈值；
该损失函数的变化不存在减小的趋势。
一般情况下，该图像识别模型输出的样本的预测关键点越偏离真实情况，则样本的预测关键点和标签的差值就越大，相应地，图像识别模型的损失函数值就越大，因此本公开实施例可以通过调整图像识别模型的参数，使得模型的损失函数值小于或等于损失函数的阈值，以满足第二预测条件，得到最终图像识别模型；或者，当基于样本的预测关键点和标签之间的差值确定的损失函数，在多次模型的训练过程中不再发生变化和/或变大的情况下，停止对该图像识别模型进行训练。
当然，上述确定损失函数满足的第二预设条件的方法仅为举例，本公开并不限制确定第二预设条件的具体方式，例如，还可以该第二预设条件还可以包括图像识别模型的迭代次数达到预设次数。
本公开实施例提出的损失函数的值与样本的预测关键点和标签的差值相关，二者的差值越大，对应的损失函数越大。本公开实施例可以基于第二预设条件，确定当前图像识别模型的损失函数是否满足要求，该方法能够使模型快速收敛，提高模型的训练速度。
在一些实施方式中，以应用于人手图像识别场景为例，本公开实施例提出的真实图像包括图像采集装置采集的人手图像；
合成图像包括人手图像合成模型合成的人手图像。
其中，图像采集装置包括但不限于相机、手机和平板电脑。
一示例中，在应用于人手图像识别场景的情况下，可以采用包含多个真实人手图像的训练集获取初始图像识别模型。之后，可以将人手图像合成模型合成的人手图像和图像采集装置采集的真实人手图像输入初始图像识别模型，由初始图像识别模型确定该合成的人手图像的预测特征、以及真实人手图像的基准特征；分别计算初始图像识别模型确定的各个合成图像的预测特征和基准特征的差异值，并基于该差异值确定扩充至该训练集的合成人手图像，并基于该扩充后的训练集对该初始图像识别模型的参数进行调整；通过重复执行前述过程，可以对初始图像识别模型的参数进行多次调整，以得到最终训练完成的图像识别模型。
以上简单介绍了本公开实施例应用于人手图像识别场景的具体方式，该图像识别模型能够提高人手图像识别场景中图像识别的准确率。
仍以应用于人手图像识别场景为例，当前获取合成人手图像的方式可以包括对人手图像添加噪声、改变人手图像角度和变换人手图像的颜色空间等。但是基于目前现有的图像合成方式获取的合成人手图像和人手图像的差异化过大，虽然能够扩充图像识别模型的训练集，但是无法对模型的训练产生积极的效果。因此，为了提高合成图像的质量，本公开还提出了一种确定合成人手图像的方法。图4是根据本公开实施例提出的合成人手图像的生成网络，如图4所示，该确定合成人手图像的方法，可以包括：
确定手势关键点对应的手势参数；
将该手势关键点对应的手势参数、以及用于控制人手形状的第一参数输入该人手图像合成模型的第一编码器，由该第一编码器确定该合成图像的手势编码；
将图像采集装置采集的人手图像输入该人手图像合成模型的第二编码器，由该第二编码器确定该合成图像的纹理编码；
将该手势编码和该纹理编码融合，得到融合后的特征；
将该融合后的特征输入该人手图像合成模型的解码器，得到该合成图像。
其中，该人手形状可以包括人手轮廓和人手胖瘦；该纹理编码可以用于表征人手肤色和/或人手粗糙程度。
本公开实施例可以将手势参数称为α参数，将用于控制人手形状的第一参数称为β参数。该手势编码是基于α参数和β参数共同确定的。由于α参数和β参数可以由多个维度的特征综合确定，例如，α参数可以由代表人手姿势的24个关节确定，β参数可以由代表人手体长短胖瘦、手指比例的10个参数确定。因此，本公开实施例提出的基于α参数和β参数共同确定手势编码的方法，能够获取丰富的合成手势。另外，基于手势编码和纹理编码确定的合成人手图像具有质量高、以及与人手图像相似度高的特点。
在一些实施方式中，可以直接基于人为设定α参数和β参数确定手势。但是该确定手势的方式无法直观地体现出该手势的实际状态，因此本公开实施例可以基于手势关键点确定α参数。具体地，本公开实施例提出的确定手势关键点对应的手势参数的方法，包括：
将该手势关键点输入预先训练的参数转换网络，由该参数转换网络输出该手势关键点对应的手势参数；其中，
该手势关键点包括二维关键点信息和三维关键点信息；
该手势参数用于表征手部关节位置和/或手部关节旋转角度。
其中，该手势关键点的坐标已知。
一示例中，该手势关键点可以是人为设定的；或者基于人手图像得到的。具体地，可以通过确定性网络(DetNet，Deterministic Networking)识别人手图像的手势关键点。需要说明的是，本公开实施例并不限制确定手势关键点的方法，上述方式仅为举例。
由于可以采用手势关键点获取手部关节角度位置和/或手部关节旋转角度(也就是α参数)，因此本公开实施例能够直观地表示出手势的实际状态。
在一些实施方式中，该预先训练的参数转换网络包括逆运动学网络(IKNet，Inverse Kinematics Network)。该IKNet是基于逆运动学(IK，Inverse Kinematics)得到的，IK能够基于稀疏的手势关键点估计手部关节角度位置和/或手部关节旋转角度(也就是α参数)。但是通常IK是通过迭代优化的方法，从稀疏的手势关键点中估计手部关节角度位置和/或手部关节旋转角度(也就是α参数)，但是这种方法运算时间较长。因此为了节约图像合成的时间，本公开实施例可以采取IKNet获取手势关键点的信息。具体地，可以将手势关键点输入IKNet，IKNet对手势关键点进行处理，并输出手部关节角度位置和/或手部关节旋转角度(也就是α参数)。
本公开实施例通过IKNet获取手势关键点对应的手部关节角度位置和/或手部关节旋转角度(也就是α参数)的方法具有精度高、速度快的优点，具体地，IKNet可以达到100帧每秒的速度。
根据本公开实施例的图像识别模型的训练方法，提供了一种图像识别方法，图5是根据本公开实施例的图像识别方法500的实现流程图，该方法可以应用于图像识别装置。例如，该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下，可以实现图片、图文、视频等各类应用场景的搜索等处理。其中，终端可以为用户设备(UE，User Equipment)、移动设备、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图5所示，该图像识别方法包括，包括：
S510、将待识别图像输入图像识别模型，由该图像识别模型输出针对该待识别图像的预测关键点和/或识别图像类型；其中，
该图像识别模型由上述任意一种图像识别模型的训练方法训练得到；
该待识别图像包括真实图像和/或合成图像。
当该图像识别方法应用于人手图像识别场景时，该真实图像包括图像采集装置采集的人手图像；
该合成图像包括人手图像合成模型合成的人手图像。
本公开实施例提出的图像识别方法，能够确定待识别图像的预测关键点和/或识别图像类型，实现了提高图像识别的准确度，进一步地，还可以推荐满足预设条件的合成图像。
本公开实施例还提出一种图像识别模型的训练装置，图6是根据本公开实施例图像识别模型的训练装置600的结构示意图，包括：
第一确定模块610，用于采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，其中，该初始图像识别模型利用包含多个真实图像的训练集训练得到；
调整模块620，用于根据各个预测特征与基准特征的差异度，将多个合成图像中的部分合成图像扩充至该训练集，利用扩充后的训练集调整该初始图像识别模型的参数，以得到最终图像识别模型。
在一些实施方式中，该调整模块620，包括：
计算子模块621，用于分别计算各个该预测特征与该基准特征的差异度；
确定子模块622，用于确定满足第一预设条件的至少一个差异度；
扩充子模块623，用于将确定出的至少一个差异度对应的合成图像加入该训练集，以扩充该训练集。
在一些实施方式中，该确定子模块622，用于：
确定小于或等于预设阈值的至少一个差异度；和/或，
确定多个该预测特征与该基准特征的差异度中，最小的K个差异度，该K为预先确定的整数。
在一些实施方式中，该计算子模块621，用于分别计算各个该预测特征与该基准特征的特征分布差异，该特征分布差异用于表征该差异度。
在一些实施方式中，该调整模块620，用于：
将该扩充后的训练集中的各个样本分别输入该初始图像识别模型，以得到该各个样本的预测关键点；该样本为真实图像或合成图像；
利用该各个样本的预测关键点和标签，确定损失函数；
在该损失函数不满足第二预设条件的情况下，重复执行根据该差异度扩充训练集、利用该扩充后的训练集调整初始图像识别模型的参数的过程，直至该损失函数满足第二预设条件。
在一些实施方式中，该第二预设条件包括以下至少之一：
该损失函数小于或等于损失函数阈值；
该损失函数的变化不存在减小的趋势。
在一些实施方式中，该第一确定模块610，用于：
从该训练集中选择至少一个真实图像；
采用该初始图像识别模型，确定选择的至少一个真实图像的基准特征。
在一些实施方式中，该初始图像识别模型包括低层信息提取模块；
第一确定模块610，用于：
利用该初始图像识别模型中的低层信息提取模块，提取各个合成图像的预测特征、以及真实图像的基准特征；其中，
该合成图像的预测特征，用于表征该合成图像的纹理特征；
该真实图像的基准特征，用于表征该真实图像的纹理特征。
在一些实施方式中，该纹理特征包括粗糙度、方向度、肤色、规整度和光照纹理中的至少之一。
在一些实施方式中，该初始图像识别模型还包括高层信息提取模块和/或识别模块；
该高层信息提取模块用于确定输入图像的关键点；
该识别模块用于根据输入图像的关键点识别图像类型。
在一些实施方式中，该真实图像包括图像采集装置采集的人手图像；
该合成图像包括人手图像合成模型合成的人手图像。
图7是根据本公开实施例图像识别模型的训练装置700的结构示意图，如图7所示，在一些实施方式中，本公开实施例提出的图像识别模型的训练装置700，还包括：
第二确定模块730，用于确定手势关键点对应的手势参数；
第三确定模块740，用于将该手势关键点对应的手势参数、以及用于控制人手形状的第一参数输入该人手图像合成模型的第一编码器，由该第一编码器确定该合成图像的手势编码；
第四确定模块750，用于将图像采集装置采集的人手图像输入该人手图像合成模型的第二编码器，由该第二编码器确定该合成图像的纹理编码；
融合模块760，用于将该手势编码和该纹理编码融合，得到融合后的特征；
合成模块770，用于将该融合后的特征输入该人手图像合成模型的解码器，得到该合成图像。
在一些实施方式中，该第二确定模块730，用于：
将该手势关键点输入预先训练的参数转换网络，由该参数转换网络输出该手势关键点对应的手势参数；其中，
该手势关键点包括二维关键点信息和三维关键点信息；
该手势参数用于表征手部关节位置和/或手部关节旋转角度。
在一些实施方式中，该输入预先训练的参数转换网络包括IKNet。
本公开实施例还提出一种图像识别装置，图8是根据本公开实施例图像识别装置800的结构示意图，包括：
识别模块810，用于将待识别图像输入图像识别模型，由该图像识别模型输出针对该待识别图像的预测关键点和/或图像识别类型；其中，该图像识别模型由该上述任意一种图像识别模型的训练装置训练得到；
该待识别图像包括真实图像和/或合成图像。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像识别模型的训练方法、图像识别方法。例如，在一些实施例中，图像识别模型的训练方法、图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像识别模型的训练方法、图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像识别模型的训练方法、图像识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (32)
1.一种图像识别模型的训练方法，包括：
利用手势关键点对应的手势参数、用于控制人手形状的第一参数、以及图像采集装置采集的人手图像，得到合成图像；
采用初始图像识别模型，确定多个所述合成图像中各个合成图像的预测特征、以及真实图像的基准特征，所述真实图像从所述初始图像识别模型的训练集中获取；其中，所述训练集中的真实图像包括对拍摄真实场景得到的图像进行筛选后的图像，所述初始图像识别模型利用包含多个真实图像的训练集训练得到；
根据各个所述预测特征与所述基准特征的差异度，将所述多个合成图像中的部分合成图像扩充至所述训练集，利用扩充后的训练集调整所述初始图像识别模型的参数，以得到最终图像识别模型；其中，所述差异度用于表征所述合成图像与所述真实图像的相似程度。
2.根据权利要求1所述的方法，其中，所述根据各个所述预测特征与所述基准特征的差异度，将所述多个合成图像中的部分合成图像扩充至所述训练集，包括：
分别计算各个所述预测特征与所述基准特征的差异度；
确定满足第一预设条件的至少一个差异度；
将确定出的至少一个差异度对应的合成图像加入所述训练集，以扩充所述训练集。
3.根据权利要求2所述的方法，其中，所述确定满足第一预设条件的至少一个差异度，包括：
确定小于或等于预设阈值的至少一个差异度；和/或，
确定多个所述预测特征与所述基准特征的差异度中，最小的K个差异度，所述K为预先确定的整数。
4.根据权利要求2或3所述的方法，其中，所述分别计算各个所述预测特征与所述基准特征的差异度，包括：
分别计算各个所述预测特征与所述基准特征的特征分布差异，所述特征分布差异用于表征所述差异度。
5.根据权利要求4所述的方法，其中，所述利用扩充后的训练集调整所述初始图像识别模型的参数，以得到最终图像识别模型，包括：
将所述扩充后的训练集中的各个样本分别输入所述初始图像识别模型，以得到所述各个样本的预测关键点；所述样本为真实图像或合成图像；
利用所述各个样本的预测关键点和标签，确定损失函数；
在所述损失函数不满足第二预设条件的情况下，重复执行根据所述差异度扩充训练集、利用所述扩充后的训练集调整初始图像识别模型的参数的过程，直至所述损失函数满足第二预设条件。
6.根据权利要求5所述的方法，其中，所述第二预设条件包括以下至少之一：
所述损失函数小于或等于损失函数阈值；
所述损失函数的变化不存在减小的趋势。
7.根据权利要求6所述的方法，其中，所述采用初始图像识别模型，确定真实图像的基准特征，包括：
从所述训练集中选择至少一个真实图像；
采用所述初始图像识别模型，确定选择的至少一个真实图像的基准特征。
8.根据权利要求7所述的方法，其中，所述初始图像识别模型包括低层信息提取模块；
所述采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，包括：
利用所述初始图像识别模型中的低层信息提取模块，提取各个合成图像的预测特征、以及真实图像的基准特征；其中，
所述合成图像的预测特征，用于表征所述合成图像的纹理特征；
所述真实图像的基准特征，用于表征所述真实图像的纹理特征。
9.根据权利要求8所述的方法，其中，所述纹理特征包括粗糙度、方向度、肤色、规整度和光照纹理中的至少之一。
10.根据权利要求9所述的方法，其中，所述初始图像识别模型还包括高层信息提取模块和/或识别模块；其中，
所述高层信息提取模块用于确定输入图像的关键点；
所述识别模块用于根据输入图像的关键点识别图像类型。
11.根据权利要求10所述的方法，其中，
所述真实图像包括图像采集装置采集的人手图像；
所述合成图像包括人手图像合成模型合成的人手图像。
12.根据权利要求11所述的方法，其中，所述利用所述手势关键点对应的手势参数、用于控制人手形状的第一参数、以及图像采集装置采集的人手图像，得到合成图像，包括：
确定所述手势关键点对应的手势参数；
将所述手势关键点对应的手势参数、以及用于控制人手形状的第一参数输入所述人手图像合成模型的第一编码器，由所述第一编码器确定所述合成图像的手势编码；
将图像采集装置采集的人手图像输入所述人手图像合成模型的第二编码器，由所述第二编码器确定所述合成图像的纹理编码；
将所述手势编码和所述纹理编码融合，得到融合后的特征；
将所述融合后的特征输入所述人手图像合成模型的解码器，得到所述合成图像。
13.根据权利要求12所述的方法，其中，所述确定手势关键点对应的手势参数，包括：
将所述手势关键点输入预先训练的参数转换网络，由所述参数转换网络输出所述手势关键点对应的手势参数；其中，
所述手势关键点包括二维关键点信息和三维关键点信息；
所述手势参数用于表征手部关节位置和/或手部关节旋转角度。
14.根据权利要求13所述的方法，其中，所述预先训练的参数转换网络包括逆运动学网络IKNet。
15.一种图像识别方法，包括：
将待识别图像输入图像识别模型，由所述图像识别模型输出针对所述待识别图像的预测关键点和/或图像识别类型；其中，
所述图像识别模型由所述权利要求1-14中任一所述的图像识别模型的训练方法训练得到；
所述待识别图像包括真实图像和/或合成图像。
16.一种图像识别模型的训练装置，包括：
第一确定模块，用于采用初始图像识别模型，确定多个合成图像中各个合成图像的预测特征、以及真实图像的基准特征，所述真实图像从所述初始图像识别模型的训练集中获取；其中，所述训练集中的真实图像包括对拍摄真实场景得到的图像进行筛选后的图像，所述初始图像识别模型利用包含多个真实图像的训练集训练得到；
调整模块，用于根据各个所述预测特征与所述基准特征的差异度，将所述多个合成图像中的部分合成图像扩充至所述训练集，利用扩充后的训练集调整所述初始图像识别模型的参数，以得到最终图像识别模型；其中，所述差异度用于表征所述合成图像与所述真实图像的相似程度；
所述合成图像，利用手势关键点对应的手势参数、用于控制人手形状的第一参数、以及图像采集装置采集的人手图像得到。
17.根据权利要求16所述的装置，其中，所述调整模块，包括：
计算子模块，用于分别计算各个所述预测特征与所述基准特征的差异度；
确定子模块，用于确定满足第一预设条件的至少一个差异度；
扩充子模块，用于将确定出的至少一个差异度对应的合成图像加入所述训练集，以扩充所述训练集。
18.根据权利要求17所述的装置，其中，所述确定子模块，用于：
确定小于或等于预设阈值的至少一个差异度；和/或，
确定多个所述预测特征与所述基准特征的差异度中，最小的K个差异度，所述K为预先确定的整数。
19.根据权利要求17或18所述的装置，其中，所述计算子模块，用于分别计算各个所述预测特征与所述基准特征的特征分布差异，所述特征分布差异用于表征所述差异度。
20.根据权利要求19所述的装置，其中，所述调整模块，用于：
将所述扩充后的训练集中的各个样本分别输入所述初始图像识别模型，以得到所述各个样本的预测关键点；所述样本为真实图像或合成图像；
利用所述各个样本的预测关键点和标签，确定损失函数；
在所述损失函数不满足第二预设条件的情况下，重复执行根据所述差异度扩充训练集、利用所述扩充后的训练集调整初始图像识别模型的参数的过程，直至所述损失函数满足第二预设条件。
21.根据权利要求20所述的装置，其中，所述第二预设条件包括以下至少之一：
所述损失函数小于或等于损失函数阈值；
所述损失函数的变化不存在减小的趋势。
22.根据权利要求16-17中任一所述的装置，其中，所述第一确定模块，用于：
从所述训练集中选择至少一个真实图像；
采用所述初始图像识别模型，确定选择的至少一个真实图像的基准特征。
23.根据权利要求22所述的装置，其中，所述初始图像识别模型包括低层信息提取模块；
第一确定模块，用于：
利用所述初始图像识别模型中的低层信息提取模块，提取各个合成图像的预测特征、以及真实图像的基准特征；其中，
所述合成图像的预测特征，用于表征所述合成图像的纹理特征；
所述真实图像的基准特征，用于表征所述真实图像的纹理特征。
24.根据权利要求23所述的装置，其中，所述纹理特征包括粗糙度、方向度、肤色、规整度和光照纹理中的至少之一。
25.根据权利要求24所述的装置，其中，所述初始图像识别模型还包括高层信息提取模块和/或识别模块；其中，
所述高层信息提取模块用于确定输入图像的关键点；
所述识别模块用于根据输入图像的关键点识别图像类型。
26.根据权利要求25所述的装置，其中，
所述真实图像包括图像采集装置采集的人手图像；
所述合成图像包括人手图像合成模型合成的人手图像。
27.根据权利要求26所述的装置，还包括：
第二确定模块，用于确定所述手势关键点对应的手势参数；
第三确定模块，用于将所述手势关键点对应的手势参数、以及用于控制人手形状的第一参数输入所述人手图像合成模型的第一编码器，由所述第一编码器确定所述合成图像的手势编码；
第四确定模块，用于将图像采集装置采集的人手图像输入所述人手图像合成模型的第二编码器，由所述第二编码器确定所述合成图像的纹理编码；
融合模块，用于将所述手势编码和所述纹理编码融合，得到融合后的特征；
合成模块，用于将所述融合后的特征输入所述人手图像合成模型的解码器，得到所述合成图像。
28.根据权利要求27所述的装置，其中，所述第二确定模块，用于：
将所述手势关键点输入预先训练的参数转换网络，由所述参数转换网络输出所述手势关键点对应的手势参数；其中，
所述手势关键点包括二维关键点信息和三维关键点信息；
所述手势参数用于表征手部关节位置和/或手部关节旋转角度。
29.根据权利要求28所述的装置，其中，所述预先训练的参数转换网络包括逆运动学网络IKNet。
30.一种图像识别装置，包括：
识别模块，用于将待识别图像输入图像识别模型，由所述图像识别模型输出针对所述待识别图像的预测关键点和/或图像识别类型；其中，
所述图像识别模型由所述权利要求16-29中任一所述的图像识别模型的训练装置训练得到；
所述待识别图像包括真实图像和/或合成图像。
31.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法。
32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042188.5A CN116051926B (zh) | 2023-01-12 | 2023-01-12 | 图像识别模型的训练方法、图像识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042188.5A CN116051926B (zh) | 2023-01-12 | 2023-01-12 | 图像识别模型的训练方法、图像识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051926A CN116051926A (zh) | 2023-05-02 |
| CN116051926B true CN116051926B (zh) | 2024-04-16 |
Family
ID=86121567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310042188.5A Active CN116051926B (zh) | 2023-01-12 | 2023-01-12 | 图像识别模型的训练方法、图像识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051926B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977794B (zh) * | 2023-08-28 | 2024-04-02 | 杭州一知智能科技有限公司 | 一种基于强化学习的数字人视频鉴别模型训练方法和系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376309A (zh) * | 2014-11-27 | 2015-02-25 | 韩慧健 | 一种基于手势识别的手势运动基元模型结构化方法 |
| CN109858524A (zh) * | 2019-01-04 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
| CN112733946A (zh) * | 2021-01-14 | 2021-04-30 | 北京市商汤科技开发有限公司 | 一种训练样本的生成方法、装置、电子设备及存储介质 |
| CN113033665A (zh) * | 2021-03-26 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
| CN113065607A (zh) * | 2021-04-20 | 2021-07-02 | 平安国际智慧城市科技股份有限公司 | 图像检测方法、装置、电子设备及介质 |
| CN113191942A (zh) * | 2021-05-20 | 2021-07-30 | 戴姆勒股份公司 | 生成图像的方法、训练人物检测模型的方法、程序及装置 |
| CN113627498A (zh) * | 2021-07-28 | 2021-11-09 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
| CN113724128A (zh) * | 2020-05-25 | 2021-11-30 | Tcl科技集团股份有限公司 | 一种训练样本的扩充方法 |
| CN114118305A (zh) * | 2022-01-25 | 2022-03-01 | 广州市玄武无线科技股份有限公司 | 一种样本筛选方法、装置、设备及计算机介质 |
| CN114463586A (zh) * | 2022-01-30 | 2022-05-10 | 中国农业银行股份有限公司 | 图像识别模型的训练与图像识别方法、装置、设备和介质 |
| CN114548288A (zh) * | 2022-02-24 | 2022-05-27 | 京东科技信息技术有限公司 | 模型训练、图像识别方法和装置 |
| WO2022236175A1 (en) * | 2021-05-07 | 2022-11-10 | Northeastern University | Infant 2d pose estimation and posture detection system |
| CN115346082A (zh) * | 2022-07-29 | 2022-11-15 | 青岛海尔科技有限公司 | 图像的生成方法、装置、存储介质及电子装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10345914B2 (en) * | 2016-01-26 | 2019-07-09 | Infinity Augmented Reality Israel Ltd. | Method and system for generating a synthetic database of postures and gestures |
| US10796482B2 (en) * | 2018-12-05 | 2020-10-06 | Snap Inc. | 3D hand shape and pose estimation |
| US11176699B2 (en) * | 2019-05-24 | 2021-11-16 | Tencent America LLC | Augmenting reliable training data with CycleGAN for hand pose estimation |
| US11205065B2 (en) * | 2019-10-18 | 2021-12-21 | Alpine Electronics of Silicon Valley, Inc. | Gesture detection in embedded applications |
| US11087172B2 (en) * | 2019-12-31 | 2021-08-10 | Plus One Robotics, Inc. | Systems and methods for creating training data |
-
2023
- 2023-01-12 CN CN202310042188.5A patent/CN116051926B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376309A (zh) * | 2014-11-27 | 2015-02-25 | 韩慧健 | 一种基于手势识别的手势运动基元模型结构化方法 |
| CN109858524A (zh) * | 2019-01-04 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
| CN113724128A (zh) * | 2020-05-25 | 2021-11-30 | Tcl科技集团股份有限公司 | 一种训练样本的扩充方法 |
| CN112733946A (zh) * | 2021-01-14 | 2021-04-30 | 北京市商汤科技开发有限公司 | 一种训练样本的生成方法、装置、电子设备及存储介质 |
| CN113033665A (zh) * | 2021-03-26 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
| CN113065607A (zh) * | 2021-04-20 | 2021-07-02 | 平安国际智慧城市科技股份有限公司 | 图像检测方法、装置、电子设备及介质 |
| WO2022236175A1 (en) * | 2021-05-07 | 2022-11-10 | Northeastern University | Infant 2d pose estimation and posture detection system |
| CN113191942A (zh) * | 2021-05-20 | 2021-07-30 | 戴姆勒股份公司 | 生成图像的方法、训练人物检测模型的方法、程序及装置 |
| CN113627498A (zh) * | 2021-07-28 | 2021-11-09 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
| CN114118305A (zh) * | 2022-01-25 | 2022-03-01 | 广州市玄武无线科技股份有限公司 | 一种样本筛选方法、装置、设备及计算机介质 |
| CN114463586A (zh) * | 2022-01-30 | 2022-05-10 | 中国农业银行股份有限公司 | 图像识别模型的训练与图像识别方法、装置、设备和介质 |
| CN114548288A (zh) * | 2022-02-24 | 2022-05-27 | 京东科技信息技术有限公司 | 模型训练、图像识别方法和装置 |
| CN115346082A (zh) * | 2022-07-29 | 2022-11-15 | 青岛海尔科技有限公司 | 图像的生成方法、装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051926A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652828B (zh) | 人脸图像生成方法、装置、设备和介质 | |
| CN111277912B (zh) | 图像处理方法、装置和电子设备 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| CN112381183B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN109697689A (zh) | 存储介质、电子设备、视频合成方法及装置 | |
| CN113378770B (zh) | 手势识别方法、装置、设备、存储介质 | |
| CN113361710B (zh) | 学生模型训练方法、图片处理方法、装置及电子设备 | |
| CA3137297C (en) | Adaptive convolutions in neural networks | |
| CN116051926B (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| Sethi et al. | Signpro-An application suite for deaf and dumb | |
| CN111833391B (zh) | 图像深度信息的估计方法及装置 | |
| CN114120413A (zh) | 模型训练方法、图像合成方法、装置、设备及程序产品 | |
| CN114066984A (zh) | 基于二维关键点的三维姿态分类方法以及相关装置 | |
| CN113379877A (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN111291611A (zh) | 一种基于贝叶斯查询扩展的行人重识别方法及装置 | |
| CN114972910B (zh) | 图文识别模型的训练方法、装置、电子设备及存储介质 | |
| CN116402914A (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN113792804B (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 | |
| CN116229095A (zh) | 一种模型训练方法、视觉任务处理方法、装置及设备 | |
| CN112270760B (zh) | 一种定位方法、装置、电子设备及存储介质 | |
| CN112183155B (zh) | 动作姿态库建立、动作姿态生成、识别方法及装置 | |
| CN116452741B (zh) | 对象重建方法、对象重建模型的训练方法、装置及设备 | |
| CN115147850B (zh) | 文字生成模型的训练方法、文字生成方法及其装置 | |
| CN115222955B (zh) | 图像匹配模型的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |