CN117058421A - 基于多头模型的图像检测关键点方法、系统、平台及介质 - Google Patents
基于多头模型的图像检测关键点方法、系统、平台及介质 Download PDFInfo
- Publication number
- CN117058421A CN117058421A CN202310942944.XA CN202310942944A CN117058421A CN 117058421 A CN117058421 A CN 117058421A CN 202310942944 A CN202310942944 A CN 202310942944A CN 117058421 A CN117058421 A CN 117058421A
- Authority
- CN
- China
- Prior art keywords
- data
- head
- image
- detected
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 23
- 230000000295 complement effect Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多头模型的图像检测关键点方法、系统及平台，通过方法实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，可以同时训练多个数据集，每个数据集对应一个输出头，每个输出头可以检测其对应数据集中标注范围内指定的类别。多头模型同时预测多组关键点的精度跟多个单头模型分别预测多组关键点的精度基本一致，模型参数量、推理时间、内存开销都降低若干倍，有几个单头模型就降低几倍。
Description
技术领域
本发明属于图像检测关键点处理技术领域，具体涉及一种基于多头模型的图像检测关键点方法、系统、平台及介质。
背景技术
现目前，检测关键点是计算机视觉中的一项基础任务，它是指在给定一张图像中，检测出其中的关键点。在传统操作中，检测关键点主要是基于手工设计的特征提取器和传统的机器学习算法实现的，这些方法的主要限制是依赖于手工特征的质量和数量，需要人工设计和调整算法的参数，难以适应复杂的场景和变化多样的数据。
然而，随着深度学习的发展，基于卷积神经网络(CNN)的检测关键点方法逐渐成为主流，具有更好的准确性和泛化能力。目前检测关键点一般为单头模型，即只有一个输出头输出关键点。但是多个关键点之间存在干扰问题，并且不同类型的检测关键点头可能需要不同的网络结构或者参数配置，导致模型设计和训练更加困难。如果不同类型关键点之间存在很大差异单头模型会出现预测困难，例如难以处理不同类型的关键点之间优先级或者重要新的问题。
也就是说，单头检测关键点模型在检测多种类型的关键点时存在问题，例如，不同类型的关键点可能需要不同的网络结构和参数配置。用相同的配置会导致模型设计和训练更加困难。当几种类型的关键点很相似，特征区分度很小时，如果让模型同时检测这些相似的类型点会引起模型的歧义，导致这些相似的点都检测不好；传统检测关键点算法检测相似的点时，一般用到多个模型分别检测相似的点。应用多个模型导致模型参数、推理时间、内存开销都翻几倍。
因此，针对以上的技术问题缺陷，急需设计和开发一种基于多头模型的图像检测关键点方法、系统、平台及介质。
发明内容
为克服上述现有技术存在的不足及困难，本发明之目的在于提供一种基于多头模型的图像检测关键点方法、系统、平台及存储介质，让检测关键点算法模型结构更清晰，模型可解释性更强。每个头专门检测不同的类型点，模型结构更加清晰，更易调试和优化。
本发明的第一目的在于提供一种基于多头模型的图像检测关键点方法；
本发明的第二目的在于提供一种基于多头模型的图像检测关键点系统；
本发明的第三目的在于提供一种基于多头模型的图像检测关键点平台；
本发明的第四目的在于提供一种计算机可读取存储介质；
本发明的第一目的是这样实现的：所述方法包括如下步骤：
实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
进一步地，所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集。
进一步地，所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数。
进一步地，所述根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据，还包括：
切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
于不同的检测关键点头中，预测处理不同组的组别数据。
进一步地，所述切分处理批量特征数据，并生成与批量特征数据相对应的组别数据，还包括：
获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据。
进一步地，所述构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，还包括：
根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
本发明的第二目的是这样实现的：所述系统包括：
数据预处理单元，用于实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
数据提取单元，用于根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建检测单元，用于构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
进一步地，所述数据预处理单元，还包括：
构建初始化模块，用于构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
判定选择模块，用于根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集；
和/或，所述数据预处理单元，还包括：
补全处理模块，用于补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数；
所述数据提取单元，还包括：
切分处理模块，用于切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
预测处理模块，用于不同的检测关键点头中，预测处理不同组的组别数据；
和/或，所述切分处理模块，还包括：
第一切分模块，用于获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
第二切分模块，用于去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据；
所述构建检测单元，还包括：
判定生成模块，用于根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
第一生成模块，用于根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
本发明的第三目的是这样实现的：包括处理器、存储器以及基于多头模型的图像检测关键点平台控制程序；其中在所述的处理器执行所述的基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序被存储在所述存储器中，所述的基于多头模型的图像检测关键点平台控制程序，实现所述的基于多头模型的图像检测关键点方法。
本发明的第四目的是这样实现的：所述计算机可读取存储介质存储有基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序，实现所述的基于多头模型的图像检测关键点方法。
本发明通过方法实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，以及与所述方法相应的系统、平台以及存储介质；实现让检测关键点算法模型结构更清晰，模型可解释性更强。每个头专门检测不同的类型点，模型结构更加清晰，更易调试和优化。
也就是说，多头检测关键点模型可以同时训练多个数据集，每个数据集对应一个输出头，每个输出头可以检测其对应数据集中标注范围内指定的类别。多头模型同时预测多组关键点的精度跟多个单头模型分别预测多组关键点的精度基本一致，模型参数量、推理时间、内存开销都降低若干倍，有几个单头模型就降低几倍。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为为本发明一种基于多头模型的图像检测关键点方法之多头模型网络结示意图；
图2为本发明一种基于多头模型的图像检测关键点方法流程示意图；
图3为本发明一种基于多头模型的图像检测关键点系统架构示意图；
图4为本发明一种基于多头模型的图像检测关键点平台架构示意图；
图5为本发明一种实施例中计算机可读取存储介质架构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
优选地，本发明一种基于多头模型的图像检测关键点方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
本发明为实现一种基于多头模型的图像检测关键点方法、系统、平台及存储介质。
如图2所示，是本发明实施例提供的基于多头模型的图像检测关键点方法的流程图。
在本实施例中，所述基于多头模型的图像检测关键点方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
所述基于多头模型的图像检测关键点方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的基于多头模型的图像检测关键点方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
例如，对于需要进行基于多头模型的图像检测关键点终端，可以直接在终端上集成本发明的方法所提供的基于多头模型的图像检测关键点功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(SoftwareDevelopment Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供基于多头模型的图像检测关键点功能的接口，终端或其他设备通过所提供的接口即可实现基于多头模型的图像检测关键点功能。以下结合附图对本发明作进一步阐述。
如图1-图5所示，本发明提供了一种基于多头模型的图像检测关键点方法，所述的方法包括如下步骤：
S1、实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
S2、根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
S3、构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
S11、构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
S12、根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集。
所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
S13、补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数。
所述根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据，还包括：
S21、切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
S22、于不同的检测关键点头中，预测处理不同组的组别数据。
所述切分处理批量特征数据，并生成与批量特征数据相对应的组别数据，还包括：
S211、获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
S212、去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据。
所述构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，还包括：
S31、根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
S32、根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
具体地，在本发明实施例中，基于多头模型的图像检测关键点主要包括：图像中的关键点即图像中任意想要检测出来的点，比如身体的各个关节，绿胶上各个部件的顶点等。
数据预处理。每个单头关键点模型都有其对应处理模型输入数据的dataset类。本方案的技术可以改进任意单头的关键点模型，本方案的改进是在单头模型的基础上该进的。本方案首先定义一个多头数据预处理dataset类，在这个多头dataset中分别初始化多个此多头模型对应的单头模型单头dataset类。因为不同的单头模型可以处理不同数据集，可以检测不同类别的关键点，所以多头模型中每个单头dataset类可以分别处理不同数据集，有不同的待检测类别。多头dataset中getitem函数中根据传入的id，其中，假设数据集中有n张图片，那么id∈[0,n-1]，id是数据集中图片的id，与图片对应。
以及每个单头dataset的长度，判断用哪个单头dataset处理并记录下来并得到处理后的数据，如果此id大于等于0小于第一个单头dataset中数据的长度那么此id对应的数据就用第一个dataset处理，如果此id大于等于第一个单头dataset中数据的长度小于第二个单头dataset中数据的长度那么此id对应的数据就用第二个dataset处理，以此类推。批量数据训练时，由于每个dataset产生数据的维度不同，导致collate函数无法将多个getitem产生的数据合成一个批量数据。因此本方案在多头dataset中，将每个单头dataset产生的数据用0补全，补全的维度为所有单头dataset中最大的类别数。
网络结构设计。本方案的多头模型网络结构示意图如图1所示。一组图像数据经过上述数据预处理和数据补全后，送入到任意的特征提取网络提取特征后得到一个批量数据，即每个图像的特征。接下来，对这个批量特征做两个切分操作，第一个切分根据单头dataset中的记录的用哪个单头dataset处理的将批量特征切分成不同的组。第二个切分将上述分组中每组数据根据其对应的单头dataset类别数与最大dataset类别数补全的0数据去掉。切分后的每组数据分别送入到不同的检测关键点头中进行预测，每个检测头只检测其对应的单头dataset中含有的类别关键点。
损失函数设计。总的损失函数为每个单头损失函数的加和，并根据关键点的检测难易程度确定每个网络预测头对应损失函数的系数。输出头对应的检测关键点难度越大，相应的系数就越大。
也就是说，本发明方案多头模型可以用不同的头检测不同的类型点，不同类型点用不同的网络结构和参数配置，给不同类型点定制化的网络结构，通过关键点多头模型，把相似的点区分开，用不同的检测头去检测，以消除模型歧义，而且多头模型检测相似的点时只用一个模型，相似的点用不同的输出头去检测，并且公用一个特征提取网络。这样不会引起内存开销、推理时间以及模型参数的翻倍，而且可以分组检测相似的关键点。
换言之，本发明方案的保护垫主要体现在多头检测关键点模型数据预处理方式、dataset的设计。多头关键点模型的网络结构设计、对批量特征的两种切分方式，多头关键点模型的损失函数设计。
图像经过dataset进行预处理后送入到关键点模型中，模型的特征提取网络对预处理后的图像提取特征，接着用所述的“两次切分操作”切分特征，切分后的特征送入到对应的网络预测头中得到关键点的位置。
为实现上述目的，本发明还提供一种基于多头模型的图像检测关键点系统，如图3所示，所述的系统具体包括：
数据预处理单元，用于实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
数据提取单元，用于根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建检测单元，用于构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
所述数据预处理单元，还包括：
构建初始化模块，用于构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
判定选择模块，用于根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集；
和/或，所述数据预处理单元，还包括：
补全处理模块，用于补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数；
所述数据提取单元，还包括：
切分处理模块，用于切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
预测处理模块，用于不同的检测关键点头中，预测处理不同组的组别数据；
和/或，所述切分处理模块，还包括：
第一切分模块，用于获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
第二切分模块，用于去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据；
所述构建检测单元，还包括：
判定生成模块，用于根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
第一生成模块，用于根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
在本发明系统方案实施例中，所述的一种基于多头模型的图像检测关键点中涉及的方法步骤，具体细节已在上文阐述，也就是说，所述系统中的功能模块用于实现上述方法实施例中的步骤或子步骤，此处不再赘述。
为实现上述目的，本发明还提供一种基于多头模型的图像检测关键点平台，如图4所示，包括处理器、存储器以及基于多头模型的图像检测关键点平台控制程序；
其中在所述的处理器执行所述的基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序被存储在所述存储器中，所述的基于多头模型的图像检测关键点平台控制程序，实现所述的基于多头模型的图像检测关键点方法步骤。例如：
S1、实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
S2、根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
S3、构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
本发明实施例中，所述的基于多头模型的图像检测关键点平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于多头模型的图像检测关键点各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在基于多头模型的图像检测关键点平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
所述存储器包括只读存储器(Read-Only Memory，ROM)，随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
为实现上述目的，本发明还提供一种计算机可读取存储介质，如图5所示，所述计算机可读取存储介质存储有基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序，实现所述的基于多头模型的图像检测关键点方法步骤，例如：
S1、实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
S2、根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
S3、构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。
另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
在本发明实施例中，为实现上述目的，本发明还提供一种芯片系统，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得所述芯片系统执行所述的基于多头模型的图像检测关键点方法步骤，例如：
S1、实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
S2、根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
S3、构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明通过方法实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，以及与所述方法相应的系统、平台以及存储介质；实现让检测关键点算法模型结构更清晰，模型可解释性更强。每个头专门检测不同的类型点，模型结构更加清晰，更易调试和优化。
也就是说，多头检测关键点模型可以同时训练多个数据集，每个数据集对应一个输出头，每个输出头可以检测其对应数据集中标注范围内指定的类别。多头模型同时预测多组关键点的精度跟多个单头模型分别预测多组关键点的精度基本一致，模型参数量、推理时间、内存开销都降低若干倍，有几个单头模型就降低几倍。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多头模型的图像检测关键点方法，其特征在于，所述方法具体包括如下步骤：
实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
2.根据权利要求1所述一种基于多头模型的图像检测关键点方法，其特征在于，所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集。
3.根据权利要求1或2所述一种基于多头模型的图像检测关键点方法，其特征在于，所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数。
4.根据权利要求1所述一种基于多头模型的图像检测关键点方法，其特征在于，所述根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据，还包括：
切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
于不同的检测关键点头中，预测处理不同组的组别数据。
5.根据权利要求4所述一种基于多头模型的图像检测关键点方法，其特征在于，所述切分处理批量特征数据，并生成与批量特征数据相对应的组别数据，还包括：
获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据。
6.根据权利要求1所述一种基于多头模型的图像检测关键点方法，其特征在于，所述构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，还包括：
根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
7.一种基于多头模型的图像检测关键点系统，其特征在于，所述系统包括：
数据预处理单元，用于实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
数据提取单元，用于根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建检测单元，用于构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
8.根据权利要求7所述的一种基于多头模型的图像检测关键点系统，其特征在于，所述数据预处理单元，还包括：
构建初始化模块，用于构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
判定选择模块，用于根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集；
和/或，所述数据预处理单元，还包括：
补全处理模块，用于补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数；
所述数据提取单元，还包括：
切分处理模块，用于切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
预测处理模块，用于不同的检测关键点头中，预测处理不同组的组别数据；
和/或，所述切分处理模块，还包括：
第一切分模块，用于获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
第二切分模块，用于去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据；
所述构建检测单元，还包括：
判定生成模块，用于根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
第一生成模块，用于根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
9.一种基于多头模型的图像检测关键点平台，其特征在于，包括处理器、存储器以及基于多头模型的图像检测关键点平台控制程序；
其中在所述的处理器执行所述的基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序被存储在所述存储器中，所述的基于多头模型的图像检测关键点平台控制程序，实现如权利要求1至6中任一项所述的基于多头模型的图像检测关键点方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有基于多头模型的图像检测关键点平台控制程序，所述的基于多头模型的图像检测关键点平台控制程序，实现如权利要求1至6中任一项所述的基于多头模型的图像检测关键点方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942944.XA CN117058421A (zh) | 2023-07-28 | 2023-07-28 | 基于多头模型的图像检测关键点方法、系统、平台及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942944.XA CN117058421A (zh) | 2023-07-28 | 2023-07-28 | 基于多头模型的图像检测关键点方法、系统、平台及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117058421A true CN117058421A (zh) | 2023-11-14 |
Family
ID=88659985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310942944.XA Pending CN117058421A (zh) | 2023-07-28 | 2023-07-28 | 基于多头模型的图像检测关键点方法、系统、平台及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058421A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635688A (zh) * | 2023-11-28 | 2024-03-01 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
| CN117635688B (zh) * | 2023-11-28 | 2024-06-07 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
-
2023
- 2023-07-28 CN CN202310942944.XA patent/CN117058421A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635688A (zh) * | 2023-11-28 | 2024-03-01 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
| CN117635688B (zh) * | 2023-11-28 | 2024-06-07 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| WO2022105125A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| US11321822B2 (en) | Determining image defects using image comparisons | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN109919077B (zh) | 姿态识别方法、装置、介质和计算设备 | |
| CN111242291A (zh) | 神经网络后门攻击的检测方法、装置和电子设备 | |
| WO2022068320A1 (en) | Computer automated interactive activity recognition based on keypoint detection | |
| CN111428805B (zh) | 显著性物体的检测方法、模型、存储介质及电子设备 | |
| CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN114139630A (zh) | 姿态识别方法、装置、存储介质和电子设备 | |
| CN116205819B (zh) | 字符图像生成方法、深度学习模型的训练方法和装置 | |
| CN116777899A (zh) | 基于回归模型的工业图像关键点检测方法、系统及平台 | |
| CN111680680A (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
| CN113780239B (zh) | 虹膜识别方法、装置、电子设备和计算机可读介质 | |
| CN114598610B (zh) | 网络业务规则识别 | |
| CN114842476A (zh) | 水印检测方法及装置、模型训练方法及装置 | |
| CN117058421A (zh) | 基于多头模型的图像检测关键点方法、系统、平台及介质 | |
| WO2022226744A1 (en) | Texture completion | |
| CN110634155A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| CN114494960A (zh) | 视频处理方法及装置、电子设备及计算机可读存储介质 | |
| CN114998963A (zh) | 图像检测方法和用于训练图像检测模型的方法 | |
| CN110399892B (zh) | 环境特征提取方法和装置 | |
| CN115331077B (zh) | 特征提取模型的训练方法、目标分类方法、装置、设备 | |
| CN115170536B (zh) | 图像检测方法、模型的训练方法和装置 | |
| CN116070711B (zh) | 数据处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |