CN108734182B - 一种基于小数据样本学习的兴趣特征识别检测方法 - Google Patents
一种基于小数据样本学习的兴趣特征识别检测方法 Download PDFInfo
- Publication number
- CN108734182B CN108734182B CN201810604352.6A CN201810604352A CN108734182B CN 108734182 B CN108734182 B CN 108734182B CN 201810604352 A CN201810604352 A CN 201810604352A CN 108734182 B CN108734182 B CN 108734182B
- Authority
- CN
- China
- Prior art keywords
- feature
- model
- interest
- diffusion
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于小数据样本学习的兴趣特征识别检测方法，包括：S1‑1建立特征空间：在三维模型上进行兴趣特征的定义与描述；S1‑2建立度量空间：利用自适应偏微分方程引导的扩散方法和子模优化方法进行小数据样本驱动的兴趣特征分析和提取；S1‑3利用S1‑2的结果进行三维模型上的兴趣特征识别和检测。通过设计灵活方便的兴趣特征定义方式，拓展了传统三维模型上特征的形式，为模型的局部和全局分析与描述建立了纽带。通过将兴趣特征检测转化为全局图上的扩散，减小了特征分析所需的成本与代价，可推动相关的三维模型处理与应用。
Description
技术领域
本发明涉及三维模型特征识别检测领域，尤其是一种基于小数据样本学习的兴趣特征识别检测方法。
背景技术
传统的模型对应和匹配问题目的是为了找到两个模型上完全相同的点或者区域，这能够帮助解决动作传递或者部件替换等实际应用。现有图形学应用已表现出对高层次先验知识、语义相关信息以及人类意愿的需求趋势。目前，高层次先验知识的提取一方面依赖于模型的几何特性，另一方面通过用户输入，或者基于加标签数据库的学习过程。这些方法有两大局限，一方面现有包含语义信息的交互和标签往往都是和部件相关，缺乏灵活的形式；另外一方面，尽管监督学习、半监督学习以及深度学习方法虽然都有很好的表现，但是它们的处理结果严重依赖于训练过程，而这个过程是耗时且费力的。
基于小数据样本的三维模型特征识别是三维模型及场景分析和处理的关键技术，但现有技术所关注的三维模型的特征形式往往局限于模型上固定的特征表现形式，比如点、线或者某些固定形式的模型表面面片或者区域，而分割和标注问题则侧重于基于部件的模型区域描述与分析，这些特征表现形式都不够灵活，往往无法满足现在丰富的实际应用中人们对灵活特征形式的需求。
发明内容
针对现有技术存在的缺陷，本发明要解决的技术问题是提出一种基于小数据样本学习的兴趣特征识别与检测的框架性方法和基于此实现的相关几何模型处理的拓展化应用。
本发明的技术方案是这样实现的：
一种基于小数据样本学习的兴趣特征识别检测方法，包括：
S1-1建立特征空间：在三维模型上进行兴趣特征的定义与描述；
S1-2建立度量空间：利用自适应偏微分方程引导的扩散方法和子模优化方法进行小数据样本驱动的兴趣特征分析和提取；
S1-3利用S1-2的结果进行三维模型上的兴趣特征识别和检测。
进一步的，步骤S1-1中所述对兴趣特征的定义包括：
S2-1通过向量/标量场的计算提供特征定义的媒介；
S2-2通过设计有力学感应的交互定义方式输入用户个性化、多样化的语义信息。
进一步的，步骤S1-1中所述对兴趣特征的描述包括：
S3-1根据具体问题引入模型表面信号函数，通过设计图谱小波描述模型表面在不同时、频域的特征；
S3-2通过Hilbert谱分析提取特征区域物理意义明确可见的信息；
S3-3利用扩散几何中的标量场将不同信息进行有机整合，建立基于区域的多层次、多尺度的特征空间。
更进一步的，步骤S2-1中所述的向量/标量场为热扩散场。
更进一步的，步骤S3-2中所述物理意义明确可见的信息为振幅、相位、瞬时频率信息。
更进一步的，步骤S3-3中所述多层次、多尺度分别是底频到高频的多层次和局部到全局的多尺度。
进一步的，步骤S1-2中所述的特征分析和提取包括：
S7-1以小数据量的带标注样本及测试模型为基础，依据样本特征信息及样本标注信息建立并调整流形结构，以得到问题驱动的流形结构；
S7-2设计并获取流形的扩散引导先验，以建立具有适应性的偏微分方程系统来引导流形上的扩散；
S7-3根据能量函数的特点与性质，设计能够同时选取最优热源点并较快收敛至扩散稳定态的优化方法对问题进行整体优化求解。
更进一步的，所述步骤S7-1中建立并调整流形结构可针对单模型和多模型分析设计不同的结构建立方案。
更进一步的，所述步骤S7-2中引导流形上的扩散过程等同于融合多信息的度量学习过程。
进一步的，所述步骤1-3中的识别检测包括：
S10-1将一般性特征定义、描述与小数据样本驱动的特征识别过程相结合，建立一套几何模型的一般性特征识别的基础性框架；
S10-2根据实际问题的需求将框架中相应环节进行调整，以实现单模型一般性特征分析和多模型联合一般性特征分析；
S10-3将框架应用于多模型联合分析，实现多模型上的联合显著性分析、同类和跨类模型的联合配准、分割与标注处理。
本发明的有益效果在于：
1.通过设计灵活方便的兴趣特征定义方式，拓展了传统三维模型上特征的形式，也为模型的局部和全局分析与描述建立了纽带。
2.通过将兴趣特征检测转化为全局图上的扩散，减小了特征分析所需的成本与代价，仅仅依赖于小数量的样本就可以对用户的兴趣特征进行分析和理解。
3.可推动相关的三维模型处理与应用，比如模型匹配、识别、重建以及大型场景中的物体识别以及3D打印轻量化等应用。
附图说明
附图1为本发明所述方法的流程示意图。
附图2为本发明所述方法全图上的扩散学习流程图。
附图3为不同模型上的兴趣指定结果示意图，其中a和b中箭头代表超节点上指定的兴趣点和兴趣范围，c显示了不同的兴趣区域。
具体实施方式
下面结合附图对本发明具体实施方式做进一步说明。
如附图1所示，一种基于小数据样本学习的兴趣特征识别检测方法，包括：
S1-1建立特征空间：在三维模型上进行兴趣特征的定义与描述；
S1-2建立度量空间：利用自适应偏微分方程引导的扩散方法和子模优化方法进行小数据样本驱动的兴趣特征分析和提取；
S1-3利用S1-2的结果进行三维模型上的兴趣特征识别和检测。
进一步的，步骤S1-1中所述对兴趣特征的定义包括：
S2-1通过向量/标量场的计算提供特征定义的媒介；
S2-2通过设计有力学感应的交互定义方式输入用户个性化、多样化的语义信息。
进一步的，步骤S1-1中所述对兴趣特征的描述包括：
S3-1根据具体问题引入模型表面信号函数，通过设计图谱小波描述模型表面在不同时、频域的特征；
S3-2通过Hilbert谱分析提取特征区域物理意义明确可见的信息；
S3-3利用扩散几何中的标量场将不同信息进行有机整合，建立基于区域的多层次、多尺度的特征空间。
更进一步的，步骤S2-1中所述的向量/标量场为热扩散场。
更进一步的，步骤S3-2中所述物理意义明确可见的信息为振幅、相位、瞬时频率信息。
更进一步的，步骤S3-3中所述多层次、多尺度分别是底频到高频的多层次和局部到全局的多尺度。
进一步的，步骤S1-2中所述的特征分析和提取包括：
S7-1以小数据量的带标注样本及测试模型为基础，依据样本特征信息及样本标注信息建立并调整流形结构，以得到问题驱动的流形结构；
S7-2设计并获取流形的扩散引导先验，以建立具有适应性的偏微分方程系统来引导流形上的扩散；
S7-3根据能量函数的特点与性质，设计能够同时选取最优热源点并较快收敛至扩散稳定态的优化方法对问题进行整体优化求解。
更进一步的，所述步骤S7-1中建立并调整流形结构可针对单模型和多模型分析设计不同的结构建立方案。
更进一步的，所述步骤S7-2中引导流形上的扩散过程等同于融合多信息的度量学习过程。
进一步的，所述步骤1-3中的识别检测包括：
S10-1将一般性特征定义、描述与小数据样本驱动的特征识别过程相结合，建立一套几何模型的一般性特征识别的基础性框架；
S10-2根据实际问题的需求将框架中相应环节进行调整，以实现单模型一般性特征分析和多模型联合一般性特征分析；
S10-3将框架应用于多模型联合分析，实现多模型上的联合显著性分析、同类和跨类模型的联合配准、分割与标注处理。
如附图2所示，为本发明所述方法全图上的扩散学习流程图。其中(a)是用户输入的感兴趣区域，(b)是待检测模型，(c)-(e)是全局图的建立，(f)为扩散引导，(c)-(f)四步为扩散过程的建立，(g)为子模优化的过程，(h)是输出结果。(a)的具体实现过程如附图3所示，为具体的用户交互过程，用户可以通过在网格上选定感兴趣的点和兴趣范围来确定感兴趣区域，即箭头标示的区域。
如附图1－3所示，上述实施例中，首先通过设计简单便捷的用户交互界面，为兴趣特征的定义提供直接且方便的操作方式，同时为已定义的特征区域进行特征描述子的建立；然后通过引导流形上的扩散实现对特征空间语义驱动的度量学习，以达到特征识别的目的。
具体过程如下：
首先，提出对人类兴趣特征的定义与描述(即，建立特征空间)。针对现有特征分析方法中特征形式固化、描述缺乏明确物理意义的问题，提出建立特征空间的新方式和方法。一般性特征定义方面：通过热扩散场或者其他向量/标量场的计算提供特征定义的媒介，通过设计简单、灵活或有力学感应的交互定义方式输入用户个性化、多样化的语义信息。在兴趣特征描述方面：将根据具体问题引入模型表面信号函数，通过设计图谱小波描述模型表面在不同时、频域的特征，并进一步通过Hilbert谱分析提取特征区域的振幅、相位、瞬时频率等物理意义明确可见的信息，最后利用扩散几何中的标量场将不同信息进行有机整合，建立基于区域的多层次(低频到高频)多尺度(局部到全局)的特征空间。
其次，提出小数据样本驱动的特征分析和提取方法(即，建立度量空间)。针对几何模型处理中人工标注标准模型库少、异类模型对应区域几何特征差别大等挑战，提出基于小数据样本的特征分析和提取方法。以小数据量的带标注样本及测试模型为基础，依据样本特征信息及样本标注信息建立并调整流形结构(针对单模型和多模型分析设计不同的结构建立方案)以得到问题驱动的流形结构。设计并获取流形的扩散引导先验，以建立具有适应性的偏微分方程系统来引导流形上的扩散，此过程等同于融合多信息的度量学习过程。最后根据能量函数的特点与性质，设计能够同时选取最优热源点并较快收敛至扩散稳定态的优化方法对问题进行整体优化求解。
最后，提出将兴趣特征识别进行多种应用。将一般性特征定义、描述与小数据样本驱动的特征识别过程相结合，建立一套几何模型的一般性特征识别的基础性框架。根据实际问题的需求可将框架中相应环节进行调整，以实现单模型一般性特征分析和多模型联合一般性特征分析。这将拓展现有的显著性分析、分割、标注等处理，使上述处理过程与结果中的特征一般化、灵活化、满足用户的切实实际需求，实现单模型上语义驱动的一般性显著特征提取、模型分割、标注和识别等处理和3D打印个性化和轻量化等应用。同时将框架应用于多模型联合分析，将实现多模型上的联合显著性分析、同类和跨类模型的联合配准、分割与标注等处理。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何利用本发明基于小数据样本学习的兴趣特征识别检测的方法思路均属于本发明技术构思的保护范围，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于小数据样本学习的兴趣特征识别检测方法 ，其特征在于，包括：
S1-1建立特征空间：在三维模型上进行兴趣特征的定义与描述；
S1-2建立度量空间：利用自适应偏微分方程引导的扩散方法和子模优化方法进行小数据样本驱动的兴趣特征分析和提取；
S1-3利用S1-2的结果进行三维模型上的兴趣特征识别和检测；其中，步骤S1-1中所述兴趣特征的定义包括：
S2-1通过向量/标量场的计算提供特征定义的媒介；
S2-2通过设计有力学感应的交互定义方式输入用户个性化、多样化的语义信息；
步骤S1-1中兴趣特征的描述包括：
S3-1根据具体问题引入模型表面信号函数，通过设计图谱小波描述模型表面在不同时、频域的特征；
S3-2通过 Hilbert 谱分析提取特征区域物理意义明确可见的信息；
S3-3利用扩散几何中的标量场将不同信息进行整合，建立基于区域的多层次、多尺度的特征空间；
步骤S1-2中所述的特征分析和提取包括：
S7-1以小数据量的带标注样本及测试模型为基础，依据样本特征信息及样本标注信息建立并调整流形结构，以得到问题驱动的流形结构；
S7-2设计并获取流形的扩散引导先验，以建立具有适应性的偏微分方程系统来引导流形上的扩散；
S7-3根据能量函数的特点与性质，设计能够同时选取最优热源点并收敛至扩散稳定态的优化方法对问题进行整体优化求解；
所述步骤1-3中的识别检测包括：
S10-1将一般性特征定义、描述与小数据样本驱动的特征识别过程相结合，建立一套几何模型的一般性特征识别的基础性框架；
S10-2根据实际问题的需求将框架中相应环节进行调整，以实现单模型一般性特征分析和多模型联合一般性特征分析；
S10-3将框架应用于多模型联合分析，实现多模型上的联合显著性分析、同类和跨类模型的联合配准、分割与标注处理。
2.根据权利要求1所述的方法，其特征在于，步骤S2-1中所述的向量/标量场为热扩散场。
3.根据权利要求1所述的方法，其特征在于，步骤S3-2中所述物理意义明确可见的信息为振幅、相位、瞬时频率信息。
4.根据权利要求1所述的方法，其特征在于：所述步骤S7-1中建立并调整流形结构可针对单模型和多模型分析设计不同的结构建立方案。
5.根据权利要求1所述的方法，其特征在于：所述步骤S7-2中引导流形上的扩散过程等同于融合多信息的度量学习过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810604352.6A CN108734182B (zh) | 2018-06-13 | 2018-06-13 | 一种基于小数据样本学习的兴趣特征识别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810604352.6A CN108734182B (zh) | 2018-06-13 | 2018-06-13 | 一种基于小数据样本学习的兴趣特征识别检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108734182A CN108734182A (zh) | 2018-11-02 |
| CN108734182B true CN108734182B (zh) | 2022-04-05 |
Family
ID=63929558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810604352.6A Active CN108734182B (zh) | 2018-06-13 | 2018-06-13 | 一种基于小数据样本学习的兴趣特征识别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734182B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281545A (zh) * | 2008-05-30 | 2008-10-08 | 清华大学 | 一种基于多特征相关反馈的三维模型检索方法 |
| CN106971414A (zh) * | 2017-03-10 | 2017-07-21 | 江西省杜达菲科技有限责任公司 | 一种基于深度循环神经网络算法的三维动画生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751198B (zh) * | 2013-12-27 | 2018-04-27 | 华为技术有限公司 | 图像中的目标物的识别方法及装置 |
-
2018
- 2018-06-13 CN CN201810604352.6A patent/CN108734182B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101281545A (zh) * | 2008-05-30 | 2008-10-08 | 清华大学 | 一种基于多特征相关反馈的三维模型检索方法 |
| CN106971414A (zh) * | 2017-03-10 | 2017-07-21 | 江西省杜达菲科技有限责任公司 | 一种基于深度循环神经网络算法的三维动画生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108734182A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190524B (zh) | 一种基于生成对抗网络的人体动作识别方法 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| Bian et al. | Structural knowledge distillation for efficient skeleton-based action recognition | |
| CN110674741B (zh) | 一种基于双通道特征融合的机器视觉中手势识别方法 | |
| CN111028319B (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
| CN111125406A (zh) | 一种基于自适应聚类学习的视觉关系检测方法 | |
| CN109919106A (zh) | 渐进式目标精细识别与描述方法 | |
| Ullah et al. | Analysis of deep neural networks for human activity recognition in videos—a systematic literature review | |
| Wang et al. | Long video question answering: A matching-guided attention model | |
| Gao et al. | A two-stream CNN framework for American sign language recognition based on multimodal data fusion | |
| Wang et al. | A deep learning-based experiment on forest wildfire detection in machine vision course | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| Song et al. | A potential vision-based measurements technology: Information flow fusion detection method using RGB-thermal infrared images | |
| CN113962737A (zh) | 目标识别模型训练方法和装置、目标识别方法和装置 | |
| Akanksha et al. | A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP. | |
| CN108734182B (zh) | 一种基于小数据样本学习的兴趣特征识别检测方法 | |
| Xia et al. | Multi-stream neural network fused with local information and global information for HOI detection | |
| CN116452895A (zh) | 基于多模态对称增强的小样本图像分类方法、装置及介质 | |
| Zhang et al. | RGB+ 2D skeleton: local hand-crafted and 3D convolution feature coding for action recognition | |
| Wan et al. | Dynamic Gesture Recognition Based on Three-Stream Coordinate Attention Network and Knowledge Distillation | |
| Gang et al. | Skeleton-based action recognition with low-level features of adaptive graph convolutional networks | |
| Wang et al. | Multi-scale convolutional features network for semantic segmentation in indoor scenes | |
| Wang et al. | Gesture recognition based on BoF and its application in human-machine interaction of service robot | |
| Paswan et al. | Camera Based Indoor Object Detection and Distance Estimation Framework for Assistive Mobility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |