CN109344798B - 一种基于三维网格及神经网络的三维物体识别检测方法 - Google Patents
一种基于三维网格及神经网络的三维物体识别检测方法 Download PDFInfo
- Publication number
- CN109344798B CN109344798B CN201811243485.1A CN201811243485A CN109344798B CN 109344798 B CN109344798 B CN 109344798B CN 201811243485 A CN201811243485 A CN 201811243485A CN 109344798 B CN109344798 B CN 109344798B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- neural network
- dimensional object
- grid
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三维网格及神经网络的三维物体识别检测方法,包含以下步骤:A、获取三维物体样本集;B、更新三维物体样本集;C、对样本进行包络体、网格化处理;D、训练神经网络;E、确定待检测三维物体及检测样本;F、设置滑动步长;G、设置置信度阈值;H、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置,通过本发明可以有效的解决在三维数字空间中,对三维物体的识别和检测,即使三维数字空间中场景的复杂程度很高,亦可以利用此方法识别和检测出相应的三维物体。
Description
技术领域
本发明涉及神经网络技术领域,具体是一种基于三维网格及神经网络的三维物体识别检测方法。
背景技术
在数字化领域,经常需要将三维世界的内容映射到计算机中,并利用三维数字模型进行映射,这就是常说的“Digital Twins”(亦称“数字孪生”或“数字双胞胎”)。
将三维世界实体映射到三维数字空间中,其包含了比二维图像更加丰富的信息,因而对三维数字空间的物体进行识别和检测,有极大的实用价值。
同时,在复杂的及多元物体混合的场景中,如何有效的识别和检测出其包含的三维物体,亦具有极高的实用价值;
然而,目前在计算机图像识别领域,还是主要以二维图像识别为主;并且在三维数字空间中,如何有效的解决三维物体旋转不变性的问题,亦是比较麻烦的问题。
发明内容
本发明的目的在于提供一种基于三维网格及神经网络的三维物体识别检测方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于三维网格及神经网络的三维物体识别检测方法,包含以下步骤:
A、获取三维物体样本集;
B、更新三维物体样本集;
C、对样本进行包络体、网格化处理;
D、训练神经网络;
E、确定待检测三维物体及检测样本;
F、设置滑动步长;
G、设置置信度阈值;
H、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置。
作为本发明的优选方案:所述步骤A具体是:对样本集中的所有三维模型进行聚合处理;根据聚合后的内容,对样本集中的三维物体创建标签。
作为本发明的优选方案:所述步骤B具体是:对先前样本集中的样本基于旋转不变性的目的,对样本进行扩展及更新。
作为本发明的优选方案:所述步骤C具体是:对更新后的三维样本集中的样本进行包络体及网格化的处理。
作为本发明的优选方案:所述步骤D具体是:将步骤C中通过包络体及网格化处理后,并且具有相同标签的样本,放入神经网络进行训练,神经网络的输入层神经元个数由网格化后的网格数量确定,输出神经元的个数为1个;使每个标签相同的三维物体样本对应一个神经网络,即步骤A中有多少个标签,就有多少个神经网络。
作为本发明的优选方案:所述步骤E具体是:确定复杂的待检测物体,并将其放入数字化环境中,在三维样本集中选择标签相同的三维物体从该待检测物体的包络体的坐标原点进行识别处理。
作为本发明的优选方案:所述步骤F具体是:对于相同标签的三维物体的样本,将其每个样本中包络体及网格化后的网格,放入带检测三维物体的包络体中,并在带检测物体的包络体中进行滑动,每滑动一步的距离,为在该三维网格中所在x、y、z坐标轴上的网格尺寸;并且每滑动一步,都将该三维网格进行数值化处理,将其放入到和该检测物体标签对应的神经网络中,进行相似性计算。
与现有技术相比,本发明的有益效果是:通过本发明可以有效的解决在三维数字空间中,对三维物体的识别和检测,即使三维数字空间中场景的复杂程度很高,亦可以利用此方法识别和检测出相应的三维物体。
附图说明
图1为对已有样本集中的某个样本进行神经网络的训练示意图。
图2为三维网格在待检测物体上进行滑动示意图。
图3为在待检测物体中检测及识别出的三维物体及其置信度示意图。
图4为基于三维网格及神经网络的三维物体识别与检测示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-4,实施例1:本发明实施例中,一种基于三维网格及神经网络的三维物体识别检测方法,如图4所示,图中的对已有样本集中的某个样本进行神经网络的训练即为图1示图。
具体包含以下步骤:
A、获取三维物体样本集;对样本集中的所有三维模型进行聚合处理;根据聚合后的内容,对样本集中的三维物体创建标签;
B、更新三维物体样本集。采用“一种基于三维网格与神经网络解决三维物体旋转不变性的方法”,对先前样本集中的样本基于旋转不变性的目的,对样本进行扩展及更新;
C、对样本进行包络体、网格化处理。采用“一种基于三维网格与神经网络的零件相似性处理方法”,对更新后的三维样本集中的样本进行包络体及网格化的处理;
D、训练神经网络。将步骤3中通过包络体及网格化处理后,并且具有相同标签的样本,放入神经网络进行训练,神经网络的输入层神经元个数由网格化后的网格数量确定,输出神经元的个数为1个(如图1所示);使每个标签相同的三维物体样本对应一个神经网络,即步骤1中有多少个标签,就有多少个神经网络;
E、确定待检测三维物体及检测样本。确定复杂的待检测物体(由不止一个三维物体组成),并将其放入数字化环境中。在三维样本集中选择标签相同的三维物体从该待检测物体的包络体的坐标原点进行识别处理;
F、设置滑动步长;对于相同标签的三维物体的样本,将其每个样本中包络体及网格化后的网格,放入带检测三维物体的包络体中,并在带检测物体的包络体中进行滑动,每滑动一步的距离,为在该三维网格中所在x、y、z坐标轴上的网格尺寸(如图2所示);并且每滑动一步,都将该三维网格进行数值化处理(采用“基于三维网格与神经网络的零件相似性处理方法”中的数值化处理方法),将其放入到和该检测物体标签对应的神经网络中,进行相似性计算;
G、设置置信度阈值。在对所有样本进行相似度(亦称置信度)计算时时,根据设置的合适的阈值,来确定是否将该位置的三维网格位置进行记录并保留,只有达到设置的某个置信度阈值后的三维网格,才在待检测物体的包络体中进行记录和保留;
H、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置。
其中,“一种基于三维网格与神经网络解决三维物体旋转不变性的方法”具体包含以下步骤:
S1、创建样本集三维物体的标签;对样本集中的所有三维模型进行聚合处理;根据聚合后的内容,对样本集中的三维物体创建标签;
S2、创建某三维物体的样本集。利用聚合后的三维模型以及其标签,创建旋转不变需求所需要的样本数据;通过其在坐标轴(xyz轴)中分别进行旋转,为满足样本训练后 ,可以达到旋转不变性的目的,绕某个轴旋转的次数不少于n次(n≥3),旋转n次后,共得到n+1个样本(以旋转3次为例,分别得到三维物体在绕x轴旋转0°,90°,180°,270°的4个三维物体),在对每个坐标轴进行旋转后,都可以得到n+1个样本,而由于每个坐标轴旋转时都包含了初始样本,因此,可共计得到不少于n3+1(n=旋转次数;3:x、y、z三个坐标轴;1:初始样本)个训练样本;
S3、更新重构样本集中所有三维物体的标签;利用步骤2创建了旋转后的三维物体,并利用其扩展了样本集中的样本,由于扩展后的样本都是基于某个三维物体旋转而来,因此将先前样本集中的物体的标签,直接赋给通过旋转后得到三维物体,使所有三维物体都拥有标签。通过这种方法后,样本集中的标签种类没有增加,仅仅增加了样本集中的待训练样本;
S4、为样本集中所有的三维物体创建包络盒。依据“一种基于三维网格与神经网络的零件相似性处理方法”中描述的内容创建包络盒;
S5、对样本集中的物体进行三维网格的划分。依据“一种基于三维网格与神经网络的零件相似性处理方法”中描述的内容创建网格的划分;
S6、数值化处理及归一化;依据专利“一种三维网格与神经网络的零件相似性处理方法”中描述的内容进行数值化处理及归一化处理;
S7、放入神经网络中进行训练。依据步骤4中的网格数量构建神经网络的输入神经元个数,并且根据步骤1中的内容,确定神经网络中的输出神经元个数。将更新后的样本集中经过处理(网格化及标签化)的三维物体放入神经网络进行训练;
S8、利用训练后的神经网络识别三维物体。对待识别的三维物体创建包络空间化、三维网格化(其三维网格类型及网格数量与待训练样本的三维网格相同)、数值化、归一化处理后,将其放入神经网络,即可依据已训练得到的神经网络,较好的识别出该三维物体,而不易受到旋转后物体形态不同的影响;并最终确认该三维物体。
步骤S4、S5、S6中所述的“一种基于三维网格与神经网络的零件相似性处理方法”具体步骤如下:一、对待训练三维物体创建包络体;二、确定三维网格的网格类型及数量;四、对三维网格划分后的三维物体进行数值化处理;五、归一化三维网格后的数值;六、标签化当前三维物体;七、放入神经网络进行训练;八、利用训练后的神经网络识别三维物体。
实施例2:在实施例1的基础上,在三维网格在进行滑动的过程,势必会出现两个三维网格同时出现大于阈值,并且重叠的情况,因此通过IoU的方式对其进行处理。即分别计算两个网格的交集与并集,并计算两者的比值(即IoU)。
当该比值大于某个值,则选择置信度更大的网格,将另外一个网格抛弃;
当该比值小于某个值,则将两个重叠的网格都保留。
在对于样本集中所有物体在进行检测后,同样会出现两个三维网格同时大于阈值,并且重叠的情况,此时亦采用基于IoU的方式,以判断重叠三维网格间两个网格的保留与抛弃状态。
在完成上述操作后,即可在待检测物体中,通过三维网格来标记检测及识别到的三维物体及位置。(如图3所示)。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (4)
1.一种基于三维网格及神经网络的三维物体识别检测方法,其特征在于,包含以下步骤:A、获取三维物体样本集;
B、更新三维物体样本集;
C、对样本进行包络体、网格化处理,对更新后的样本集中的样本进行包络体及网格化的处理;
D、训练神经网络,将步骤C中通过包络体及网格化处理后,并且具有相同标签的样本,放入神经网络进行训练,神经网络的输入层神经元个数由网格化后的网格数量确定,输出神经元的个数为1个;使每个标签相同的三维物体样本对应一个神经网络,即步骤A中有多少个标签,就有多少个神经网络;
E、确定待检测三维物体及检测样本;
F、设置滑动步长,对于相同标签的三维物体的样本,将其每个样本中包络体及网格化后的网格,放入待检测三维物体的包络体中,并在待检测物体的包络体中进行滑动,每滑动一步的距离,为在该三维网格中所在x、y、z坐标轴上的网格尺寸;并且每滑动一步,都将该三维网格进行数值化处理,将其放入到和该检测物体标签对应的神经网络中,进行相似性计算;
G、设置置信度阈值;
H、确定待检测物体在三维数字空间中所包含的三维物体的类型及位置。
2.根据权利要求1所述的一种基于三维网格及神经网络的三维物体识别检测方法,其特征在于,所述步骤A具体是:对样本集中的所有三维模型进行聚合处理;根据聚合后的内容,对样本集中的三维物体创建标签。
3.根据权利要求2所述的一种基于三维网格及神经网络的三维物体识别检测方法,其特征在于,所述步骤B具体是:对先前样本集中的样本基于旋转不变性的目的,对样本进行扩展及更新。
4.根据权利要求1所述的一种基于三维网格及神经网络的三维物体识别检测方法,其特征在于,所述步骤E具体是:确定复杂的待检测物体,并将其放入数字化环境中,在三维样本集中选择标签相同的三维物体从该待检测物体的包络体的坐标原点进行识别处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811243485.1A CN109344798B (zh) | 2018-10-24 | 2018-10-24 | 一种基于三维网格及神经网络的三维物体识别检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811243485.1A CN109344798B (zh) | 2018-10-24 | 2018-10-24 | 一种基于三维网格及神经网络的三维物体识别检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344798A CN109344798A (zh) | 2019-02-15 |
CN109344798B true CN109344798B (zh) | 2022-08-12 |
Family
ID=65311973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811243485.1A Active CN109344798B (zh) | 2018-10-24 | 2018-10-24 | 一种基于三维网格及神经网络的三维物体识别检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344798B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8959005B2 (en) * | 2012-01-31 | 2015-02-17 | Autodesk, Inc. | Building envelope determination |
CN102375831B (zh) * | 2010-08-13 | 2014-09-10 | 富士通株式会社 | 三维模型检索装置及其方法和模型库生成装置及其方法 |
CN106886754B (zh) * | 2017-01-17 | 2019-07-09 | 华中科技大学 | 一种基于三角面片的三维场景下的物体识别方法及系统 |
CN107437068B (zh) * | 2017-07-13 | 2020-11-20 | 江苏大学 | 基于Gabor方向直方图和猪体毛发模式的猪个体识别方法 |
-
2018
- 2018-10-24 CN CN201811243485.1A patent/CN109344798B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109344798A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7128022B2 (ja) | 完全教師あり学習用のデータセットの形成 | |
CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN107273502B (zh) | 一种基于空间认知学习的图像地理标注方法 | |
CN110363449A (zh) | 一种风险识别方法、装置及系统 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
WO2019018063A1 (en) | FINAL GRAIN IMAGE RECOGNITION | |
CN110020620A (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
WO2019075130A1 (en) | IMAGE PROCESSING DEVICE AND METHOD | |
WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
CN111191582B (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
US20210166058A1 (en) | Image generation method and computing device | |
CN113076804B (zh) | 基于YOLOv4改进算法的目标检测方法、装置及系统 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN109543744B (zh) | 一种基于龙芯派的多类别深度学习图像识别方法及其应用 | |
CN111967464A (zh) | 一种基于深度学习的弱监督目标定位方法 | |
CN110188766A (zh) | 基于卷积神经网络的图像主目标检测方法及装置 | |
Cao et al. | Real-time gesture recognition based on feature recalibration network with multi-scale information | |
CN114519853A (zh) | 一种基于多模态融合的三维目标检测方法及系统 | |
CN114494283A (zh) | 一种农田自动分割方法及系统 | |
CN113408651B (zh) | 基于局部判别性增强的无监督三维物体分类方法 | |
JP2021533493A (ja) | 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体 | |
CN114219988A (zh) | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 | |
CN109344798B (zh) | 一种基于三维网格及神经网络的三维物体识别检测方法 | |
CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
CN113987170A (zh) | 基于卷积神经网络的多标签文本分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |