CN110727817A - 基于t-CNN的三维模型检索方法、终端设备及存储介质 - Google Patents

基于t-CNN的三维模型检索方法、终端设备及存储介质 Download PDF

Info

Publication number
CN110727817A
CN110727817A CN201910541692.3A CN201910541692A CN110727817A CN 110727817 A CN110727817 A CN 110727817A CN 201910541692 A CN201910541692 A CN 201910541692A CN 110727817 A CN110727817 A CN 110727817A
Authority
CN
China
Prior art keywords
model
dimensional
cnn
dimensional model
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910541692.3A
Other languages
English (en)
Other versions
CN110727817B (zh
Inventor
秦胜伟
刘万顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University Huaruan Software College
Original Assignee
Guangzhou University Huaruan Software College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University Huaruan Software College filed Critical Guangzhou University Huaruan Software College
Priority to CN201910541692.3A priority Critical patent/CN110727817B/zh
Publication of CN110727817A publication Critical patent/CN110727817A/zh
Application granted granted Critical
Publication of CN110727817B publication Critical patent/CN110727817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes

Abstract

本发明公开了一种基于t‑CNN的三维模型检索方法、终端设备及存储介质,所述方法包括:对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,从而完成t‑CNN网络模型的训练;将待检索的三维模型输入至三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像后输入至t‑CNN神经网络中,得到对应的模型类别和输出向量;根据对应的模型类别判断若干张二维图像是否为同一模型类别;计算平均欧式距离并判断是否小于模型类别阈值,最终确定待检测三维模型的类别。本发明通过构建保留模型整体和局部细节特征的训练数据集,提取出三维模型不同角度的二维图片,对阈值进行实时更新,实现能够快速精准检索三维模型的效果。

Description

基于t-CNN的三维模型检索方法、终端设备及存储介质
技术领域
本发明涉及计算机视觉和三维模型检索领域,尤其涉及一种基于t-CNN的三维模型检索方法、终端设备及存储介质。
背景技术
随着三维模型在各行各业的应用越来越广泛,无论是3D打印或者设计复用,甚至药品的三维结构研究都涉及到对三维模型进行分析处理。因此,如何对三维模型进行分析、匹配与检索成为计算机图形学与虚拟现实领域的一项重要研究课题。而将三维模型检索作为产业应用也经历着无数次的技术更新,但是无论技术如何完善,三维模型的检索算法至今无法完全适应市场所需的高精度的检索需求。
在对现有技术的研究与实践过程中,本发明的发明人发现,现有的三维模型检索技术存在以下缺陷:由于人工定义的特征具有主观性与局限性,导致结果具有很大的不确定性;同时三维模型的多种表达形式和转换方式导致数据量十分巨大,工作量过于庞大;利用深度学习技术在直接对3D模型训练过程中,需要处理复杂的调参任务,学习过程比图片学习过程更加消耗时间;而在经过预处理后的三维模型都将丢失模型的部分特征,导致检索结果的不确定。因此,需要一种解决方案,能够更加快速精准地检索三维模型,提高查全率和查准率。
发明内容
本发明要解决的技术问题在于,提出一种基于t-CNN的三维模型检索方法、终端设备及存储介质,能够更加快速精准地检索三维模型。
为解决上述问题,本发明的一个实施例提供的一种基于t-CNN的三维模型检索方法,至少包括如下步骤:
对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,完成训练t-CNN网络模型的任务;
将待检索的三维模型输入至所述三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像;
将所述若干张二维图像输入至t-CNN神经网络中,得到对应的模型类别以及输出向量;
根据所述对应的模型类别,判断所述若干张二维图像是否为同一模型类别;
若判断为同一模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的平均欧式距离,并判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定所述待检索的三维模型为同一类别模型;若否,则判定不相似;
若判断为多个模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的欧式距离,计算多个模型类别的平均欧式距离,分别判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定为同一类别模型;若否,则从该类别排除;若所述图片全部判定为对应类别,则根据最小欧式距离确定最终类别。
进一步地,所述基于t-CNN的三维模型检索方法,还包括:
采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值;
根据反向传播网络更新已通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值。
进一步地,所述采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值,具体为:
在某一模型类别的训练集I中随机选取v个视角图片
Figure BDA0002101371010000021
其中, i=1…v,αz表示方位角,βe表示高度角;
将所述v个角度图片放入已训练的t-CNN网络中,得到一个输出向量 pi,=1…v,将其作为此模型类别v个视角下的基准向量pi
将训练集I中所有图片,去除上述v张图片后输入已训练t-CNN网络中,得到输出向量p′m;计算输出向量p′m与基准向量pi之间的欧式距离Wm,i
分别计算欧式距离Wm,i中每一行的最小值,记为Qm,Qm值在|I|-v下的平均值用来作为检索相似模型判别结果的阈值Q;
重复上述步骤,得到多个训练类别的基准向量和相应初始阈值。
进一步地,所述根据反向传播网络更新通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值,具体为:
从训练数据集I中抽出l张同一模型的二维图片,随机从模型库中抽取非训练过的模型n个,进行着色处理,选择任意视角下的v张图片组成新的模型图片数据集K,并对图片进行标签标定,训练过的模型图片标为0,非训练过的模型图片标为1;
每次从新的数据集K中取一张未测试过的模型图片输入到t-CNN神经网络中,输出向量集合p′与基准向量pi,计算得到欧式距离Wi,从而求得Wi的平均值,记为W′;
若W′≤初始阈值Q,判定这个图片的模型为训练过的模型,判定结果为0。但若图片标签为1,则属于分类错误,根据阈值更新公式调整阈值使其变小,若图片标签为0,则分类正确,阈值不变;
若W′>初始阈值Q,判定结果为1。如若图片标签为0,则根据阈值计算公式调整阈值使其变大,否则初始阈值Q不变;
重复上述步骤,直至所述训练数据集中每张模型图片都经过测试流程,最终调整过的阈值即为这一类别模型最终的阈值,根据上述流程并得到所有类别下的阈值。
进一步地,所述对待训练的三维模型进行预处理,具体为:
利用HKS热核特征对所述待训练的三维模型进行着色,得到初始着色模型;
根据第一公式对所述初始着色模型进行调色处理,保留模型颜色特征,去除HKS热核特征的部分人工影响,所述第一公式为:
Figure BDA0002101371010000031
其中,Ai为当前颜色分组为i下的点的个数总和,Ctotal为三维模型的点个数总和,RGBi为当前颜色分组为i时的RGB值,i=1…n,n为未调色前颜色总数。
进一步地,所述采用视点轨迹球算法构建三维模型的训练数据集,具体为:
计算调色后的三维模型包围盒大小,长宽高分别记为a,b,h,将包围盒长宽高 在x轴上的最大值记为bxmax,在y轴上的最大值记为bymax,构建视点轨迹球,保 证轨迹球直径为包围盒对角线长+ε,即
Figure RE-GDA0002318838640000032
ε>0;
将视点置于轨迹球任意位置(az,al),视点即从当前位置(az,al)查看中心三维模型Gi(G*为模型集),其中az∈(-360°,360°),al∈(-360°,360°),(0°,0°)为视点起始位置,az为方位角,顺时针旋转为正值,逆时针旋转为负值;al为高度角,顺时针旋转为正值,反之为负值;
根据视点角度位置(az,al)计算视点在三维空间坐标位置(x',y',z'),通过空间变化,将三维物体坐标系转换为以视点为原点的三维坐标系,通过透视投影将新三维空间坐标下的三维模型点数据映射为二维平面上的图像(xj,yj,zj),j=1…|az|×|al|;
设置视点角度变化步长ξ,保存二维图像,更新视点(az,al)的取值范围
Figure BDA0002101371010000034
重复上述步骤,直至获取三维模型的所有视角图片。
本发明的另一个实施例提供的一种基于t-CNN的三维模型检索的终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于t-CNN的三维模型检索方法。
本发明的另一个实施例提供的一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于t-CNN的三维模型检索方法。
实施本发明实施例,具有如下有益效果:
本发明实施例提供的一种基于t-CNN的三维模型检索方法、终端设备及存储介质,所述方法包括:对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,从而完成t-CNN网络模型的训练;将待检索的三维模型输入至三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像后输入至t-CNN神经网络中,得到对应的模型类别以及输出向量;根据所述对应的模型类别,判断若干张二维图像是否为同一模型类别;计算平均欧式距离并判断是否小于模型类别阈值,最终确定待检测三维模型的类别。本发明通过构建保留模型整体和局部细节特征的训练数据集,提取出三维模型不同角度的二维图片,同时对阈值进行实时更新,实现能够更加快速精准检索三维模型的效果。
附图说明
图1是本发明的一个实施例提供的一种基于t-CNN的三维模型检索方法的流程示意图;
图2是本发明的一个实施例提供的另一种基于t-CNN的三维模型检索方法的流程示意图;
图3是本发明的一个实施例提供的阈值更新的流程示意图;
图4是本发明的一个实施例提供的着色的三维模型示意图;
图5是本发明的一个实施例提供的视点轨迹球的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-5。
如图1所示,本实施例提供的一种基于t-CNN的三维模型检索方法,至少包括如下步骤:
S101、对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,完成训练t-CNN网络模型的任务;
S102、将待检索的三维模型输入至所述三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像;
S103、将所述若干张二维图像输入至t-CNN神经网络中,得到对应的模型类别以及输出向量;
S104、根据所述对应的模型类别,判断所述若干张二维图像是否为同一模型类别;
S105、若判断为同一模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的平均欧式距离,并判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定所述待检索的三维模型为同一类别模型;若否,则判定不相似;
S106、若判断为多个模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的欧式距离,计算多个模型类别的平均欧式距离,分别判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定为同一类别模型;若否,则从该类别排除;若所述图片全部判定为对应类别,则根据最小欧式距离确定最终类别。
在具体的实施例中,如图2所示,本发明的一个实施例还提供了一种基于 t-CNN的三维模型检索方法的实现流程:随机输入一个模型,模型经过调色后,获取任意视角(az,al)下的l(l≥1)张二维图像;将l(l≥1)张二维图像,输入到t-CNN 中得到对应类别以及输出向量pl(l≥1);判断l张图片输出的对应类别,如果l张图片全部被判断为同一类别,计算l张图片的输出向量pl与对应类别基准向量pi (i=1…v)的欧式距离wl,i,因每张图片有v个欧式距离,为方便比较,计算每张图片 v个欧式距离的平均值
Figure BDA0002101371010000051
然后计算l张图片
Figure BDA0002101371010000052
的平均值W。将l张图片的平均值W与对应类别阈值Q进行比较,如果W<Q则判定为同一类别模型,否则认为不相似;如果l张图片被判定为多类别,假设l张图片部分被初步判别为m(m≥2)个模型类别,分别计算l个图片的输出向量pl与被判别的对应的基准矢量 pj,k(j=1..,m,k=1…v)之间的欧几里德距离wj,l,k。分别计算m个类别中的平均欧式距离wj,并将其与相应类别j的阈值Qj进行比较。如果wj<Qj,则确定与训练模型的第j个模型相似。如果值wj小于不同类别的阈值Qj,则将根据最小欧几里德距离wj确定最终类别。
在优选的实施例中,所述基于t-CNN的三维模型检索方法,还包括:
采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值;
根据反向传播网络更新已通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值。
具体的,本实施例通过t-CNN算法对基于视点轨迹球算法构建的训练数据集进行训练和验证,利用反向传播网路对阈值进行更新,避免出现分类错误的情况,提高检索分类的准确性。
在优选的实施例中,所述采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值,具体为:
在某一模型类别的训练集I中随机选取v个视角图片
Figure BDA0002101371010000061
,其中, i=1…vαz表示方位角,βe表示高度角;
将所述v个角度图片放入已训练的t-CNN网络中,得到一个输出向量 pi,i=1…v,将其作为此模型类别v个视角下的基准向量pi
将训练集I中所有图片,去除上述v张图片后输入已训练t-CNN网络中,得到输出向量p′m;计算输出向量p′m与基准向量pi之间的欧式距离Wm,i
分别计算欧式距离Wm,i中每一行的最小值,记为Qm,Qm值在|I|-v下的平均值用来作为检索相似模型判别结果的阈值Q;
重复上述步骤,得到多个训练类别的基准向量和相应初始阈值。
具体的,本实施例提出了带阈值的CNN检索算法,结合孪生神经网络的思想,重新优化了模型检索的流程,不再仅仅通过传统CNN网络直接判别模型作为最终结果,通过阈值实现模型的最终判定,而阈值也是通过CNN网络计算而得,以下步骤将用于计算基准向量和阈值:
①在某一模型类别的训练集I中随机选取v个视角图片
Figure BDA0002101371010000062
Figure BDA0002101371010000063
表示方位角,βe表示高度角。选取的v个视角图片i,j需满足以下条件:
Figure BDA0002101371010000064
Figure BDA0002101371010000065
确定时
Figure BDA0002101371010000066
最大,其中
Figure BDA0002101371010000067
②将这v个角度图片放入已训练CNN网络中,得到一个输出向量 pi,i=1…v,将其作为此模型类别v个视角下的基准向量pi
③将训练集I中所有图片,去除上述v张图片,输入已训练CNN网络中,得到输出向量p′m,m=1…|I|-v。计算输出向量p′m与基准向量pi之间的欧式距离 Wm,i
④分别计算欧式距离Wm,i中每一行的最小值,记为Qm,Qm值在|I|-v下的平均值用来作为检索相似模型判别结果的阈值Q。
Figure BDA0002101371010000071
通过上述步骤,可以得到当前模型数据集下对应的v个标准向量pi以及阈值 Q,重复上述步骤可以得到多个训练类别的基准向量和相应初始阈值。但是上述阈值Q只是通过训练集模型图片计算而来的,而对于多模型检索,阈值Q仍会出现分类错误,因此上述计算得到的阈值基础上,利用反向传播思想对阈值进行更新,使其更具鲁棒性,提高三维模型检索的准确性。
在优选的实施例中,所述根据反向传播网络更新通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值,具体为:
从训练数据集I中抽出l张同一模型的二维图片,随机从模型库中抽取非训练过的模型n个,进行着色处理,选择任意视角下的v张图片组成新的模型图片数据集K,并对图片进行标签标定,训练过的模型图片标为0,非训练过的模型图片标为1;
每次从新的数据集K中取一张未测试过的模型图片输入到t-CNN神经网络中,输出向量集合p′与基准向量i,计算得到欧式距离Wi,从而求得Wi的平均值,记为W′;
若W′≤初始阈值Q,判定这个图片的模型为训练过的模型,判定结果为0。但若图片标签为1,则属于分类错误,根据阈值更新公式调整阈值使其变小,若图片标签为0,则分类正确,阈值不变;
若W′>初始阈值Q,判定结果为1。如若图片标签为0,则根据阈值计算公式调整阈值使其变大,否则初始阈值Q不变;
重复上述步骤,直至所述训练数据集中每张模型图片都经过测试流程,最终调整过的阈值即为这一类别模型最终的阈值,根据上述流程并得到所有类别下的阈值。
具体的,如图3所示,通过t-CNN的训练集求得的阈值是初始阈值,为得到更加鲁棒的阈值,提高模型检索的准确性,本实施例结合反向传播网络思想,设计了反向传播网络来更新阈值,通过该网络来调整阈值的大小,保证了阈值计算的可靠性。该网络进行阈值更新步骤如下:
①从训练数据集I中抽出l张同一模型的二维图片,随机从模型库中抽取非训练过的模型n个,进行着色处理,选择任意视角下的v张图片组成新的模型图片数据集K(|K|=+n*v),并对图片进行标签标定,训练过的模型图片标为 0,非训练过的模型图片标为1;
②每次从新的数据集K中取一张未测试过的模型图片经过图3所示流程,输入到t-CNN神经网络中,输出向量集合p′,与基准向量i,=1…v,求得欧式距离Wi,计算Wi的平均值,记为W′。若W′≤Q(初始阈值),根据图片判定这个图片的模型为训练的某一模型,判定结果为0,如若图片标签为1,则分类错误,此时调整阈值使其变小,计算公式为Q=Q-Q*rate(rate为学习率,本文设定为0.0005);若图片标签为0,分类正确,阈值不变。若W′>Q,判定结果为1,如若图片标签为0,则调整阈值使其变大,计算公式为Q=Q+Q*rate;其他情况阈值Q不做改变,重复整个步骤②直到数据集中|K|张模型图片都经过测试流程,最后调整过的Q即为这一类别模型最终的阈值,对每一训练类别的模型重复上述过程,即可得到所有类别下的阈值,阈值更新后随机输入测试模型。
在优选的实施例中,所述对待训练的三维模型进行预处理,具体为:
利用HKS热核特征对所述待训练的三维模型进行着色,得到初始着色模型;
根据第一公式对所述初始着色模型进行调色处理,保留模型颜色特征,去除 HKS热核特征的部分人工影响,所述第一公式为:
Figure BDA0002101371010000081
其中,Ai为当前颜色分组为i下的点的个数总和,Ctotal为三维模型的点个数总和,RGBi为当前颜色分组为i时的RGB值,i=1…n,n为未调色前颜色总数。
具体的,首先利用HKS热核特征对三维模型进行着色,如图4(a-b)所示。因为任何初始彩色模型的中心颜色都为红色(热量扩散的起始位置),具有相似颜色分布的模型将被认为是相似的。为减少色块对深度学习特征提取的影响,根据下列公式对初始着色模型进行调色处理,调色后的模型如图4(c-d)所示,即使钳子模型变形,颜色特征也将保持不变。根据下列公式对所述初始着色模型进行调色处理,保留模型颜色特征,
Figure BDA0002101371010000082
其中,Ai为当前颜色分组为i下的点的个数总和,Ctotal为三维模型的点个数总和,RGBi为当前颜色分组为i时的RGB值,i=1…n,n为未调色前颜色总数。
在优选的实施例中,所述采用视点轨迹球算法构建三维模型的训练数据集,具体为:
计算调色后的三维模型包围盒大小,长宽高分别记为a,b,h,将包围盒长宽高 在x轴上的最大值记为bxmax,在y轴上的最大值记为bymax,构建视点轨迹球,保 证轨迹球直径为包围盒对角线长+ε,即ε>0;
将视点置于轨迹球任意位置(az,al),视点即从当前位置(az,al)查看中心三维模型Gi(
Figure BDA0002101371010000091
G*为模型集),其中az∈(-360°,360°),al∈(-360°,360°),(0°,0°)为视点起始位置,az为方位角,顺时针旋转为正值,逆时针旋转为负值;al为高度角,顺时针旋转为正值,反之为负值。
根据视点角度位置(az,al)计算视点在三维空间坐标位置(x',y',z'),通过空间变化,将三维物体坐标系转换为以视点为原点的三维坐标系,通过透视投影将新三维空间坐标下的三维模型点数据映射为二维平面上的图像(xj,yj,zj),j=1…|az|×|al|。
设置视点角度变化步长ξ,保存二维图像,更新视点(az,al)的取值范围
Figure BDA0002101371010000095
重复上述步骤,直至获取三维模型的所有视角图片。
具体的,如图5所示,将三维模型置于不同视点下,基于视点轨迹球算法构建三维模型的训练数据集,具体步骤如下:①计算调色后的三维模型AABB包围盒大小,长宽高分别记为a,b,h。将包围盒长宽高在x轴上的最大值记为bxmax,在 y轴上的最大值记为bymax。构建视点轨迹球,保证轨迹球直径为包围盒对角线长 +ε,即
Figure RE-GDA0002318838640000093
这样保证了不同视角下获取的三维模型基本充满了图片,且不超出图片范围。
②将视点至于轨迹球任意位置(az,al),视点即从当前位置(az,al)查看中心三维模型Gi(
Figure 945980DEST_PATH_FDA0002101369000000032
G*为模型集),其中az∈(-360°,360°),al∈(-360°,360°),(0°,0°)为视点起始位置,如图2所示,az为方位角,顺时针旋转为正值,逆时针旋转为负值;al为高度角,顺时针旋转为正值,反之为负值。
③根据视点角度位置(az,al)计算视点在三维空间坐标位置(x',y',z'),通过空间变化,将三维物体坐标系转换为以视点为原点的三维坐标系。通过透视投影(公式如下)将新三维空间坐标下的三维模型点数据映射为二维平面上的图像 (xj,yj,zj),j=1…|az|×|al|。
Figure BDA0002101371010000093
其中n为近裁剪平面到视点(x',y',z')的距离。
④设置视点角度变化步长ξ,ξ越小,视点(az,al)变化越小,保存的二维图像变化程度越小,数据集越大;反之,保存的二维图像变化程度突变较大,有效特征丢失较多。视点角度变化参数ξ计算公式如下:
Figure BDA0002101371010000101
在轨迹球中,可以看到视点在(0,0),(360,360)等视点看到的图像是一样的,因此更新视点(az,al)的取值范围:
Figure BDA0002101371010000102
重复上述步骤②-③,直到所有视角图片获取完毕。
本发明的另一个实施例还提供了一种基于t-CNN的三维模型检索的终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于t-CNN的三维模型检索方法。
本发明的另一个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于t-CNN的三维模型检索方法。
本实施例提供的一种基于t-CNN的三维模型检索方法、终端设备及存储介质,所述方法包括:对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,从而完成t-CNN网络模型的训练;将待检索的三维模型输入至三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像后输入至t-CNN神经网络中,得到对应的模型类别以及输出向量;根据所述对应的模型类别,判断若干张二维图像是否为同一模型类别;计算平均欧式距离并判断是否小于模型类别阈值,最终确定待检测三维模型的类别。本发明通过构建保留模型整体和局部细节特征的训练数据集,提取出三维模型不同角度的二维图片,同时对阈值进行更新,实现能够更加快速精准检索三维模型的效果。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变形,这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM) 或随机存储记忆体(Random AccessMemory,RAM)等。

Claims (8)

1.一种基于t-CNN的三维模型检索方法,其特征在于,至少包括如下步骤:
对待训练的三维模型进行预处理后,采用视点轨迹球算法构建三维模型的训练数据集,完成训练t-CNN网络模型的任务;
将待检索的三维模型输入至所述三维模型的测试数据集中并进行模型调色处理,得到任意视角下的若干张二维图像;
将所述若干张二维图像输入至t-CNN神经网络中,得到对应的模型类别以及输出向量;
根据所述对应的模型类别,判断所述若干张二维图像是否为同一模型类别;
若判断为同一模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的平均欧式距离,并判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定所述待检索的三维模型为同一类别模型;若否,则判定不相似:
若判断为多个模型类别,则分别计算所述若干张二维图像的输出向量与对应类别基准向量的欧式距离,计算多个模型类别的平均欧式距离,分别判断所述平均欧式距离是否小于对应模型类别阈值,若是,则判定为同一类别模型;若否,则从该类别排除;若所述图片全部判定为对应类别,则根据最小欧式距离确定最终类别。
2.根据权利要求1所述的基于t-CNN的三维模型检索方法,其特征在于,还包括:
采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值;
根据反向传播网络更新已通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值。
3.根据权利要求2所述的基于t-CNN的三维模型检索方法,其特征在于,所述采用t-CNN算法对所述三维模型的训练数据集进行训练和验证,计算基准向量和初始阈值,具体为:
在某一模型类别的训练集I中随机选取v个视角图片
Figure FDA0002101369000000011
其中,i=1...v,αz表示方位角,βe表示高度角;
将所述v个角度图片放入已训练的t-CNN网络中,得到一个输出向量pi,i=1...v,将其作为此模型类别v个视角下的基准向量pi
将训练集I中所有图片,去除上述v张图片后输入已训练t-CNN网络中,得到输出向量p′m;计算输出向量p′m与基准向量pi之间的欧式距离Wm,i
分别计算欧式距离Wm,i中每一行的最小值,记为Qm,Qm值在|I|-v下的平均值用来作为检索相似模型判别结果的阈值Q;
重复上述步骤,得到多个训练类别的基准向量和相应初始阈值。
4.根据权利要求2所述的基于t-CNN的三维模型检索方法,其特征在于,所述根据反向传播网络更新通过t-CNN算法验证的三维模型的训练数据集中所有类别的初始阈值,具体为:
从训练数据集I中抽出l张同一模型的二维图片,随机从模型库中抽取非训练过的模型n个,进行着色处理,选择任意视角下的v张图片组成新的模型图片数据集K,并对图片进行标签标定,训练过的模型图片标为0,非训练过的模型图片标为1;
每次从新的数据集K中取一张未测试过的模型图片输入到t-CNN神经网络中,输出向量集合p′与基准向量pi,计算得到欧式距离Wi,从而求得Wi的平均值,记为W′;
若W′≤初始阈值Q,判定这个图片的模型为训练过的模型,判定结果为0;但若图片标签为1,则属于分类错误,根据阈值更新公式调整阈值使其变小,若图片标签为0,则分类正确,阈值不变;
若W′>初始阈值Q,判定结果为1;如若图片标签为0,则根据阈值计算公式调整阈值使其变大,否则初始阈值Q不变;
重复上述步骤,直至所述训练数据集中每张模型图片都经过测试流程,最终调整过的阈值即为这一类别模型最终的阈值,根据上述流程并得到所有类别下的阈值。
5.根据权利要求1所述的基于t-CNN的三维模型检索方法,其特征在于,所述对待训练的三维模型进行预处理,具体为:
利用HKS热核特征对所述待训练的三维模型进行着色,得到初始着色模型;
根据第一公式对所述初始着色模型进行调色处理,保留模型颜色特征,去除HKS热核特征的部分人工影响,所述第一公式为:
Figure FDA0002101369000000021
其中,Ai为当前颜色分组为i下的点的个数总和,Ctotal为三维模型的点个数总和,RGBi为当前颜色分组为i时的RGB值,i=1...n,n为未调色前颜色总数。
6.根据权利要求1所述的基于t-CNN的三维模型检索方法,其特征在于,所述采用视点轨迹球算法构建三维模型的训练数据集,具体为:
计算调色后的三维模型包围盒大小,长宽高分别记为a,b,h,将包围盒长宽高在x轴上的最大值记为bxmax,在y轴上的最大值记为bymax,构建视点轨迹球,保证轨迹球直径为包围盒对角线长+ε,即
将视点置于轨迹球任意位置(az,al),视点即从当前位置(az,al)查看中心三维模型Gi(
Figure RE-FDA0002318838630000033
G*为模型集),其中az∈(-360°,360°),al∈(-360°,360°),(0°,0°)为视点起始位置,az为方位角,顺时针旋转为正值,逆时针旋转为负值;al为高度角,顺时针旋转为正值,反之为负值;
根据视点角度位置(az,al)计算视点在三维空间坐标位置(x′,y′,z′),通过空间变化,将三维物体坐标系转换为以视点为原点的三维坐标系,通过透视投影将新三维空间坐标下的三维模型点数据映射为二维平面上的图像(xj,yj,zj),j=1...|az|×|al|;
设置视点角度变化步长ξ,保存二维图像,更新视点(az,al)的取值范围
Figure RE-FDA0002318838630000032
重复上述步骤,直至获取三维模型的所有视角图片。
7.一种基于t-CNN的三维模型检索的终端设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-8所述的基于t-CNN的三维模型检索方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-8所述的基于t-CNN的三维模型检索方法。
CN201910541692.3A 2019-06-20 2019-06-20 基于t-CNN的三维模型检索方法、终端设备及存储介质 Active CN110727817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541692.3A CN110727817B (zh) 2019-06-20 2019-06-20 基于t-CNN的三维模型检索方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541692.3A CN110727817B (zh) 2019-06-20 2019-06-20 基于t-CNN的三维模型检索方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110727817A true CN110727817A (zh) 2020-01-24
CN110727817B CN110727817B (zh) 2023-05-12

Family

ID=69217069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541692.3A Active CN110727817B (zh) 2019-06-20 2019-06-20 基于t-CNN的三维模型检索方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN110727817B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150612A (zh) * 2020-09-23 2020-12-29 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN112818451A (zh) * 2021-02-02 2021-05-18 盈嘉互联(北京)科技有限公司 一种基于vgg的bim模型最佳视觉角度构建方法
CN113191400A (zh) * 2021-04-14 2021-07-30 中国海洋大学 基于二维图像检索对应三维模型的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009222A (zh) * 2017-11-23 2018-05-08 浙江工业大学 基于较优视图和深度卷积神经网络的三维模型检索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009222A (zh) * 2017-11-23 2018-05-08 浙江工业大学 基于较优视图和深度卷积神经网络的三维模型检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150612A (zh) * 2020-09-23 2020-12-29 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN112818451A (zh) * 2021-02-02 2021-05-18 盈嘉互联(北京)科技有限公司 一种基于vgg的bim模型最佳视觉角度构建方法
CN113191400A (zh) * 2021-04-14 2021-07-30 中国海洋大学 基于二维图像检索对应三维模型的方法及装置

Also Published As

Publication number Publication date
CN110727817B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN109816725B (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN108764048B (zh) 人脸关键点检测方法及装置
CN106023298B (zh) 基于局部泊松曲面重建的点云刚性配准方法
CN101159015B (zh) 一种二维人脸图像的识别方法
CN110909693B (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
CN106909877A (zh) 一种基于点线综合特征的视觉同时建图与定位方法
JP2016161569A (ja) オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム
CN110727817A (zh) 基于t-CNN的三维模型检索方法、终端设备及存储介质
CN103745498B (zh) 一种基于图像的快速定位方法
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN108108764A (zh) 一种基于随机森林的视觉slam回环检测方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN113012122B (zh) 一种类别级6d位姿与尺寸估计方法及装置
CN113095333B (zh) 无监督特征点检测方法及装置
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN114926511A (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN116402976A (zh) 三维目标检测模型训练方法及装置
Kang et al. Yolo-6d+: single shot 6d pose estimation using privileged silhouette information
Zou et al. An improved method for model-based training, detection and pose estimation of texture-less 3D objects in occlusion scenes
WO2022147774A1 (zh) 基于三角剖分和概率加权ransac算法的物体位姿识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant