CN105809734B - 一种基于多视角交互式的机械模型三维建模方法 - Google Patents
一种基于多视角交互式的机械模型三维建模方法 Download PDFInfo
- Publication number
- CN105809734B CN105809734B CN201610135907.8A CN201610135907A CN105809734B CN 105809734 B CN105809734 B CN 105809734B CN 201610135907 A CN201610135907 A CN 201610135907A CN 105809734 B CN105809734 B CN 105809734B
- Authority
- CN
- China
- Prior art keywords
- model
- machine components
- thick
- movement
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims description 104
- 238000002922 simulated annealing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000003466 welding Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract 1
- 230000003993 interaction Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 7
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 244000258044 Solanum gilo Species 0.000 description 1
- 235000018650 Solanum gilo Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多视角交互式的机械模型三维建模方法,该方法可以对输入图像中的机械模型进行逐个零件的三维结构重建，仅需要少量简单的用户输入操作即可实现多种复杂的机械零件的重建功能。该方法主要分为如三个步骤：1)交互地在照片中画出机械零件模型的二维轮廓，进而得到初步三维模型；2)根据机械零件几何信息优化初步模型；3)根据视频优化机械模型。本发明首次提出了基于点云信息，在二维图像中交互式的构建出三维机械模型的方法，实现了一系列的机械零件的建模功能，并且使用了多种用二维图像信息对三维模型的优化方法，效果优于现有方法，且具有交互简便、计算效率高等优点。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于多视角交互式的机械模型三维建模方法。
背景技术
本发明相关的研究背景简述如下：
一、多视角三维建模
多视角三维建模是从拍摄的多张照片中获取完整的三维模型。多视角建模理论基础由(HARTLEY,R.I.,AND ZISSERMAN,A.2004.Multiple View Geometry in ComputerVision,second ed.Cambridge UniversityPress,ISBN:0521540518)严格阐述过。总体来说多视角三维建模分为三个步骤：1、标定照相机的内参和外参(ZHANG,Z.2000.A flexiblenew technique for camera calibration.IEEE TPAMI 22,11,1330–1334)。2、生成多张图片中视角的对应关系(VALGAERTS,L.,BRUHN,A.,MAINBERGER,M.,AND WEICKERT,J.2012.Dense versus sparse approaches for estimating thefundamentalmatrix.International Journal of Computer Vision96,2,212–234)。3、通过立体视觉计算三维坐标点。多视角三维建模技术被扩展到大规模图片的建模方法，例如罗马城市的建模(AGARWAL,S.,FURUKAWA,Y.,SNAVELY,N.,SIMON,I.,CURLESS,B.,SEITZ,S.M.,ANDSZELISKI,R.2011.BuildingRome in aday.Commun.ACM 54,10(Oct.),105–112)。
二、基于草图的三维建模
基于草图的三维建模被广泛应用在：建模建筑(CHEN,X.,KANG,S.B.,XU,Y.-Q.,DORSEY,J.,AND SHUM,H.-Y.2008.Sketching reality:Realistic interpretation ofarchitectural designs.ACM Trans.Graph.27,2(May),11:1–11:15.)、几何结构建模(OWADA,S.,NIELSEN,F.,NAKAZAWA,K.,AND IGARASHI,T.2007.A sketching interfacefor modeling the internal structuresof 3d shapes.In ACM SIGGRAPH 2007Courses,SIGGRAPH’07)和三维结构的提取(EITZ,M.,RICHTER,R.,BOUBEKEUR,T.,HILDEBRAND,K.,AND ALEXA,M.2012.Sketch-based shape retrieval.ACMTrans.Graph.31,4(July),31:1–31:10)。
基于草图建模技术的关键在于将在二维屏幕上绘制的线条转换成三维的曲线。
(IGARASHI,T.,MATSUOKA,S.,AND TANAKA,H.1999.Teddy:A sketchinginterface for 3d freeform design.In Proc.of SIGGRAPH’99,409–416.)使用的方法是，将用户绘制的二维草图轮廓反投影后得到的三维模型。在(NEALEN,A.,IGARASHI,T.,SORKINE,O.,AND ALEXA,M.2007.Fibermesh:Designing freeform surfaces with 3dcurves.ACM Trans.Graph.26,3(July))中，初始绘制的自由曲线可以被用户编辑为最终三维物体的轮廓。
三、多组建的三维建模
多组建的三维建模关键是建模后能很好的保持组件间的约束关系。在建模过程中，多个组件间存在的运动关系，平行垂直等位置关系，和单个组件的几何形状都需要高质量的保证(OWADA,S.,NIELSEN,F.,OKABE,M.,AND IGARASHI,T.2004.Volumetricillustration:Designing 3d models with internal textures.ACM Trans.Graph.23,3(Aug.),322–328)。这些组件间的约束关系在多组建建模中被研究，包括层次分析(WANG,Y.,XU,K.,LI,J.,ZHANG,H.,SHAMIR,A.,LIU,L.,CHENG,Z.,AND XIONG,Y.2011.Symmetryhierarchy of man-made objects.Computer Graphics Forum 30,2,287–296)，基于模型的分析(XU,K.,ZHENG,H.,ZHANG,H.,COHEN-OR,D.,LIU,L.,ANDXIONG,Y.2011.Photo-inspired model-driven 3dobject modeling.ACM Trans.Graph.30,4(July))。
发明内容
本发明的目的在于针对现有技术的不足，提出一种新的通过多张机械模型的照片对该机械模型建模的方法。该方法可以对输入图像中的机械模型进行逐个零件的三维结构重建，仅需要少量简单的用户输入操作即可实现多种复杂的机械零件的重建功能。
本发明的目的是通过以下技术方案来说实现的：一种基于多视角交互式的机械模型三维建模方法，包括如下步骤：
(1)对静态机械模型进行多视角拍照，获得多张照片，结合照相机的标定信息，使用SFM方法得到机械模型的粗糙点云信息，并将这些点云对应到多视角照片中的像素点上；
(2)选择一张照片，用户用连续三笔在照片上勾画出每个机械零件的二维外轮廓，三笔由三条线{S1,S2,S3}和四个顶点{e1,e2,e3,e4}组成；
(3)结合步骤(1)每张照片中的像素点和粗糙点云的对应信息、照相机的标定信息和机械零件自身的形状约束，通过投影计算得到步骤(2)中用户三笔勾画的机械零件的三维信息，从而得到初步建模模型；
(4)探测步骤(3)得到的初步建模模型中机械零件间的几何关系，对初步建模模型的每个机械零件的坐标位置和几何形状进行优化，得到粗建模模型；
(5)对步骤(4)得到的粗建模模型进行基于视频图像的优化，得到机械模型的三维模型；包括以下步骤：
(5.1)驱动机械模型运动，同时对动态机械模型进行单视角视频拍摄；
(5.2)计算粗建模模型运动驱动零件的运动参数；
(5.3)设计粗建模模型和视频图像中真实机械模型匹配的评估方法；
(5.4)探测粗建模模型中机械零件运动连接关系；
(5.5)基于模拟退火算法和步骤(5.3)设计的评估方法对粗建模模型的坐标位置和几何形状进行进一步优化。
进一步地，所述步骤(2)具体包括以下子步骤：
(2.1)用户选择绘制机械零件的基本形状，总体分为两类:底面为基本几何形状，由多条有规则的线段组成；底面为非基本几何形状，由不规则的曲面构成。
(2.2用户在照片上用前两笔绘制出机械零件的底面，前两笔包括两条线{S1,S2}和三个点{e1,e2,e3})；底面分为两种：1)基本几何形状底面，则第一笔S1表示底面任意一个方向的边长，e1和e2分别代表边长的起点和终点，第二笔S2表示和第一笔正交的方向的边长，根据两个正交方向的边长生成底面轮廓；2)非基本几何形状底面(即底面由多条曲线组成)，前两笔{S1,S2}在图像上画出两条正交的线段，线段的终点落在曲线上，然后在图片上沿着曲线点出若干点，这些点根据曲线规则生成B-样条曲线，即底面外轮廓；
(2.3)第三笔S3在照片中绘制出机械零件的高，即e3和e4分别落在机械零件的两个底面上，并且S3与底面正交。
进一步地，所述步骤(4)具体包括以下子步骤：
(4.1)根据步骤(3)得到的初步建模模型，参数化机械模型的每个机械零件：将底面为矩形的机械零件用6个参数值代表，6个参数分别为该零件外包围盒6个面的中心点坐标；将底面为不规则形状(即非矩形)机械零件用2个参数值代表，2个参数分别为该零件上底面和下底面的中心坐标。
(4.2)根据每个机械零件参数化的结果，探测每两个零件的几何位置关系，建立每两个零件几何位置关系表格，几何位置关系包括粘合、平行、垂直、共面和同轴；
(4.3)优化每个机械零件的参数值，使得在满足每两个零件几何位置关系的条件下，每个机械零件参数值改变最小。
进一步地，所述步骤(5.2)具体包括以下子步骤：
(5.2.1)用户手动在粗建模模型上选择运动驱动零件，根据照相机的标定参数中的投影参数，将用户指定的运动驱动零件投影到二维图片上，得到该运动驱动零件对应的剪影区域，该剪影区域设定为特征点匹配的关注区域；
(5.2.2)使用单应矩阵，对连续两帧照片中的关注区域进行变换，将之前的关注区域变换成正交视角下的关注区域；
(5.2.3)在变换后的关注区域中匹配连续两帧照片中的特征点对，每组特征点对中的两个特征点位置坐标的连线形成的运动向量表达了该运动驱动零件的运动情况；
(5.2.4)通过运动向量计算得到该运动驱动零件的运动参数。如运动驱动零件若为旋转运动，通过运动向量和运动驱动零件模型中心，计算得到旋转角度；运动驱动零件若为平移运动，运动向量直接可表示为平移向量。
进一步地，所述步骤(5.3)具体包括以下子步骤：
(5.3.1)根据照相机的标定参数，将粗建模模型投影到二维图片上，生成粗建模模型的剪影；
(5.3.2)将粗建模模型的剪影与其对应照片帧中拍摄的真实物体进行边界匹配，匹配的结果作为评估结果。
进一步地，所述步骤(5.4)具体包括以下子步骤：
(5.4.1)定义四种可探测的运动连接关系：焊接传动关系、旋转传动关系、齿轮传动关系、滑动传动关系；
(5.4.2)生成粗机械模型的可能连接关系图：每个机械零件作为图中一个节点，对任意两个机械零件相对应的两个节点建立连线，根据两个机械零件的类型，判定他们可能存在的运动连接关系，最少为零种，最多为四种。将可能存在的运动连接关系种类个数作为两个机械零件所对应的两个节点连线的个数。将这些节点和节点间的连线作为粗机械模型的可能连接关系图。
(5.4.3)遍历步骤(5.4.2)得到的可能连接关系图，每次遍历保证两个节点只有一跟连线，使用步骤(5.3)的评估方法，对每次遍历结果进行评估，将评估结果最高的遍历结果对应的机械零件运动连接关系作为最终运动连接关系。
进一步地，所述步骤(5.5)具体包括以下子步骤：
(5.5.1)根据步骤(5.2)得到的运动驱动零件的运动参数和步骤(5.4)得到的运动连接关系，将运动的粗建模模型每一时刻的运动形态投影到照片上，形成运动的剪影序列。
(5.5.2)定义剪影序列中的粗建模模型与视频图像中的真实模型匹配度的评估函数，评估函数如下：
其中Γ代表两个机械零件间的运动连接关系，Ρ代表粗建模模型中机械零件的几何形状和位置参数，代表像素j在第i帧的剪影序列，代表视频中第i帧的边界像素点，n为视频图像的总帧数，m为机械零件的总个数。通过评估函数可以有效的评估系统的建模结果和真实的物体间的形状参数和运动参数的差别。
(5.5.3)使用模拟退火算法，每次迭代随机挑选零件中的某个参数值，改变该参数后使用步骤(5.5.2)中的评估函数进行评估，若评估结果优于之前，则采纳改变后的参数，反之则参数不变，直至迭代结束。
(5.5.4)根据优化后的零件的参数调整粗建模模型中零件的几何形状和位置，得到最终的机械模型的结果。
本发明的有益效果是：
1.本发明建模方法相比较传统的多视角建模方法，不仅仅得到点云或者模型三角网格数据，本发明同时探测的机械模型是由多个机械零件组成，并且可以有效的参数化每个机械零件，探测出机械零件间的运动参数和运动连接关系。
2.本发明提出了一种新颖的交互式建模方法，方法简洁，不需要专业培训即可使用的建模工具。
3.本发明提出了一种使用视频图像评估和优化三维机械模型的方法，使三维机械模型和视频中图像巧妙结合起来，同时优化后的机械模型有较高的精确度，满足传统机械建模的需求。
附图说明
图1本发明中用户交互式建模过程示意图；
图2本发明中优化机械零件时参数化过程中的示意图；
图3本发明中计算模型驱动运动角度的示意图；
图4本发明中定义的机械零件连接关系种类示意。
具体实施方式
本发明的核心技术是通过多张机械模型的照片对该机械模型建模的方法。该方法可以对输入图像中的机械模型进行逐个零件的三维结构重建，仅需要少量简单的用户输入操作即可实现多种复杂的机械零件的重建功能。该方法主要分为如下五个步骤：图像预处理、交互式绘制、建立初步模型、基于几何关系优化、基于运动视频优化。下面以一个实施例具体说明本发明的实现方法：
(1)对静态机械模型进行多视角拍照，获得多张照片，结合照相机的标定信息，使用SFM方法得到机械模型的粗糙点云信息，并将这些点云对应到多视角照片中的像素点上；
(1.1)拍摄照片
围着待建模的机械模型环绕一周拍摄照片，保证机械模型每一块外表面都至少出现在两张照片中。若机械模型表面纹理简单或反光强烈，适当贴一些标记点，有助于定标和模型重建。
(1.2)生成点云和照相机标定参数
将照片输入VisualSFM系统(WU,C.,2015.Visualsfm:A visual structure frommotion system.http://ccwu.me/vsfm/)，系统可以生成模型的点云信息和照相机的标定参数。
(1.3)将点云投影到照片像素点上
根据1.2中得到的照相机标定参数，构建投影矩阵，将三维点云坐标投影到二维的照片像素点上。每张照片代表一个拍摄视角，每一个拍摄视角都有一组相机标定参数。第i个视角的相机内参定义为Ki，外参定义为Ei＝{Ri,Ti}。点云三维坐标定义为V＝{X,Y,Z}。投影矩阵定义如下：
其中是投影到像素点上标准化后的坐标。通过计算得到点云在图片上的二维坐标。整理上述式子可得出深度Z同X，Y线性关系：
X＝fX(Z)＝axZ+dx
Y＝fY(Z)＝ayZ+dy
这样就将三位模型中的点云与相片中的点建立了对应关系。
(2)选择一张照片，用户用连续三笔在照片上勾画出每个机械零件的二维外轮廓，三笔由三条线{S1,S2,S3}和四个顶点{e1,e2,e3,e4}组成。该步骤具体包括以下子步骤：
(2.1)用户选择绘制机械零件的基本形状，总体分为两类:底面为基本几何形状，由多条有规则的线段组成；底面为非基本几何形状，由不规则的曲面构成。
(2.2)如图1，用户在照片上用前两笔(其包括两条线{S1,S2}，三个点{e1,e2,e3})绘制出机械零件的底面，底面分为两种：1)基本几何形状底面，则第一笔S1表示底面任意一个方向的边长，e1和e2分别代表边长的起点和终点，第二笔S2表示和第一笔正交的方向的边长，根据两个正交方向的边长生成底面轮廓；2)非基本几何形状底面(即底面由多条曲线组成)，前两笔{S1,S2}在图像上画出两条正交的线段，线段的终点落在曲线上，然后在图片上沿着曲线点出若干点，这些点根据曲线规则生成B-样条曲线，即底面外轮廓；
(2.3)第三笔S3在照片中绘制出机械零件的高，即e3和e4分别落在机械零件的两个底面上，并且S3与底面正交。
(3)结合步骤(1)每张照片中的像素点和粗糙点云的对应信息、照相机的标定信息和机械零件自身的形状约束，通过投影计算得到步骤(2)中用户三笔勾画的机械零件的三维信息，从而得到初步建模模型；
(3.1)步骤(2)中已经得到了三笔的三条线段{S1,S2,S3}和四个顶点{e1,e2,e3,e4}。结合(2.1)用户选中的机械零件的几何约束关系，例如绘制椭圆，前两笔线段组成的夹角为45度，我们即可得到如下的几何约束：
上述约束结合(1.3)中公式，可以直接计算得到机械零件轮廓点的三维坐标{X,Y,Z}。
(3.2)本发明在绘制零件前还可以把其他已绘制好的机械零件的表面做基础面，当前绘制时第一笔或前两笔的顶点在三维空间中均落在之前设定的基础面上，这样的操作可以有效的保证零件间的几何位置的粘合关系。
(3.3)因为本发明的输入为多张照片，所以在绘制机械零件时可以选择合适的视角建模。在绘制机械零件时，选择的视角能保证零件尽量多的出现在照片中。
(4)探测步骤(3)得到的初步建模模型中机械零件间的几何关系，对初步建模模型的每个机械零件的坐标位置和几何形状进行优化，得到粗建模模型；该步骤具体包括以下子步骤：
(4.1)根据步骤(3)得到的初步建模模型，参数化机械模型的每个机械零件：将底面为矩形的机械零件用6个参数值代表，6个参数分别为该零件外包围盒6个面的中心点坐标；将底面为不规则形状(即非矩形)机械零件用2个参数值代表，2个参数分别为该零件上底面和下底面的中心坐标。
参数名定为锚点，用一组锚点参数化每个机械零件的几何形状，一个模型由n个机械零件组成，就有n组锚点，锚点为三维坐标点。如图2，每个圆柱体零件由两个锚点表示{Ci1,Ci2}，锚点坐标为圆柱的两个底面中心坐标。每个立方体由六个锚点表示{Ci1,Ci2,Ci3,Ci4,Ci5,Ci6}，锚点坐标为立方体每个面的中心坐标。
(4.2)根据每个机械零件参数化的结果，探测每两个零件的几何位置关系，建立每两个零件几何位置关系表格，几何位置关系包括粘合、平行、垂直、共面和同轴；
本发明设定了六种机械零件间的约束关系：平行、正交、共线、共面、同轴和粘合。模型优化时的约束分为两种，一种是零件内部的约束，如正方形中面与面的垂直平行关系，用锚点表示为Sil(Cij,Cln),i,l＝1…K。还有两两机械零件间的约束关系，用锚点表示为Gi(Cij,Cin),j,n＝1…mi。
(4.3)优化每个机械零件的参数值，使得在满足每两个零件几何位置关系的条件下，每个机械零件参数值改变最小。
在(4.2)设定的约束条件下优化机械零件的几何形状和位置，能量函数设置如下：
Subject to:Sil(Cij,Cln),i,l＝1…K
Gi(Cij,Cin),j,n＝1…mi
其中代表步骤(1.3)中z零件的投影坐标。4.2P(.)表示步骤(1.3)中的投影方程。[xij,yij]表示三维机械零件投影到屏幕上的二维坐标。en是距离vm最近的机械零件。dist(.)表示点到零件的距离。wd默认设置为0.5。
(5)对步骤(4)得到的粗建模模型进行基于视频图像的优化，得到机械模型的三维模型；包括以下步骤：
(5.1)驱动机械模型运动，同时对动态机械模型进行单视角视频拍摄；
拍摄连续运动的模型，为了便于运动驱动零件运动角度的计算和模型运动参数的优化，拍摄每两帧间隔运动驱动零件运动角度小于10度，并且选择的视角需要能清楚的看到运动驱动零件。在拍摄过程中相机的位置和模型的整体位置要保持不变，只有模型内的机械零件在做局部运动。
(5.2)计算粗建模模型运动驱动零件的运动参数；具体包括以下子步骤：
(5.2.1)用户手动在粗建模模型上选择运动驱动零件，根据照相机的标定参数中的投影参数，将用户指定的运动驱动零件投影到二维图片上，得到该运动驱动零件对应的剪影区域，该剪影区域设定为特征点匹配的关注区域；
(5.2.2)使用单应矩阵，对连续两帧照片中的关注区域进行变换，将之前的关注区域变换成正交视角下的关注区域；
(5.2.3)在变换后的关注区域中匹配连续两帧照片中的特征点对，每组特征点对中的两个特征点位置坐标的连线形成的运动向量表达了该运动驱动零件的运动情况；
在变换后的关注区域中连续两帧照片中的特征点对每组特征点对中的两个特征点位置坐标的连线形成的运动向量表达了该机械零件的运动情况，如图3。
(5.2.4)通过运动向量计算得到该运动驱动零件的运动参数。如运动驱动零件若为旋转运动，通过运动向量和运动驱动零件模型中心，计算得到旋转角度；运动驱动零件若为平移运动，运动向量直接可表示为平移向量。
通过特征点对形成的运动向量，同时根据模型的几何形状，可以计算得到运动驱动零件的运动参数。以运动驱动零件为旋转运动为例，可以计算得到第i帧到i+1帧驱动轮旋转角度θ，公式如下：
其中O就是驱动轮的圆心。
上述是驱动零件为驱动轮的情况，若驱动零件平移运动，根据运动向量可以直接得到运动驱动零件的运动参数。
(5.3)设计粗建模模型和视频图像中真实机械模型匹配的评估方法；具体包括以下子步骤：
(5.3.1)根据照相机的标定参数，将粗建模模型投影到二维图片上，生成粗建模模型的剪影；
根据照相机的标定信息，将粗建模模型每一帧模型中每一个机械零件分别投影到投影到二维图片上，得到每个零件的剪影，即每个零件的边界，第j帧得到的剪影定义为同时我们对第j帧视频图像用canny算计进行边缘检测，得到边缘图像ej。
(5.3.2)将粗建模模型的剪影与其对应照片帧中拍摄的真实物体进行边界匹配，匹配的结果作为评估结果。
我们将每一帧剪影和边缘图像ej匹配评估值的综合作为视频图像和机械模型运动进行匹配评估，函数定义如下
其中m为机械模型中机械零件的总个数，n代表像素的个数。代表第j帧中第i个剪影像素点和边缘图像中边缘的距离值，具体为对于第i个剪影像素，在它的梯度方向上寻找相离最近的边缘图像的边缘点，两个点间的距离代表距离值。累加所有剪影像素点的距离值得到该帧的评估值。
剪影和边缘图像匹配评估值E1越小，说明建模的机械模型和视频中真实模型匹配的越好。
(5.4)探测粗建模模型中机械零件运动连接关系；具体包括以下子步骤：
(5.4.1)定义四种可探测的运动连接关系：焊接传动关系、旋转传动关系、齿轮传动关系、滑动传动关系；四种连接关系如图4所示，这四种运动连接关系是机械模型中最常见，也最基本的四种运动连接关系
(5.4.2)生成粗机械模型的可能连接关系图：每个机械零件作为图中一个节点，对任意两个机械零件相对应的两个节点建立连线，根据两个机械零件的类型，判定他们可能存在的运动连接关系，最少为零种，最多为四种。将可能存在的运动连接关系种类个数作为两个机械零件所对应的两个节点连线的个数。将这些节点和节点间的连线作为粗机械模型的可能连接关系图。
(5.4.3)遍历步骤(5.4.2)得到的可能连接关系图，每次遍历保证两个节点只有一跟连线，使用步骤(5.3)的评估方法，对每次遍历结果进行评估，将评估结果最高的遍历结果对应的机械零件运动连接关系作为最终运动连接关系。
(5.5)基于模拟退火算法和步骤(5.3)设计的评估方法对粗建模模型的坐标位置和几何形状进行进一步优化。具体包括以下子步骤：
(5.5.1)根据步骤(5.2)得到的运动驱动零件的运动参数和步骤(5.4)得到的运动连接关系，将运动的粗建模模型每一时刻的运动形态投影到照片上，形成运动的剪影序列。在某一时刻，运动驱动零件根据运动参数做出相应的运动改变，同时，根据运动连接关系图，将运动改变传递给与自己相连接的机械零件，以此类推，遍历整个运动连接关系图中的所有机械零件。
(5.5.2)定义剪影序列中的粗建模模型与视频图像中的真实模型匹配度的评估函数，评估函数如下：
其中Γ代表两个机械零件间的运动连接关系，Ρ代表粗建模模型中机械零件的几何形状和位置参数，代表像素j在第i帧的剪影序列，代表视频中第i帧的边界像素点，n为视频图像的总帧数，m为机械零件的总个数。通过评估函数可以有效的评估系统的建模结果和真实的物体间的形状参数和运动参数的差别。
(5.5.3)使用模拟退火算法，每次迭代随机挑选零件中的某个参数值，改变该参数后使用步骤(5.5.2)中的评估函数进行评估，若评估结果优于之前，则采纳改变后的参数，反之则参数不变，直至迭代结束。
本发明使用模拟退火的优化方法对模型中每个机械零件几何形状和位置进行优化。根据模拟退火方法，优化目标为最小化Boltzmannlike目标函数，其定义为：
其中为步骤(5.5.2)中运动连接关系确定后的剪影匹配函数E(Γ,Ρ)。每次迭代后，新的状态Ρ′被接受的可能性计算公式如下：
退火参数T初始化为10，每300次迭代，下降因子设为0.9。
每次迭代中，机械模型需要随机调整它的形状参数。首先随机挑选模型中的一个机械零件，然后随机选中该机械零件的一个形状或位置参数，用高斯分布重新对该参数进行采样，其中s是当前参数值，δs值设为0.1。
(5.5.4)根据优化后的零件的参数调整粗建模模型中零件的几何形状和位置，得到最终的机械模型的结果。
Claims (7)
1.一种基于多视角交互式的机械模型三维建模方法，其特征在于，包括如下步骤：
(1)对静态机械模型进行多视角拍照，获得多张照片，结合照相机的标定信息，使用SFM方法得到机械模型的粗糙点云信息，并将这些点云对应到多视角照片中的像素点上；
(2)选择一张照片，用户用连续三笔在照片上勾画出每个机械零件的二维外轮廓，三笔由三条线{S1,S2,S3}和四个顶点{e1,e2,e3,e4}组成；
(3)结合步骤(1)每张照片中的像素点和粗糙点云的对应信息、照相机的标定信息和机械零件自身的形状约束，通过投影计算得到步骤(2)中用户三笔勾画的机械零件的三维信息，从而得到初步建模模型；
(4)探测步骤(3)得到的初步建模模型中机械零件间的几何关系，对初步建模模型的每个机械零件的坐标位置和几何形状进行优化，得到粗建模模型；
(5)对步骤(4)得到的粗建模模型进行基于视频图像的优化，得到机械模型的三维模型；包括以下步骤：
(5.1)驱动机械模型运动，同时对动态机械模型进行单视角视频拍摄；
(5.2)计算粗建模模型运动驱动零件的运动参数；
(5.3)设计粗建模模型和视频图像中真实机械模型匹配的评估方法；
(5.4)探测粗建模模型中机械零件运动连接关系；
(5.5)基于模拟退火算法和步骤(5.3)设计的评估方法对粗建模模型的坐标位置和几何形状进行进一步优化。
2.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(2)具体包括以下子步骤：
(2.1)用户选择绘制机械零件的基本形状，总体分为两类:底面为基本几何形状，由多条有规则的线段组成；底面为非基本几何形状，由不规则的曲面构成；
(2.2)用户在照片上用前两笔绘制出机械零件的底面，前两笔包括两条线{S1,S2}和三个点{e1,e2,e3}；底面分为两种：1)基本几何形状底面，则第一笔S1表示底面任意一个方向的边长，e1和e2分别代表边长的起点和终点，第二笔S2表示和第一笔正交的方向的边长，根据两个正交方向的边长生成底面轮廓；2)非基本几何形状底面，前两笔{S1,S2}在图像上画出两条正交的线段，线段的终点落在曲线上，然后在图片上沿着曲线点出若干点，这些点根据曲线规则生成B-样条曲线，即底面外轮廓；
(2.3)第三笔S3在照片中绘制出机械零件的高，即e3和e4分别落在机械零件的两个底面上，并且S3与底面正交。
3.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(4)具体包括以下子步骤：
(4.1)根据步骤(3)得到的初步建模模型，参数化机械模型的每个机械零件：将底面为矩形的机械零件用6个参数值代表，6个参数分别为该零件外包围盒6个面的中心点坐标；将底面为不规则形状机械零件用2个参数值代表，2个参数分别为该零件上底面和下底面的中心坐标；
(4.2)根据每个机械零件参数化的结果，探测每两个零件的几何位置关系，建立每两个零件几何位置关系表格，几何位置关系包括粘合、平行、垂直、共面和同轴；
(4.3)优化每个机械零件的参数值，使得在满足每两个零件几何位置关系的条件下，每个机械零件参数值改变最小。
4.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(5.2)具体包括以下子步骤：
(5.2.1)用户手动在粗建模模型上选择运动驱动零件，根据照相机的标定参数中的投影参数，将用户指定的运动驱动零件投影到二维图片上，得到该运动驱动零件对应的剪影区域，该剪影区域设定为特征点匹配的关注区域；
(5.2.2)使用单应矩阵，对连续两帧照片中的关注区域进行变换，将之前的关注区域变换成正交视角下的关注区域；
(5.2.3)在变换后的关注区域中匹配连续两帧照片中的特征点对，每组特征点对中的两个特征点位置坐标的连线形成的运动向量表达了该运动驱动零件的运动情况；
(5.2.4)通过运动向量计算得到该运动驱动零件的运动参数；运动驱动零件若为旋转运动，通过运动向量和运动驱动零件模型中心，计算得到旋转角度；运动驱动零件若为平移运动，运动向量直接表示为平移向量。
5.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(5.3)具体包括以下子步骤：
(5.3.1)根据照相机的标定参数，将粗建模模型投影到二维图片上，生成粗建模模型的剪影；
(5.3.2)将粗建模模型的剪影与其对应照片帧中拍摄的真实物体进行边界匹配，匹配的结果作为评估结果。
6.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(5.4)具体包括以下子步骤：
(5.4.1)定义四种可探测的运动连接关系：焊接传动关系、旋转传动关系、齿轮传动关系、滑动传动关系；
(5.4.2)生成粗机械模型的可能连接关系图：每个机械零件作为图中一个节点，对任意两个机械零件相对应的两个节点建立连线，根据两个机械零件的类型，判定他们可能存在的运动连接关系，运动连接关系的种类大于等于0，小于等于4；将可能存在的运动连接关系种类个数作为两个机械零件所对应的两个节点连线的个数；将这些节点和节点间的连线作为粗机械模型的可能连接关系图；
(5.4.3)遍历步骤(5.4.2)得到的可能连接关系图，每次遍历保证两个节点只有一根连线，使用步骤(5.3)的评估方法，对每次遍历结果进行评估，将评估结果最高的遍历结果对应的机械零件运动连接关系作为最终运动连接关系。
7.根据权利要求1所述一种基于多视角交互式的机械模型三维建模方法，其特征在于，所述步骤(5.5)具体包括以下子步骤：
(5.5.1)根据步骤(5.2)得到的运动驱动零件的运动参数和步骤(5.4)得到的运动连接关系，将运动的粗建模模型每一时刻的运动形态投影到照片上，形成运动的剪影序列；
(5.5.2)定义剪影序列中的粗建模模型与视频图像中的真实模型匹配度的评估函数，评估函数如下：
其中Γ代表两个机械零件间的运动连接关系，Ρ代表粗建模模型中机械零件的几何形状和位置参数，代表像素j在第i帧的剪影序列，代表视频中第i帧的边界像素点，n为视频图像的总帧数，m为机械零件的总个数；
(5.5.3)使用模拟退火算法，每次迭代随机挑选零件中的某个参数值，改变该参数后使用步骤(5.5.2)中的评估函数进行评估，若评估结果优于之前，则采纳改变后的参数，反之则参数不变，直至迭代结束；
(5.5.4)根据优化后的零件的参数调整粗建模模型中零件的几何形状和位置，得到最终的机械模型的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610135907.8A CN105809734B (zh) | 2016-03-10 | 2016-03-10 | 一种基于多视角交互式的机械模型三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610135907.8A CN105809734B (zh) | 2016-03-10 | 2016-03-10 | 一种基于多视角交互式的机械模型三维建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809734A CN105809734A (zh) | 2016-07-27 |
| CN105809734B true CN105809734B (zh) | 2018-12-25 |
Family
ID=56468014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610135907.8A Active CN105809734B (zh) | 2016-03-10 | 2016-03-10 | 一种基于多视角交互式的机械模型三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809734B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107248192A (zh) * | 2017-06-27 | 2017-10-13 | 广州视源电子科技股份有限公司 | 立体图形绘制方法、装置、设备及存储介质 |
| CN108665530B (zh) * | 2018-04-25 | 2021-12-14 | 厦门大学 | 基于单张图片的三维建模实现方法 |
| CN109887079B (zh) * | 2019-03-21 | 2022-09-20 | 中南大学 | 螺旋锥齿轮三维建模方法 |
| CN110216671A (zh) * | 2019-05-14 | 2019-09-10 | 苏州软体机器人科技有限公司 | 一种基于计算机仿真的机械抓手训练方法及系统 |
| CN112668550B (zh) * | 2021-01-18 | 2023-12-19 | 沈阳航空航天大学 | 基于关节点-深度联合关注rgb模态数据的双人交互行为识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102364524A (zh) * | 2011-10-26 | 2012-02-29 | 清华大学 | 一种基于变光照多视角间差采样的三维重建方法和装置 |
| CN102842148A (zh) * | 2012-07-10 | 2012-12-26 | 清华大学 | 一种无标记运动捕捉及场景重建方法及装置 |
| CN103886637A (zh) * | 2012-12-22 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 交互式建模方法 |
| CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2874118B1 (en) * | 2013-11-18 | 2017-08-02 | Dassault Systèmes | Computing camera parameters |
-
2016
- 2016-03-10 CN CN201610135907.8A patent/CN105809734B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102364524A (zh) * | 2011-10-26 | 2012-02-29 | 清华大学 | 一种基于变光照多视角间差采样的三维重建方法和装置 |
| CN102842148A (zh) * | 2012-07-10 | 2012-12-26 | 清华大学 | 一种无标记运动捕捉及场景重建方法及装置 |
| CN103886637A (zh) * | 2012-12-22 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 交互式建模方法 |
| CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多视图的交互式机械建模;周艳杰;《中国优秀硕士学位论文全文数据库》;20160115(第2016年01期);第10-37页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809734A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688138B2 (en) | Methods and systems for detecting and combining structural features in 3D reconstruction | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN105809734B (zh) | 一种基于多视角交互式的机械模型三维建模方法 | |
| CN103021017B (zh) | 基于gpu加速的三维场景重建方法 | |
| US20050140670A1 (en) | Photogrammetric reconstruction of free-form objects with curvilinear structures | |
| CN103606151B (zh) | 基于影像点云的大范围虚拟地理场景自动构建方法 | |
| Shalom et al. | Cone carving for surface reconstruction | |
| CN103854301A (zh) | 基于复杂背景下可见外壳的三维重建方法 | |
| CN105913492B (zh) | 一种rgbd图像中物体形状的补全方法 | |
| CN103530907A (zh) | 基于图像的复杂三维模型绘制方法 | |
| CN110070559A (zh) | 一种基于无人机图像的风力发电叶片三维重构方法 | |
| Chen et al. | Research on 3D reconstruction based on multiple views | |
| Lin et al. | Vision system for fast 3-D model reconstruction | |
| Waschbüsch et al. | 3d video billboard clouds | |
| Wu et al. | Photogrammetric reconstruction of free-form objects with curvilinear structures | |
| Zou et al. | Precise 3D reconstruction from a single image | |
| Han et al. | 3D reconstruction of dense model based on the sparse frames using RGBD camera | |
| Hao et al. | Image completion with perspective constraint based on a single image | |
| Liu | [Retracted] Sculpture 3D Modeling Method Based on Image Sequence | |
| Aguilera et al. | Virtual archaeological sites modelling through low-cost methodology | |
| Poullis et al. | Photogrammetric modeling and image-based rendering for rapid virtual environment creation | |
| Khattak et al. | Reconstructing 3D buildings from LIDAR using level set methods | |
| Klavdianos et al. | A concise survey for 3D reconstruction of building façades | |
| Joshi et al. | Enhancing Archeological Building Reconstruction Through Image-Based 3D Modeling and LoFTR | |
| Sung et al. | Image unprojection for 3D surface reconstruction: a triangulation-based approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |