CN117496085A - 一种基于手绘草图的参数化三维模型生成方法及系统 - Google Patents

一种基于手绘草图的参数化三维模型生成方法及系统 Download PDF

Info

Publication number
CN117496085A
CN117496085A CN202310998721.5A CN202310998721A CN117496085A CN 117496085 A CN117496085 A CN 117496085A CN 202310998721 A CN202310998721 A CN 202310998721A CN 117496085 A CN117496085 A CN 117496085A
Authority
CN
China
Prior art keywords
sketch
modeling
dimensional
loss
parameterized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310998721.5A
Other languages
English (en)
Inventor
李基拓
孙越
刘鑫琦
徐子钦
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310998721.5A priority Critical patent/CN117496085A/zh
Publication of CN117496085A publication Critical patent/CN117496085A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于手绘草图的参数化三维模型生成方法及系统，该系统由四个模块组成，包括：用户草图输入模块,获取用户的实时草图输入；草图特征提取模块,将用户的草绘进行实例分割，提供建模的操作类别，提取草绘中的关键特征；几何参数计算模块，根据分割的图像结果进行规范化参数的回归计算；三维模型生成模块，依据上述操作生成的对应建模操作类型以及建模参数生成建模操作序列，并输入建模软件，从而生成参数化的三维模型。

Description

一种基于手绘草图的参数化三维模型生成方法及系统
技术领域
本发明涉及计算机图形学和计算机辅助设计领域，尤其涉及一种基于手绘草图的参数化三维模型生成方法及系统。
背景技术
草图绘制和三维建模是工业设计的两个重要步骤。设计师通常先通过绘制草图来表达和修改他们的设计意图；然后将完成的设计草图通过参数化建模软件转换为三维模型，生成高精度和可编辑的CAD模型。然而，三维建模软件的使用通常要求操作者经过一定程度的软件培训，以及对物体建模设计和序列生成先后过程的把握；而绘制简略表意的草图却不需要经过训练，任何人都可以通过草图来表达设计意图和设计概念。
基于草图生成建模(Sketch-Based Modeling，SBM)是一个研究基于草图自动生成三维模型的领域。早期的研究大多集中在对固定视角的线框图的分析预测上；在深度学习兴起之后，一些学者开始采用卷积神经网络提取图像的特征来进行三维模型的重建，比如基于草图的特征生成网格形式的模型(Sketch2Mesh，ICCV2021)，基于多视角草图的三维模型重建，以及基于草图重建发型的三维模型(DeepSketchHair)。
但一些采取深度学习的草图生成建模方法都只能产生不可编辑的网格模型，并且对生成模型有一定的限制，比如需要提供多视角草图，或者仅限定于头发模型、汽车、椅子类型模型的三维重建和编辑。因此，针对这些情况，需要设计出一种能够生成多种类型的参数化模型的草图生成建模系统。
发明内容
针对现有技术的不足，本发明设计提出了一种基于手绘草图的参数化三维模型生成方法及系统，旨在解决现有草图生成建模方法生成限定种类的不可编辑的网格模型的缺陷，从而使没有三维软件经验的用户也可以方便快捷地使自己的设计意图成型，并有效地对已生成的模型进行交互式编辑。
本发明是通过以下技术方案来实现的：一种基于手绘草图的参数化三维模型生成方法，其特征在于，该方法包括以下步骤：
(1)获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；
(2)结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；
(3)基于分割的草图结果生成规范化的建模操作描述和几何参数计算；
(4)根据步骤(3)得到的建模操作描述和几何参数，生成建模操作序列，并输入CAD建模软件，进而生成参数化的三维模型。
进一步地，所述步骤(1)具体为，获取用户的实时草图输入，进而实时获取当前三维模型视图，并在视图上直接进行草绘绘制，手绘草图可通过鼠标或者数位板进行输入，可进行编辑和重新绘制。
进一步地，所述步骤(2)为草绘笔迹的实例分割网络，该网络输入为当前三维模型视图和用户草绘笔迹的合并图像，输出为用户草绘的像素级别的分割结果，用于分析用户草绘的建模行为类别，以及草绘内容的结构特征，并为后续的建模关键参数提取网络提供输入。
进一步地，所述草绘笔迹实例分割网络采用了Mask R-CNN网络架构，对草绘笔迹和三维视图合并图片进行建模信息的实例分割，实例分割可以将用户的草绘笔迹进行分割提取，并对代表不同操作含义的手绘笔迹像素进行分类；识别出手绘草图代表的建模操作类别，即拉伸、倒角、倒圆角、以及增料螺旋线；针对拉伸的草绘，将草绘几何体的底面轮廓、拉伸后几何体的上表面轮廓，以及侧面曲线分别提取并识别其类别，并对底面轮廓的几何特征进行粗分类，区分出其构成是圆形、正多边形、不规则多边形，还是融合了曲线和直线的不规则草图；
所述Mask R-CNN网络架构主要由两部分组成，第一部分为在图像上生成目标检测候选框，并生成候选框的类别预测以及尺寸预测，并过滤一部分候选框；另一部分为对目标掩码的预测。
进一步地，所述Mask R-CNN网络架构的具体为：
首先将三维视图和用户草绘内容合并图片输入Mask R-CNN中的Resnet-FPN模块，提取出特征层；使用Mask R-CNN中的候选框生成网络RPN(Region Proposal Network)生成不同尺寸的目标候选框，并使用ROIAlign层将生成的候选框投影至特征图，生成不同候选框的特征图；
将特征图输入类别、边框预测分支，对特征进行卷积，生成候选框对应的类别预测，以及候选框尺寸的预测，并过滤部分候选框；
对于掩码预测mask的分支，使用另一个ROIAlign层对RPN结构生成的一系列候选框，进行特征图的投影以及提取；
对掩码预测mask分支ROIAlign层生成的特征图进行卷积和转置卷积，生成对不同类别信息的掩码预测；
训练时采取的损失函数为(1)式所示，总损失由候选框预测类别损失Lossclassfication，候选框回归参数损失Lossbox和掩码预测损失Lossmask共同构成。
Loss＝Lossclassfication+Lossbox+Lossmask (1)
式(2)中，Lossclassfication为候选框预测类别损失，Nclass为一个batch中的样本数量，使用softmax交叉熵计算每个候选框预测类别的损失；Lossbox为候选框回归参数的损失，采用式(3)、式(4)和式(5)计算每个候选框的边界参数与真值候选框边界参数的smoothL1损失，ti为第i个候选框预测的边界参数，/>为第i个候选框的真实边界参数；
Lossmask为掩码预测的损失，计算真实类别的预测掩码矩阵与该类别的真值掩码矩阵的平均二分类交叉熵损失。
进一步地，所述生成规范化的建模操作描述和几何参数计算，具体为，需要根据分割的图像结果进行规范化参数的计算，包含草绘三维坐标信息分析提取和建模关键参数回归；
所述草绘三维坐标信息分析提取为根据草图分割结果提取的底面轮廓，进行形状的分类以及特征点的检测，并通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，作为特征点的三维坐标；根据草图分割的结果，若草图的建模类别为不规则形状草图的拉伸，即拉伸形状既不是圆形也不是正多边形，而为不规则的多边形或者由折线和曲线构成的几何图形，则需要首先分析草图的构成，再根据构成提取特征点，并获取特征点的三维坐标，从而生成参数化草图并进行拉伸操作；
所述建模关键参数回归为搭建了一个图像特征回归网络，输入为草绘笔迹实例分割网络的分割结果图像以及当前视角的相机参数，输出结果为建模操作的关键参数；特征提取网络需要基于不同的建模操作进行针对性的训练，且输出的结果也由建模操作类别决定，若分割网络的结果显示建模操作为拉伸正多边形，则关键参数为多边形的数量以及拉伸的高度与多边形边长的比值；若分割网络的结果显示建模操作为拉伸圆形，则关键参数为拉伸的高度与圆半径的比值；若分割网络的结果显示建模操作为螺旋线，则关键参数为螺旋线的圈数以及螺距与半径的比值。
具体地，所述建模关键参数回归是针对不同的建模操作类别，训练了不同的特征提取网络，网络架构采用了多层卷积层和全连接层，同时将相机参数也作为全连接层的输入；网络的损失函数采用L2损失，计算预测参数值与真实参数值之间的损失，λ||θ||2为正则项，λ惩罚系数，θ为网络权重：
针对不同类型的建模操作，设计了不同的参数类型，若针对拉伸正多边形，需要预测边长的数量n，以及正多边形的高度和边长之比(h/L)；若针对圆柱或是上下底面为不同大小圆形的锥体，需要预测的参数为高度和底面半径之比(h/r1)，以及上下底面圆半径之比(r2/r1)；若针对不规则的草图拉伸操作，则需要预测拉伸距离与草图外接圆之比(h/r)；生成螺旋线相关的操作，即增料/减料螺旋线，需要预测螺旋线间距和底面半径的比值：d/R，和螺旋线的圈数n。
具体地，所述草绘三维坐标信息分析获取的过程为：
首先对草图分割结果提取的底面轮廓图像进行图片的预处理；即二值化，并对轮廓进行膨胀操作，使断裂的底面轮廓恢复封闭完整；
对于处理完的图片进行轮廓的提取，并遍历轮廓找到外轮廓；
根据草图实例分割的结果，根据底面轮廓的类别进行针对性的特征点检测，若底面的形状为规则几何形状，即正多边形，圆形和不规则多边形，则进行角点检测提取多边形顶点，或者使用圆形检测计算圆心和半径；若分类的结果为复杂几何形状，即曲线、线段和圆弧的组合，则进行下一步的特征点提取步骤；
根据实例分割的结果，若底面的轮廓检测为不规则草图，则需要进行先分割后拟合的操作；首先对轮廓中的点进行曲率的计算，曲线曲率的局部极大值对应的点作为分割点，分割草图，对不同的分割结果进行直线、圆弧、B样条曲线的拟合和分类，并将类别信息和对应的特征点保存；
根据草图类别识别以及特征点提取，可获取分割后的二维草图的特征点，后续再通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，获取特征点的三维位置，从而获取当前建模操作基于的基面或几何体，以及特征点的三维坐标。
具体地，所述三维模型生成是建模操作的实例化，是根据草图特征提取的分割输出结果，可获取草绘对应的建模操作类别，即拉伸、倒角倒圆角和增料螺旋线；
根据草绘三维坐标信息分析获取不同建模操作的定位信息；针对倒角和倒圆角操作，获取倒角倒圆角草绘轮廓的两个端点，并定位被倒角的边以及倒角的大小；针对增料螺旋线，获取螺旋线的定位：圆心、半径和起始平面；针对拉伸操作获取拉伸基准面以及拉伸的草图的三维信息，从而在三维空间中将草图重建；
根据建模关键参数回归获取具体的建模操作的参数；即比如拉伸建模操作，在确定了底面草图后，根据建模关键参数回归获取的拉伸距离和草图边长或半径之比，计算实际的拉伸距离，从而生成完整的建模指令；
依据上述操作生成的对应建模操作以及建模参数生成建模操作序列，并输入支持建模操作序列文件的三维建模软件，生成参数化的三维模型。
本发明还提供了一种基于手绘草图的参数化三维模型生成系统，该系统包括以下模块：
用户草图输入模块：可获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；
草图特征提取模块：结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；
几何参数计算模块：基于分割的草图结果生成规范化的建模操作描述和几何参数计算；
三维模型生成模块：根据几何参数计算模块得到的建模操作描述和几何参数，生成建模操作序列，并输入CAD建模软件，生成参数化的三维模型。
本发明的有益效果如下：
相较于现有的草图生成网格模型等方法，这些方法只能生成限定种类的不可编辑的网格模型；而本发明通过对用户草图分析，生成参数化的CAD模型，有助于后续编辑模型，并且用户可以实时对模型进行草绘交互式修改，比如倒角、倒圆角、增加新几何体等。本发明能使没有三维软件经验的用户也可以方便快捷地使自己的设计意图成型，并有效地对已生成的模型进行交互式编辑。
附图说明
图1为本发明实施例提供的基于手绘草图的参数化三维模型生成系统流程图；
图2为本发明实施例提供的用户草图输入模块界面示意图；
图3为本发明实施例提供的草图特征提取模块示意图；
图4为本发明实施例提供的基于分割结果的建模关键参数回归模块；
图5为本发明实施例的三维模型生成模块效果-拉伸圆形图；
图6为本发明实施例的三维模型生成模块效果-拉伸多边形图；
图7为本发明实施例的三维模型生成模块效果-倒圆角图；
图8为本发明实施例的三维模型生成模块效果-倒角图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明提供了一种基于手绘草图的参数化三维模型生成系统。
如图1所示，本发明包括以下模块：
(1)用户草图输入模块,获取用户的实时草图输入；
(2)草图特征提取模块,将用户的草绘进行实例分割，提供建模的操作类别，提取草绘中的关键特征；
(3)几何参数计算模块，根据分割的图像结果进行规范化参数的回归计算；
(4)三维模型生成模块，依据上述操作生成的对应建模操作类型以及建模参数生成建模操作序列，并输入建模软件，从而生成参数化的三维模型。
S1、如图2所示的用户草图输入模块中，用户通过草图输入模块，实时获取当前三维模型视图，并在视图上直接进行草绘绘制，手绘草图可通过鼠标或者数位板进行输入，可进行编辑和重新绘制。
S2、如图3所示的草图特征提取模块为草绘笔迹的实例分割网络。网络输入为当前三维模型视图和用户草绘笔迹的合并图像，输出为用户草绘的像素级别的分割结果，可用于分析用户草绘的建模行为类别，以及草绘内容的结构特征，并为后续的建模关键参数提取网络提供输入。
S21、草绘笔迹实例分割网络采用了Mask R-CNN网络架构，对草绘笔迹和三维视图合并图片进行建模信息的实例分割，实例分割可以将用户的草绘笔迹进行分割提取，并对代表不同操作含义的手绘笔迹像素进行分类。识别出手绘草图代表的建模操作类别，比如：拉伸，倒角，倒圆角，以及增料螺旋线等；进一步的，针对拉伸的草绘，将草绘几何体的底面轮廓、拉伸后几何体的上表面轮廓，以及侧面曲线分别提取并识别其类别，并对底面轮廓的几何特征进行粗分类，区分出其构成是圆形、正多边形、不规则多边形，还是融合了曲线和直线的不规则草图。
S22、Mask R-CNN网络架构主要由两部分组成，第一部分为在图像上生成目标检测候选框，并生成候选框的类别预测以及尺寸预测，并过滤一部分候选框，如图3左侧分支所示；另一部分为对目标掩码的预测，如图3右侧分支所示。
如图3所示，网络架构的具体内容为：
S221、首先将三维视图和用户草绘内容合并图片输入Mask R-CNN中的Resnet-FPN模块，提取出特征层；使用Mask R-CNN中的候选框生成网络RPN(Region ProposalNetwork)生成不同尺寸的目标候选框，并使用ROIAlign层将生成的候选框投影至特征图，生成不同候选框的特征图；
S222、将特征图输入类别、边框预测分支，对特征进行一系列的卷积，生成候选框对应的类别预测，以及候选框尺寸的预测，并过滤一部分候选框；如图3左下角所示，以拉伸操作为例，网络的这一部分可以实现对拉伸草绘的上底面、侧面曲线、底面轮廓进行粗略的目标检测；
S223、对于掩码预测mask的分支，使用另一个ROIAlign层对RPN结构生成的一系列候选框，进行特征图的投影以及提取；
S224、对mask分支ROIAlign层生成的特征图进行卷积和转置卷积，生成对不同类别信息的掩码预测；如图3右下角所示，以拉伸操作为例，网络的这一部分可以针对拉伸草绘的上底面、侧面曲线、底面轮廓实现像素级分割和分类。
训练时采取的损失函数为(1)式所示，总损失由候选框预测类别损失Lossclassfication，候选框回归参数损失Lossbox和掩码预测损失Lossmask共同构成。
Loss＝Lossclassfication+Lossbox+Lossmask (1)
(2)式中，Lossclassfication为候选框预测类别损失，Nclass为一个batch中的样本数量，使用softmax交叉熵计算每个候选框预测类别的损失；Lossbox为候选框回归参数的损失，采用(3)(4)(5)式计算每个候选框的边界参数与真值候选框边界参数的smoothL1损失，ti为第i个候选框预测的边界参数，/>为第i个候选框的真实边界参数；
Lossmask为掩码预测的损失，计算真实类别的预测掩码矩阵与该类别的真值掩码矩阵的平均二分类交叉熵损失。
S3、几何参数计算模块需要根据分割的图像结果进行规范化参数的计算，如图1所示，该模块包含草绘三维坐标信息分析提取模块，以及建模关键参数回归模块。
S31、如图4所示，建模关键参数回归模块，搭建了一个图像特征回归网络，输入为草绘笔迹实例分割网络的分割结果图像以及当前视角的相机参数，输出结果为建模操作的关键参数。建模关键参数回归模块针对不同的建模操作类别，训练了不同的特征提取网络，网络架构采用了多层卷积层和全连接层，同时将相机参数也作为全连接层的输入。网络的损失函数采用L2损失，计算预测参数值与真实参数值之间的损失，λ||θ||2为正则项，λ惩罚系数，θ为网络权重：
针对不同类型的建模操作，设计了不同的参数类型，如：1)针对拉伸正多边形，需要预测边长的数量n，以及正多边形的高度和边长之比(h/L)；针对圆柱或是上下底面为不同大小圆形的锥体，需要预测的参数为，高度和底面半径之比(h/r1)，以及上下底面圆半径之比(r2/r1)；针对不规则的草图拉伸操作，则需要预测拉伸距离与草图外接圆之比(h/r)；生成螺旋线相关的操作，如增料/减料螺旋线，需要预测螺旋线间距和底面半径的比值：d/R，和螺旋线的圈数n。
S32、草绘三维坐标信息分析提取模块，根据草图分割结果提取的底面轮廓，进行形状的分类以及特征点的检测，并通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，作为特征点的三维坐标。根据草图分割的结果，如果草图的建模类别为不规则形状草图的拉伸，即拉伸形状既不是圆形也不是正多边形，而为不规则的多边形或者由折线和曲线构成的几何图形，则需要首先分析草图的构成，再根据构成提取特征点，并获取特征点的三维坐标，从而生成参数化草图并进行拉伸操作。
草绘三维坐标信息分析获取模块的具体过程为：
S321、首先对草图分割结果提取的底面轮廓图像进行图片的预处理：二值化，并对轮廓进行膨胀操作，使断裂的底面轮廓恢复封闭完整；
S322、对于处理完的图片进行轮廓的提取，并遍历轮廓找到外轮廓；
S323、根据草图实例分割的结果，根据底面轮廓的类别进行针对性的特征点检测，如果底面的形状为规则几何形状：正多边形，圆形，不规则多边形，则进行角点检测提取多边形顶点，或者使用圆形检测计算圆心和半径；如果分类的结果为复杂几何形状：曲线、线段、圆弧的组合，则进行4)中的特征点提取步骤。
S324、根据实例分割的结果，若底面的轮廓检测为不规则草图，则需要进行先分割后拟合的操作；首先对轮廓中的点进行曲率的计算，曲线曲率的局部极大值对应的点作为分割点，分割草图，对不同的分割结果进行直线、圆弧、B样条曲线的拟合和分类，并将类别信息和对应的特征点保存。
S325、根据上述的草图类别识别以及特征点提取步骤，可获取分割后的二维草图的特征点，后续再通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，获取特征点的三维位置，从而获取当前建模操作基于的基面或几何体，以及特征点的三维坐标。
S4、三维模型生成模块实施建模操作的实例化。
根据草图特征提取模块的分割输出结果，可获取草绘对应的建模操作类别，比如拉伸、倒角倒圆角、增料螺旋线。根据草绘三维坐标信息分析获取模块，获取不同建模操作的定位信息；针对倒角和倒圆角操作，获取倒角倒圆角草绘轮廓的两个端点，并定位被倒角的边以及倒角的大小；针对增料螺旋线，获取螺旋线的定位：圆心、半径和起始平面；针对拉伸操作获取拉伸基准面以及拉伸的草图的三维信息，从而在三维空间中将草图重建。根据建模关键参数回归模块，获取具体的建模操作的参数。比如拉伸建模操作，在确定了底面草图后，根据建模关键参数回归模块获取的拉伸距离和草图边长或半径之比，计算实际的拉伸距离，从而生成完整的建模指令。依据上述操作生成的对应建模操作以及建模参数生成建模操作序列，并输入支持建模操作序列文件的三维建模软件，生成参数化的三维模型。如图5、图6、图7和图8所示，分别展示了用户绘制代表拉伸圆形、拉伸规则几何体、倒角、倒圆角等建模操作的草绘时，三维模型生成模块生成的几何体的效果。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种基于手绘草图的参数化三维模型生成方法，其特征在于，该方法包括以下步骤：
(1)获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；
(2)结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；
(3)基于分割的草图结果生成规范化的建模操作描述和几何参数计算；
(4)根据步骤(3)得到的建模操作描述和几何参数，生成建模操作序列，并输入CAD建模软件，进而生成参数化的三维模型。
2.根据权利要求1所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述步骤(1)具体为，获取用户的实时草图输入，进而实时获取当前三维模型视图，并在视图上直接进行草绘绘制，手绘草图可通过鼠标或者数位板进行输入，可进行编辑和重新绘制。
3.根据权利要求1所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述步骤(2)为草绘笔迹的实例分割网络，该网络输入为当前三维模型视图和用户草绘笔迹的合并图像，输出为用户草绘的像素级别的分割结果，用于分析用户草绘的建模行为类别，以及草绘内容的结构特征，并为后续的建模关键参数提取网络提供输入。
4.根据权利要求3所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述草绘笔迹实例分割网络采用了Mask R-CNN网络架构，对草绘笔迹和三维视图合并图片进行建模信息的实例分割，实例分割可以将用户的草绘笔迹进行分割提取，并对代表不同操作含义的手绘笔迹像素进行分类；识别出手绘草图代表的建模操作类别，即拉伸、倒角、倒圆角、以及增料螺旋线；针对拉伸的草绘，将草绘几何体的底面轮廓、拉伸后几何体的上表面轮廓，以及侧面曲线分别提取并识别其类别，并对底面轮廓的几何特征进行粗分类，区分出其构成是圆形、正多边形、不规则多边形，还是融合了曲线和直线的不规则草图；
所述Mask R-CNN网络架构主要由两部分组成，第一部分为在图像上生成目标检测候选框，并生成候选框的类别预测以及尺寸预测，并过滤部分候选框；另一部分为对目标掩码的预测。
5.根据权利要求3所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述Mask R-CNN网络架构的具体为：
(5.1)首先将三维视图和用户草绘内容合并图片输入Mask R-CNN中的Resnet-FPN模块，提取出特征层；使用Mask R-CNN中的候选框生成网络RPN(Region Proposal Network)生成不同尺寸的目标候选框，并使用ROIAlign层将生成的候选框投影至特征图，生成不同候选框的特征图；
(5.2)将特征图输入类别、边框预测分支，对特征进行卷积，生成候选框对应的类别预测，以及候选框尺寸的预测，并过滤部分候选框；
(5.3)对于掩码预测mask的分支，使用另一个ROIAlign层对RPN结构生成的一系列候选框，进行特征图的投影以及提取；
(5.4)对掩码预测mask分支ROIAlign层生成的特征图进行卷积和转置卷积，生成对不同类别信息的掩码预测；
训练时采取的损失函数为(1)式所示，总损失由候选框预测类别损失Lossclassfication，候选框回归参数损失Lossbox和掩码预测损失Lossmask共同构成：
Loss＝Lossclassfication+Lossbox+Lossmask (1)
式(2)中，Lossclassfication为候选框预测类别损失，Nclass为一个batch中的样本数量，使用softmax交叉熵计算每个候选框预测类别的损失；Lossbox为候选框回归参数的损失，采用式(3)、式(4)和式(5)计算每个候选框的边界参数与真值候选框边界参数的smoothL1损失，ti为第i个候选框预测的边界参数，/>为第i个候选框的真实边界参数；
Lossmask为掩码预测的损失，计算真实类别的预测掩码矩阵与该类别的真值掩码矩阵的平均二分类交叉熵损失。
6.根据权利要求1所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述生成规范化的建模操作描述和几何参数计算，具体为，需要根据分割的图像结果进行规范化参数的计算，包含草绘三维坐标信息分析提取和建模关键参数回归；
所述草绘三维坐标信息分析提取为根据草图分割结果提取的底面轮廓，进行形状的分类以及特征点的检测，并通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，作为特征点的三维坐标；根据草图分割的结果，若草图的建模类别为不规则形状草图的拉伸，即拉伸形状既不是圆形也不是正多边形，而为不规则的多边形或者由折线和曲线构成的几何图形，则需要首先分析草图的构成，再根据构成提取特征点，并获取特征点的三维坐标，从而生成参数化草图并进行拉伸操作；
所述建模关键参数回归为搭建了一个图像特征回归网络，输入为草绘笔迹实例分割网络的分割结果图像以及当前视角的相机参数，输出结果为建模操作的关键参数；特征提取网络需要基于不同的建模操作进行针对性的训练，且输出的结果也由建模操作类别决定，若分割网络的结果显示建模操作为拉伸正多边形，则关键参数为多边形的数量以及拉伸的高度与多边形边长的比值；若分割网络的结果显示建模操作为拉伸圆形，则关键参数为拉伸的高度与圆半径的比值；若分割网络的结果显示建模操作为螺旋线，则关键参数为螺旋线的圈数以及螺距与半径的比值。
7.根据权利要求6所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述建模关键参数回归是针对不同的建模操作类别，训练了不同的特征提取网络，网络架构采用了多层卷积层和全连接层，同时将相机参数也作为全连接层的输入；网络的损失函数采用L2损失，计算预测参数值与真实参数值之间的损失，λ||θ||2为正则项，λ惩罚系数，θ为网络权重：
针对不同类型的建模操作，设计了不同的参数类型，若针对拉伸正多边形，需要预测边长的数量n，以及正多边形的高度和边长之比(h/L)；若针对圆柱或是上下底面为不同大小圆形的锥体，需要预测的参数为高度和底面半径之比(h/r1)，以及上下底面圆半径之比(r2/r1)；若针对不规则的草图拉伸操作，则需要预测拉伸距离与草图外接圆之比(h/r)；生成螺旋线相关的操作，即增料/减料螺旋线，需要预测螺旋线间距和底面半径的比值：d/R，和螺旋线的圈数n。
8.根据权利要求6所述的一种基于手绘草图的参数化三维模型生成方法，所述草绘三维坐标信息分析获取的过程为：
(8.1)首先对草图分割结果提取的底面轮廓图像进行图片的预处理；即二值化，并对轮廓进行膨胀操作，使断裂的底面轮廓恢复封闭完整；
(8.2)对于处理完的图片进行轮廓的提取，并遍历轮廓找到外轮廓；
(8.3)根据草图实例分割的结果，根据底面轮廓的类别进行针对性的特征点检测，若底面的形状为规则几何形状，即正多边形，圆形和不规则多边形，则进行角点检测提取多边形顶点，或者使用圆形检测计算圆心和半径；若分类的结果为复杂几何形状，即曲线、线段和圆弧的组合，则进行下一步的特征点提取步骤；
(8.4)根据实例分割的结果，若底面的轮廓检测为不规则草图，则需要进行先分割后拟合的操作；首先对轮廓中的点进行曲率的计算，曲线曲率的局部极大值对应的点作为分割点，分割草图，对不同的分割结果进行直线、圆弧、B样条曲线的拟合和分类，并将类别信息和对应的特征点保存；
(8.5)根据草图类别识别以及特征点提取，可获取分割后的二维草图的特征点，后续再通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，获取特征点的三维位置，从而获取当前建模操作基于的基面或几何体，以及特征点的三维坐标。
9.根据权利要求1所述的一种基于手绘草图的参数化三维模型生成方法，其特征在于，所述三维模型生成的建模操作的实例化具体为：
根据草图特征提取的分割输出结果，可获取草绘对应的建模操作类别，即拉伸、倒角倒圆角和增料螺旋线；
根据草绘三维坐标信息分析获取不同建模操作的定位信息；针对倒角和倒圆角操作，获取倒角倒圆角草绘轮廓的两个端点，并定位被倒角的边以及倒角的大小；针对增料螺旋线，获取螺旋线的定位：圆心、半径和起始平面；针对拉伸操作获取拉伸基准面以及拉伸的草图的三维信息，从而在三维空间中将草图重建；
根据建模关键参数回归，从而获取具体的建模操作的参数，即拉伸建模操作，在确定了底面草图后，根据建模关键参数回归获取的拉伸距离和草图边长或半径之比，计算实际的拉伸距离，从而生成完整的建模指令；
依据前述操作生成的对应建模操作以及建模参数生成建模操作序列，并输入支持建模操作序列文件的三维建模软件，生成参数化的三维模型。
10.一种基于手绘草图的参数化三维模型生成系统，其特征在于，该系统包括以下模块：
用户草图输入模块：可获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；
草图特征提取模块：结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；
几何参数计算模块：基于分割的草图结果生成规范化的建模操作描述和几何参数计算；
三维模型生成模块：根据几何参数计算模块得到的建模操作描述和几何参数，生成建模操作序列，并输入CAD建模软件，生成参数化的三维模型。
CN202310998721.5A 2023-11-15 2023-11-15 一种基于手绘草图的参数化三维模型生成方法及系统 Pending CN117496085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310998721.5A CN117496085A (zh) 2023-11-15 2023-11-15 一种基于手绘草图的参数化三维模型生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310998721.5A CN117496085A (zh) 2023-11-15 2023-11-15 一种基于手绘草图的参数化三维模型生成方法及系统

Publications (1)

Publication Number Publication Date
CN117496085A true CN117496085A (zh) 2024-02-02

Family

ID=89683615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310998721.5A Pending CN117496085A (zh) 2023-11-15 2023-11-15 一种基于手绘草图的参数化三维模型生成方法及系统

Country Status (1)

Country Link
CN (1) CN117496085A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725767A (zh) * 2024-02-18 2024-03-19 粤港澳大湾区数字经济研究院(福田) 参数化构件模型自动生成方法、插件、系统、终端及介质
CN117910075A (zh) * 2024-03-18 2024-04-19 中南民族大学 面向云原生cad软件的手绘几何建模方法、系统及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725767A (zh) * 2024-02-18 2024-03-19 粤港澳大湾区数字经济研究院(福田) 参数化构件模型自动生成方法、插件、系统、终端及介质
CN117910075A (zh) * 2024-03-18 2024-04-19 中南民族大学 面向云原生cad软件的手绘几何建模方法、系统及设备
CN117910075B (zh) * 2024-03-18 2024-06-07 中南民族大学 面向云原生cad软件的手绘几何建模方法、系统及设备

Similar Documents

Publication Publication Date Title
US11544900B2 (en) Primitive-based 3D building modeling, sensor simulation, and estimation
Kim et al. Feature detection of triangular meshes based on tensor voting theory
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN117496085A (zh) 一种基于手绘草图的参数化三维模型生成方法及系统
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
US8384716B2 (en) Image processing method
CN112883799B (zh) 一种cad坡道大样图中坡道精准识别的方法
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
CN111126127B (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
CN111709387B (zh) 一种高分辨率遥感影像的建筑物分割方法及系统
US20240169661A1 (en) Uv mapping on 3d objects with the use of artificial intelligence
CN111784638B (zh) 一种基于卷积神经网络的肺结节假阳性筛除方法及系统
CN114283165A (zh) 肺结节的智能影像处理系统
Hu et al. Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization
JPH07220090A (ja) 物体認識方法
CN111681300A (zh) 轮廓素描线组成的目标区域获取方法
CN114708382A (zh) 基于增强现实的三维建模方法、装置、存储介质、设备
Bénière et al. Recovering primitives in 3D CAD meshes
Dekkers et al. A sketching interface for feature curve recovery of free-form surfaces
CN115393294A (zh) 基于rgb-d特征分层融合的焊缝检测与分割方法及装置
CN115457296A (zh) 一种面向非平稳纹理结构属性的结构提取方法
CN114119874A (zh) 基于gan的单图重建高清3d面部纹理的方法
Zhang et al. A method for identifying and repairing holes on the surface of unorganized point cloud
CN116363329B (zh) 基于CGAN与LeNet-5的三维图像生成方法及系统
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination