CN108932495B - 一种汽车前脸参数化模型全自动生成方法 - Google Patents
一种汽车前脸参数化模型全自动生成方法 Download PDFInfo
- Publication number
- CN108932495B CN108932495B CN201810704272.8A CN201810704272A CN108932495B CN 108932495 B CN108932495 B CN 108932495B CN 201810704272 A CN201810704272 A CN 201810704272A CN 108932495 B CN108932495 B CN 108932495B
- Authority
- CN
- China
- Prior art keywords
- type
- automobile
- front face
- curve
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims description 29
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种汽车前脸参数化模型全自动生成方法，1)对汽车前视图进行精确自动分类。2)对汽车前视图关键点全自动提取。3)对汽车前视图自动生成参数表示模型。4)对汽车前视图的高精度自动特征标注。本发明对比已有技术具有以下显著优点：1)对给定汽车前视图的车型分类、特征点提取、参数化模型生成、图像的特征点和区域标注同步完成，并实现全自动。2)基于较大规模数据的模型库，算法鲁棒性高、精度高、可移植性强。
Description
技术领域
本发明涉及一种由汽车正前视图图片/草图全自动生成前脸参数化模型，涉及一种汽车前脸参数化模型全自动生成方法。
背景技术
计算机辅助设计与造型技术可极大提升汽车研发效率，加速设计周期。通过单幅(或多幅)图像(草图)生成车身三维模型关键环节在于，如何让计算机像人一样进行图像的模型理解与参数化建模。目前，该工作在汽车造型设计与分析领域尚处于人机交互的手工交互阶段，繁琐而耗时。如今，随着大数据时代的到来，以深度学习为代表的机器学习技术大大促进了自动驾驶、智能交通、自动化建模等技术发展。然而该技术依赖于海量标注数据，这是一项耗费极为巨大的工作。基于参数化模型的精确提取将实现汽车图像数据的高精度标注，将大大提高海量图像数据的重用率，同时可输出参数化模型进行后期建模加工。
为了实现汽车前视图特征点的自动提取，以提高汽车造型设计效率，本发明提出了基于深度学习的汽车前视图特征点自动提取的方法。输入汽车前视图，系统会对汽车进行自动分类，匹配相应模型，定位汽车前视图特征点，根据生成的特征点数据自动构建二维造型特征线，从而实现汽车前视图二维线框模型的快速提取，可以用于三维曲线、曲面模型的生成。本发明与手动建模，可以在保证精度的情况下，大幅度提高设计效率，降低设计门槛。
发明内容
针对现有问题，本发明提出了一种从车身前视图图片(实拍图片或草图)，参数化模型全自动精确提取及生成技术。
本发明的技术方案：
一种汽车前脸参数化模型全自动生成方法，步骤如下：
(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；具体如下，参见附图2：
类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；
类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；
类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；
类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；
类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；
类型六：以上类型均不属于。汽车前脸造型中较为特殊的一类，形状各异，但总数不多。
创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；
以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行；
(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：
采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，对于汽车前脸(右)分为44条特征曲线。每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；特殊备注：曲线F16为从左至右；表中每一组曲线，均在中间连接处为C0连续，即共享一个控制点；针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；
(3)汽车前脸关键点的定义：针对步骤(1)中得到的六类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个。以第一类汽车前脸为例，特征点编号为1-29，其中1-13为汽车前脸外轮廓关键点，14-17为进气格栅轮廓关键点，18-25为前大灯和雾灯关键点，26-29为车标和车牌关键点，如图4所示；利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息。然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；
(4)采用ResNet的车型识别：本发明采用残差网络模型(ResNet)来对汽车前脸图像进行类型分类。该模型克服了神经网络不断增加网络深度所带来的梯度消失或爆炸和准确率退化的问题，使得神经网络往深度发展成为可能，同时提高了卷积神经网络模型在图像分类领域的正确率。ResNet的基本原理扼要表述如下，细节不做赘述。ResNet是由残差块(Residual block)构建，残差块主要进行的计算为“残差映射”，参图5。ResNet就是由很多这样的模块组成。其中残差块中引入了“捷径连接”(shortcut connection)，其在既没有增加多余参数的情况下也没有增加计算复杂度。为了进一步减小计算量，ResNet还采用了“瓶颈结构”，即对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样又将输出的维度变为与输入相同的维度。如此反复进行残差运算。基于前述的残差块、捷径连接和瓶颈结构，ResNet突破了神经网络深度增加出现的网络“退化”问题。ResNet主要包括：ResNet-34、ResNet-50、ResNet-101和ResNet-152等等。本文运用的神经网络为ResNet-50，针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用ResNet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；
(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络(Deep Alignment Network，DAN)方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息，如图6所示；
深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片，和面部关键点的初始化S0；对要提取的所有关键点取平均值即得到S0；第一阶段输出S1；第二阶段，首先对上一阶段的连接层进行转换得到S1，同时得到转换处理后的图片T2(I)、S1所属的热图H2以及上一阶段的fc1层输出。这三个值恰好是现阶段的输入。就这样循环往复，直到最后阶段输出SN。
关键点热度图的计算可以看做是一个中心衰减，关键点的位置值取最大，并随着距离变远儿变小，公式如下所示：
对深度调整网络进行总结：DAN是一个以级联思想为原理来实现关键点检测的方法。关键点热图的引入使得DAN可以在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果。
(6)参数化特征曲线生成：将步骤(4)(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族。具体如下：首先根据步骤3创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤4的检测类型输出，采用类型对应的形变空间，并将步骤5得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。
本发明对比已有技术具有以下创新点：
1)对汽车前视图进行精确自动分类。
2)对汽车前视图关键点全自动提取。
3)对汽车前视图自动生成参数表示模型。
4)对汽车前视图的高精度自动特征标注。
本发明对比已有技术具有以下显著优点：
1)对给定汽车前视图的车型分类、特征点提取、参数化模型生成、图像的特征点和区域标注同步完成，并实现全自动。
2)基于较大规模数据的模型库，算法鲁棒性高、精度高、可移植性强。
附图说明
图1为本发明的流程图。
图2为汽车前视图的车型分类示意图及其训练库。
图3为汽车前视图的一致参数表示模板及其对应的模板库。
图4为汽车前视图的不同类型的关键特征点及其对应的训练库。
图5为基于卷积神经网络的自动车型识别。
图6为基于DAN方法的汽车前脸关键点提取。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
实施例
一种汽车前脸参数化模型全自动生成方法，步骤如下：
(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；具体如下，参见附图2：
类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；
类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；
类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；
类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；
类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；
类型六：以上类型均不属于。汽车前脸造型中较为特殊的一类，形状各异，但总数不多。
创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；
以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行；
(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：
采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，对于汽车前脸(右)分为44条特征曲线。每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；特殊备注：曲线F16为从左至右；表中每一组曲线，均在中间连接处为C0连续，即共享一个控制点；
对于第二类、第三类、第四类和第五类，按如下定义：
针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；
(3)汽车前脸关键点的定义：针对步骤(1)中得到的六类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个。以第一类汽车前脸为例，特征点编号为1-29，其中1-13为汽车前脸外轮廓关键点，14-17为进气格栅轮廓关键点，18-25为前大灯和雾灯关键点，26-29为车标和车牌关键点，如图4所示；
关键点编号、关键点对应曲线及其对应控制点编号及关键点属性描述如下：
利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息。然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；
(4)采用ResNet的车型识别：本发明采用残差网络模型(ResNet)来对汽车前脸图像进行类型分类。该模型克服了神经网络不断增加网络深度所带来的梯度消失或爆炸和准确率退化的问题，使得神经网络往深度发展成为可能，同时提高了卷积神经网络模型在图像分类领域的正确率。ResNet的基本原理扼要表述如下，细节不做赘述。ResNet是由残差块(Residual block)构建，残差块主要进行的计算为“残差映射”，参图5。ResNet就是由很多这样的模块组成。其中残差块中引入了“捷径连接”(shortcut connection)，其在既没有增加多余参数的情况下也没有增加计算复杂度。为了进一步减小计算量，ResNet还采用了“瓶颈结构”，即对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样又将输出的维度变为与输入相同的维度。如此反复进行残差运算。基于前述的残差块、捷径连接和瓶颈结构，ResNet突破了神经网络深度增加出现的网络“退化”问题。ResNet主要包括：ResNet-34、ResNet-50、ResNet-101和ResNet-152等等。本文运用的神经网络为ResNet-50，具体网络卷积参数如下。
针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用ResNet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；
(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络(Deep Alignment Network，DAN)方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息，如图6所示；
深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片，和面部关键点的初始化S0；对要提取的所有关键点取平均值即得到S0；第一阶段输出S1；第二阶段，首先对上一阶段的连接层进行转换得到S1，同时得到转换处理后的图片T2(I)、S1所属的热图H2以及上一阶段的fc1层输出。这三个值恰好是现阶段的输入。就这样循环往复，直到最后阶段输出SN。
关键点热度图的计算可以看做是一个中心衰减，关键点的位置值取最大，并随着距离变远而变小，公式如下所示：
对深度调整网络进行总结：DAN是一个以级联思想为原理来实现关键点检测的方法。关键点热图的引入使得DAN可以在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果。
(6)参数化特征曲线生成：将步骤(4)(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族。具体如下：首先根据步骤3创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤4的检测类型输出，采用类型对应的形变空间，并将步骤5得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。
Claims (1)
1.一种汽车前脸参数化模型全自动生成方法，其特征在于，步骤如下：
(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行进一步说明；
类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；
类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；
类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；
类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；
类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；
类型六：以上类型均不属于，汽车前脸造型中较为特殊的一类，形状各异，但总数不多；
创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：
采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，将汽车前脸分为左侧和右侧，其中一侧分为44条特征曲线，每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；曲线F16为从左至右；表中每一组曲线，均在中间连接处为C0连续，即共享一个控制点；
对于第二类、第三类、第四类和第五类，按如下定义：
针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；
(3)汽车前脸关键点的定义：针对步骤(1)中得到的五类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个；对于第一类到第五类的特征点均相同，编号为1-29，其中1-13为汽车前脸外轮廓关键点，14-17为进气格栅轮廓关键点，18-25为前大灯和雾灯关键点，26-29为车标和车牌关键点；
关键点编号、关键点对应曲线及其对应控制点编号及关键点属性描述如下：
利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息；然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；
(4)采用ResNet的车型识别：采用残差网络模型ResNet对汽车前脸图像进行类型分类；ResNet是由残差块构建，残差块主要进行的计算为“残差映射”；对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样将输出的维度变为与输入相同的维度；如此反复进行残差运算；所述残差网络模型为ResNet-50，具体网络卷积参数如下：
针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用ResNet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；
(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息；
深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片和面部关键点的初始化S0；对要提取的所有关键点取平均值即得到S0；第一阶段输出S1；第二阶段，首先对上一阶段的连接层进行转换得到S1，同时得到转换处理后的图片T2(I)、S1所属的热图H2以及上一阶段的fc1层输出；这三个值恰好是现阶段的输入；循环往复，直到最后阶段输出SN；
关键点热度图的计算看做是一个中心衰减，关键点的位置值取最大，并随着距离变远而变小，公式如下所示：
对深度调整网络进行总结：DAN是一个以级联思想为原理来实现关键点检测的方法；关键点热图的引入使得DAN在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果；
(6)参数化特征曲线生成：将步骤(4)、(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族；具体如下：首先根据步骤(3)创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤(4)的检测类型输出，采用类型对应的形变空间，并将步骤(5)得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810704272.8A CN108932495B (zh) | 2018-07-02 | 2018-07-02 | 一种汽车前脸参数化模型全自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810704272.8A CN108932495B (zh) | 2018-07-02 | 2018-07-02 | 一种汽车前脸参数化模型全自动生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108932495A CN108932495A (zh) | 2018-12-04 |
| CN108932495B true CN108932495B (zh) | 2021-06-08 |
Family
ID=64447154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810704272.8A Expired - Fee Related CN108932495B (zh) | 2018-07-02 | 2018-07-02 | 一种汽车前脸参数化模型全自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108932495B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784154B (zh) * | 2018-12-10 | 2023-11-24 | 平安科技（深圳）有限公司 | 基于深度神经网络的情绪识别方法、装置、设备及介质 |
| CN109858435B (zh) * | 2019-01-29 | 2020-12-01 | 四川大学 | 一种基于脸部图像的小熊猫个体识别方法 |
| CN111581414B (zh) * | 2019-02-18 | 2024-01-16 | 北京京东尚科信息技术有限公司 | 服饰识别、分类及检索的方法、装置、设备及存储介质 |
| CN111815644A (zh) * | 2020-05-21 | 2020-10-23 | 艾瑞迈迪医疗科技（北京）有限公司 | 一种医学影像中患者皮肤面部数据的提取方法和装置 |
| CN111626937A (zh) * | 2020-05-28 | 2020-09-04 | 成都三零凯天通信实业有限公司 | 一种人像超分辨率重建方法 |
| CN112528404B (zh) * | 2020-12-04 | 2023-04-14 | 江南造船(集团)有限责任公司 | 适用于船舶舾装平台的格栅设计方法、装置、介质及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392042A (zh) * | 2014-11-24 | 2015-03-04 | 大连理工大学 | 一种基于模型数据库的快速3d车身造型方法 |
| CN104504462A (zh) * | 2014-12-11 | 2015-04-08 | 南昌大学 | 基于改良灰色bpnn和马氏链的汽车形态进化趋势预测方法 |
| CN106709151A (zh) * | 2016-11-28 | 2017-05-24 | 吉林大学 | 汽车正面25%重叠率碰撞的车身前端结构设计方法 |
| CN107346437A (zh) * | 2017-07-03 | 2017-11-14 | 大连理工大学 | 车身侧视图参数化模型的自动提取方法 |
| CN107357984A (zh) * | 2017-07-03 | 2017-11-17 | 大连理工大学 | 车身前脸造型参数化模型的全自动提取方法 |
| CN108021909A (zh) * | 2017-12-28 | 2018-05-11 | 北京悦畅科技有限公司 | 一种停车场车型预测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI531495B (zh) * | 2012-12-11 | 2016-05-01 | Automatic Calibration Method and System for Vehicle Display System |
-
2018
- 2018-07-02 CN CN201810704272.8A patent/CN108932495B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392042A (zh) * | 2014-11-24 | 2015-03-04 | 大连理工大学 | 一种基于模型数据库的快速3d车身造型方法 |
| CN104504462A (zh) * | 2014-12-11 | 2015-04-08 | 南昌大学 | 基于改良灰色bpnn和马氏链的汽车形态进化趋势预测方法 |
| CN106709151A (zh) * | 2016-11-28 | 2017-05-24 | 吉林大学 | 汽车正面25%重叠率碰撞的车身前端结构设计方法 |
| CN107346437A (zh) * | 2017-07-03 | 2017-11-14 | 大连理工大学 | 车身侧视图参数化模型的自动提取方法 |
| CN107357984A (zh) * | 2017-07-03 | 2017-11-17 | 大连理工大学 | 车身前脸造型参数化模型的全自动提取方法 |
| CN108021909A (zh) * | 2017-12-28 | 2018-05-11 | 北京悦畅科技有限公司 | 一种停车场车型预测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| A Deep Learning-Based Approach to Progressive Vehicle Re-identification for Urban Surveillance;Xinchen Liu et.al;《European Conference on Computer Vision》;20160917;第869-884页 * |
| Online vehicle detection using Haar-like, LBP and HOG feature based image classifiers with stereo vision preselection;Daniel Neumann et.al;《2017 IEEE Intelligent Vehicles Symposium (IV)》;20170731;第773-778页 * |
| 基于学习的汽车概念模型自动建模及其应用;孙玮雪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180415;第C035-22页 * |
| 汽车造型设计过程研究与计算机辅助系统构建;邹方镇;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20150915;第C035-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108932495A (zh) | 2018-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932495B (zh) | 一种汽车前脸参数化模型全自动生成方法 | |
| US8175734B2 (en) | Methods and system for enabling printing three-dimensional object models | |
| CN113298833A (zh) | 目标物点云特征线面提取方法及系统 | |
| CN111914112B (zh) | 一种基于点云分类网络的零件cad模型重用方法 | |
| CN105793848B (zh) | 包括建模步骤的计算机辅助设计方法 | |
| CN109886297A (zh) | 一种用于从二维图像识别三维模型对象的方法 | |
| CN114882272B (zh) | 一种航空制造件全角度投影图像面片属性融合分析方法 | |
| CN114840900A (zh) | 一种基于i-GBDT技术的衍生式BIM构件自动生成方法 | |
| CN112119397A (zh) | 使用机器学习的管道及仪表流程图信息的分类 | |
| CN116740750A (zh) | 一种基于工程图纸的尺寸信息识别的重构方法及装置 | |
| Nagargoje et al. | Development of the geometrical feature extraction tool using DBSCAN clustering for toolpath generation in incremental forming | |
| Takashima et al. | Recognition of free-form features for finite element meshing using deep learning | |
| Aulich et al. | Surrogate estimations of complete flow fields of fan stage designs via deep neural networks | |
| CN111582053A (zh) | 基于特征矩阵的毛坯模型复杂特征分层识别方法 | |
| CN107526859A (zh) | 设计复合零件的外表面 | |
| CN115564891A (zh) | 一种针对现实艺术作品的数字孪生重构方法 | |
| CN112560926B (zh) | 一种自动确定玻璃类型的方法 | |
| CN115393294A (zh) | 基于rgb-d特征分层融合的焊缝检测与分割方法及装置 | |
| Harada et al. | Automatic curve fairing system using visual languages | |
| Rios et al. | Back to meshes: Optimal simulation-ready mesh prototypes for autoencoder-based 3D car point clouds | |
| Takashima et al. | Shape descriptor-based similar feature extraction for finite element meshing | |
| Nasr et al. | A feature–based approach to an integrated CAD/CAPP system in sheet metal blanking dies | |
| CN114207535B (zh) | 用于决定加工条件的方法及装置 | |
| CN117593648B (zh) | 基于弱监督学习的遥感目标建筑物提取方法 | |
| CN114491836B (zh) | 一种基于图像处理与数据驱动的虚拟金刚石工具生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210608 |