CN111026899A - 一种基于深度学习的产品生成方法 - Google Patents

一种基于深度学习的产品生成方法 Download PDF

Info

Publication number
CN111026899A
CN111026899A CN201911262680.3A CN201911262680A CN111026899A CN 111026899 A CN111026899 A CN 111026899A CN 201911262680 A CN201911262680 A CN 201911262680A CN 111026899 A CN111026899 A CN 111026899A
Authority
CN
China
Prior art keywords
image
product
deep learning
design
generation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911262680.3A
Other languages
English (en)
Inventor
苏建宁
李雄
张志鹏
白睿昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201911262680.3A priority Critical patent/CN111026899A/zh
Publication of CN111026899A publication Critical patent/CN111026899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的产品生成方法，包括以下步骤：建立产品图像数据集；数据预处理；构建图像生成模型；构建图像方案二次优选模型；根据优选的图像模型创新设计产品。本申请提供的上述方案，填补现有技术中智能辅助工业设计师生成概念图像的技术空白，通过深度神经网络和GAN为计算机辅助工业设计打开了新的研究思路和方向，将计算机辅助设计与创造推到了设计的最前端，融合创意、激发灵感。

Description

一种基于深度学习的产品生成方法
技术领域
本发明涉及深度学习卷积神经网络技术领域，具体涉及一种基于深度学习的产品生成方法。
背景技术
目前在工业设计行业中，绝大多数产品设计最初的概念都是由工业设计师通过手绘概念图像模式探索设计方向，是一种个人内省式的设计模式。这种设计过程是一种完全由设计师的大脑黑箱操作的方式进行，很难快速实现与团队其他设计师的概念进行融合、发酵和创新；同时，设计师之间是存在能力上的差异的，优秀的设计师与普通设计师的最大差异便是概念生成的速度、数量和质量。因此，在设计之初，研究人员提出各种设计刺激手段激发工业设计师的创作逻辑和灵感。如果让普通设计人员在一定时间内对某个产品生产出5-10个方案是可行，但在同样时间内让其生产出数十种方案，甚是数百种设计方案则几乎无法完成，即便是优秀设计师同样也无法完成。在此种概念生成模式下，每位设计师的想法都是有限的，且设计团队的概念无法快速有效的融合创新，然而客户希望看到更多优质的设计方案，严重影响设计初期的设计效率：概念生成地速度、质量和数量。
发明内容
基于此，为了填补现有技术中智能辅助工业设计师生成概念图像的技术空白，本发明提供了一种基于深度学习的产品生成方法。
本发明提供了一种基于深度学习的产品生成方法，包括以下步骤：
S1：建立产品图像数据集；
S2：数据预处理；
S3：构建图像生成模型；
S4：构建图像方案二次优选模型；
S5：根据优选的图像模型创新设计产品。
在其中一个实施例中，所述建立产品图像数据集包括：
S11：根据目标设计任务确定图像搜集方向，根据目标任务绘制产品图像；
S12：应用网络爬虫技术从目标网站上爬取目标任务图片；
在其中一个实施例中，所述数据预处理包括：
应用图片筛选器和图片格式转换器进行图像筛选、像素处理，并应用图片裁切器将筛选后的图片裁切成预设尺寸。
在其中一个实施例中，在所述数据预处理，还包括：图像降噪和数据增广，应用深度卷积网络对产品图像进行降噪处理，应用数据增广技术扩充样本数量。
在其中一个实施例中，在所述数据预处理之后，还包括：
图像分类和标注，应用神经卷积神经网络对图像数据进行属性预测。
在其中一个实施例中，在所述构建图像方案二次优选模型之后，还包括：
通过梯度下降法对抗训练优选模型；
生成产品概念设计样本；
聚类优选生成的设计样本。
本发明的有益效果：
本发明提供的一种基于深度学习的产品生成方法，填补现有技术中智能辅助工业设计师生成概念图像的技术空白，通过深度神经网络和GAN为计算机辅助工业设计打开了新的研究思路和方向，将计算机辅助设计与创造推到了设计的最前端，融合创意、激发灵感。
附图说明
图1为本发明一实施例中基于深度学习的产品生成方法流程图；
图2为本发明一实施例中INR-DCNN网络结构；
图3为本发明一实施例中AID-DCNN网络结构；
图4为本发明一实施例中产品图像生成模型结构；
图5为本发明一实施例中产品图像判别模型结构。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
如图1-5所示，本发明一实施例中，一种基于深度学习的产品生成方法，包括以下步骤：S1：建立产品图像数据集；S2：数据预处理；S3：构建图像生成模型；S4：构建图像方案二次优选模型；S5：根据优选的图像模型创新设计产品。
采用上述技术方案，填补现有技术中智能辅助工业设计师生成概念图像的技术空白，通过深度神经网络和GAN为计算机辅助工业设计打开了新的研究思路和方向，将计算机辅助设计与创造推到了设计的最前端，融合创意、激发灵感。
为了融合设计概念，产品图像数据由两部份构成。其一，设计团队依据目标设计任务绘制的产品概念图像；其二，根据目标设计任务利用网络爬虫技术自动爬取目标产品的图像样本(可包括产品图片)；
对所有图像样本进行预处理，预处理包括图像筛选、像素处理、统一尺寸，包括四个模块：图片筛选模块、图片转换模块、INR-DCNN降噪模块和数据增广模块。图片筛选模块应用条件筛选器自动筛选，其筛选条件为宽度(像素范围)、高度(像素范围)、宽高比(像素范围)、文件大小(范围)等条件进行批量自动筛选，并对筛选出的图片进行批量自动重命名(通常按序号自动命名)；图片的像素和尺寸应用图片转换器，统一将所有筛选后的图像样本转换成相同格式(通常为*.jpg)，并统一所有图像样本的尺寸，包含两种尺寸规格：正方形(w×w)和矩形(h×w)，单位均为像素pixel；图像降噪模块：基于卷积神经网络构建图像降噪卷积神经网络(Image Noise Reduction DCNN,INR-DCNN)，其网络结构见图2，参数设置如下表1所示(以h＝256，w＝256为例)，采用卷积层和转置卷积层对称结构降噪；数据增广模块：应用数据增广技术批量扩充产品图像数据，包括正负15度随机旋转图像和随机变化产品色彩。
表1产品图像降噪卷积神经网络INR-DCNN结构
序号 层 类型 卷积核尺寸k 卷积核数目 步长s 像素填补p 膨胀值d 偏置 输出尺寸
0 L0 Input -- -- -- -- -- 3×256×256
1 L1 Conv2d 6×6 32 {1,1} {1,1} {1,1} True 32×253×253
2 L2 BN2d -- -- -- -- -- 32×253×253
3 L3 Ramp -- -- -- -- -- 32×253×253
4 L4 Conv2d 3×3 64 {1,1} {1,1} {1,1} True 64×253×253
5 L5 BN2d -- -- -- -- -- 64×253×253
6 L6 Ramp -- -- -- -- -- 64×253×253
7 L7 Conv2d 3×3 128 {1,1} {1,1} {1,1} True 128×253×253
8 L8 BN2d -- -- -- -- -- 128×253×253
9 L9 Ramp -- -- -- -- -- 128×253×253
10 L10 Conv2d 1x1 128 {1,1} {0,0} {1,1} True 128×253×253
11 L11 BN2d -- -- -- -- -- 128×253×253
12 L12 Ramp -- -- -- -- -- 128×253×253
13 L13 Deconv2d 3×3 128 {1,1} {1,1} -- True 128×253×253
14 L14 BN2d -- -- -- -- -- 128×253×253
15 L15 LeakyReLU -- -- -- -- -- 128×253×253
16 L16 Deconv2d 3×3 64 {1,1} {1,1} -- True 64×253×253
17 L17 BN2d -- -- -- -- -- 64×253×253
18 L18 LeakyReLU -- -- -- -- -- 64×253×253
19 L19 Deconv2d 3×3s 32 {1,1} {1,1} -- True 32×253×253
20 L20 BN2d -- -- -- -- -- 32×253×253
21 L21 LeakyReLU -- -- -- -- -- 32×253×253
22 L22 Deconv2d 6×6 3 {1,1} {1,1} -- True 3×256×256
23 L23 BN2d -- -- -- -- -- 3×256×256
24 L24 LeakyReLU -- -- -- -- -- 3×256×256
Output -- -- -- -- -- 3×256×256
其中，Conv2d是卷基层，BN2d为批归一化层，Deconv2d为转置卷积层，Ramp 斜坡函数，即ReLU激活层，以及LeakyReLU激活层。
其目标函数为
Figure BDA0002311992850000041
其中，距离采用2范进行计算；n为每个训练批次的样本数量；w为图像的宽度，h为图像的高度；i，j，k为计数标记符。G为INR-DCNN降噪后的产品图像；X为含有噪声的原始产品图像。
图像分类和标注：应用深度卷积神经网络(DCNN)构建产品情感意象判别深度卷积神经网络(affective image discrimination DCNN，AID-DCNN)，其网络结构如图3所示，参数设置如表2所列。AID-DCNN可对图像进行判别和设计方向引导标注(dy)。设计方向引导即产品形态情感意象类型，批量处理图像与设计方向引导标签dy一一对应，标签采用one-hot编码。
表2产品图像分类深度卷积神经网络AID-DCNN结构
Figure BDA0002311992850000042
Figure BDA0002311992850000051
由于是分类问题，本发明使用交叉熵损失函数
Figure BDA0002311992850000052
对图像进行降低维度分类展示，应用t-SNE对产品图像数据进行降维，并分类展示，其目的在于后续的对比二次优选生成图像方案。
对产品图像进行数据转换，读取图像像素数据并转换成二维矩阵数据，然后以文本*.txt分批次保存。将数据打包，分为三类数据：训练用数据、测试用数据和生成用数据。其核心过程为读-写-读，即首先，读图像像素数据；然后，将像素数据写成矩阵数据并保存到此盘；最后，在训练、测试和生成时按批次读取矩阵数据。
构建随机输入噪声矩阵：通过模拟高斯白噪声，构建均值μ＝0，标准差σ＝1的正态分布伪随机实数100个，并通过列表的形式构建出100×100的伪随机实数张量z。
构建图像生成模型：基于深度转置卷积神经网络构建图像生成模型Gsketch，在Gsketch模型中输入伪随机张量z和设计方向引导标签dy，其网络结构如表3所示。
表3产品图像生成模型Gsketch的网络结构参数
Figure BDA0002311992850000053
Figure BDA0002311992850000061
其损失函数为：
Figure BDA0002311992850000062
其中，
Figure BDA0002311992850000063
是图像生成失函数logD(x,dy)的期望，
Figure BDA0002311992850000064
是图像生成损失函数log(1-D(x,G(x,z)))的期望；转置卷积层运算输出公式：
[H,W]out＝([Hin,Win]-1)×Stride-2×Padding+Dilation×(KernelSize-1)+OutputPadding+1 (4)
卷积层运算输出公式：
Figure BDA0002311992850000065
其中，[Hout,Wout]为卷积后输出尺寸，[Hin,Win]为卷积输入，Stride卷积步长，Padding为边缘像素填充，KernelSize为卷积核尺寸,Dilation为膨胀值。
构建产品图像判别模型：基于深度卷积神经网络构建判别模型Dsketch
表4图像判别模型Dsketch的网络结构参数
Figure BDA0002311992850000066
Figure BDA0002311992850000071
其损失函数为：
Figure BDA0002311992850000072
Figure BDA0002311992850000073
Figure BDA0002311992850000074
Figure BDA0002311992850000075
训练图像生成模型Gsketch和图像判别模型Dsketch：训练模型Dsketch使得D(x,dy)最大化，即判别真实图像的概率接近于1；训练模型Dsketch使得D(x,G(x,z))最小化，即判别生成模型Gsketch生成真实图像的概率接近于0。训练图像生成模型Gsketch使得D(x,G(x,z))接近于1，即最大化图像生成模型Gsketch的能力，让生成的图像接近真实的概率接近于1。
生成概念设计图像：将伪随机矩阵z和设计方向引导标签dy输入到上述步骤训练好的图像生成模型Gsketch中，得到指定设计方向的概念图像，即生成目标样本图像。
依据分类展示和目标设计任务进行二次聚类优选图像生成模型Gsketch生成的目标图像样本，从而获得理想的目标图像样本。
规范图像设计方案：工业设计师根据生成的理想目标图像样本进行规范性产品设计，另外，设计师师也可根据Gsketch生成的概念图像进行二次概念设计图像创作。
交互性生成：将获得的规范性图像(或二次创作的概念图像)进行二次概念图像生成探索人与机器深入合作，从而探寻新的设计方案。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (6)

1.一种基于深度学习的产品生成方法，其特征在于，包括以下步骤：
S1：建立产品图像数据集；
S2：数据预处理；
S3：构建图像生成模型；
S4：构建图像方案二次优选模型；
S5：根据优选的图像模型创新设计产品。
2.根据权利要求1所述的基于深度学习的产品生成方法，其特征在于，所述建立产品图像数据集包括：
S11：根据目标设计任务确定图像搜集方向，根据目标任务绘制产品图像；
S12：应用网络爬虫技术从目标网站上爬取目标任务图片。
3.根据权利要求1所述的基于深度学习的产品生成方法，其特征在于，所述数据预处理包括：
应用图片筛选器和图片格式转换器进行图像筛选、像素处理，并应用图片裁切器将筛选后的图片裁切成预设尺寸。
4.根据权利要求1所述的基于深度学习的产品生成方法，其特征在于，所述数据预处理还包括：
降噪处理和数据增广。
5.根据权利要求1所述的基于深度学习的产品生成方法，其特征在于，在所述数据预处理之后，还包括：
图像分类和标注，即多维情感意象判别器，应用神经卷积神经网络对图像数据进行感性意象属性预测。
6.根据权利要求1所述的基于深度学习的产品生成方法，其特征在于，在所述构建图像方案二次优选模型之后，还包括：
通过梯度下降法对抗训练优选模型；
生成产品概念设计样本；
聚类优选生成的设计样本。
CN201911262680.3A 2019-12-11 2019-12-11 一种基于深度学习的产品生成方法 Pending CN111026899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911262680.3A CN111026899A (zh) 2019-12-11 2019-12-11 一种基于深度学习的产品生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911262680.3A CN111026899A (zh) 2019-12-11 2019-12-11 一种基于深度学习的产品生成方法

Publications (1)

Publication Number Publication Date
CN111026899A true CN111026899A (zh) 2020-04-17

Family

ID=70205417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911262680.3A Pending CN111026899A (zh) 2019-12-11 2019-12-11 一种基于深度学习的产品生成方法

Country Status (1)

Country Link
CN (1) CN111026899A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111728302A (zh) * 2020-06-30 2020-10-02 深兰人工智能芯片研究院（江苏）有限公司 服装设计方法和装置
CN112380777A (zh) * 2020-11-25 2021-02-19 杭州知衣科技有限公司 一种基于深度学习的服装线稿生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109102009A (zh) * 2018-07-27 2018-12-28 西安理工大学 基于生成对抗网络的包装盒自动设计方法
CN109147010A (zh) * 2018-08-22 2019-01-04 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN110223358A (zh) * 2019-05-27 2019-09-10 铸视(上海)科技有限公司 可视图案设计方法、训练方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109102009A (zh) * 2018-07-27 2018-12-28 西安理工大学 基于生成对抗网络的包装盒自动设计方法
CN109147010A (zh) * 2018-08-22 2019-01-04 广东工业大学 带属性人脸图像生成方法、装置、系统及可读存储介质
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN110223358A (zh) * 2019-05-27 2019-09-10 铸视(上海)科技有限公司 可视图案设计方法、训练方法、装置、系统及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LI XIONG等: "Product innovation concept generation based on deep learning and Kansei engineering", 《JOURNAL OF ENGINEERING DESIGN》 *
丁满等: "基于生成对抗网络的产品色彩智能设计方法", 《机械设计》 *
包瑞清: "基于机器学习的风景园林智能化分析应用研究", 《风景园林》 *
朱斌: "基于深度学习的产品情感化智能设计", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
苏建宁等: "模拟设计思维过程的产品意象形态设计研究", 《图学学报》 *
谢志峰: "基于生成对抗网络的HDR图像风格迁移技术", 《上海大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111728302A (zh) * 2020-06-30 2020-10-02 深兰人工智能芯片研究院（江苏）有限公司 服装设计方法和装置
CN112380777A (zh) * 2020-11-25 2021-02-19 杭州知衣科技有限公司 一种基于深度学习的服装线稿生成方法

Similar Documents

Publication Publication Date Title
US11687781B2 (en) Image classification and labeling
US10410353B2 (en) Multi-label semantic boundary detection system
CN101253514B (zh) 文档可视结构的语法剖析
JP2022541199A (ja) データテーブルの画像表現に基づいて構造化されたデータベースにデータ挿入するためのシステムおよび方法。
DE102016013487A1 (de) Semantischer Vektorraum mit natürlicher Sprache
CN109409384A (zh) 基于细粒度图像的图像识别方法、装置、介质及设备
US20220180624A1 (en) Method and device for automatic identification of labels of an image
Obaidullah et al. Numeral script identification from handwritten document images
Jindal et al. Offline handwritten Gurumukhi character recognition system using deep learning
CN111026899A (zh) 一种基于深度学习的产品生成方法
CN109034213A (zh) 基于相关熵原则的高光谱图像分类方法和系统
Bonechi et al. Generating bounding box supervision for semantic segmentation with deep learning
DE202022002902U1 (de) Iteratives Training für einen Text-Bild-Layout-Transformer
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN111553361B (zh) 一种病理切片标签识别方法
Vafaie et al. Handwritten and printed text identification in historical archival documents
CN114913382A (zh) 一种基于CBAM-AlexNet卷积神经网络的航拍场景分类方法
Liu et al. Identification of serial number on bank card using recurrent neural network
Manimozhi An efficient translation of Tulu to Kannada south Indian scripts using optical character recognition
CN111046934B (zh) 一种swift报文软条款识别方法及装置
Scius-Bertrand et al. Annotation-free character detection in historical Vietnamese stele images
Huang et al. An image dataset of fusulinid foraminifera generated with the aid of deep learning
Hijam et al. Convolutional neural network based Meitei Mayek handwritten character recognition
Bureš et al. Semantic text segmentation from synthetic images of full-text documents
Wang et al. Deep learning for font recognition and retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication