CN109523640A - 深度学习缺陷数据集方法、系统及电子设备 - Google Patents
深度学习缺陷数据集方法、系统及电子设备 Download PDFInfo
- Publication number
- CN109523640A CN109523640A CN201811220076.XA CN201811220076A CN109523640A CN 109523640 A CN109523640 A CN 109523640A CN 201811220076 A CN201811220076 A CN 201811220076A CN 109523640 A CN109523640 A CN 109523640A
- Authority
- CN
- China
- Prior art keywords
- picture
- deep learning
- scene
- defective data
- dummy object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Architecture (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种深度学习缺陷数据集方法、系统及电子设备，属于计算机应用技术领域。所述方法包括：获取三维物体模型；将所述三维物体模型导入虚拟场景中，得到虚拟物体场景；通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改虚拟物体场景的环境参数，从而得到不同的虚拟物体场景；采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。上述深度学习缺陷数据集方法、系统及电子设备能够实现深度学习缺陷数据集的快速构建，降低了构建缺陷数据集的时间成本，并且缺陷数据集中的缺陷图片丰富全面，保证了后续进行深度学习识别时的准确性。
Description
技术领域
本发明涉及计算机应用技术领域，特别涉及一种深度学习缺陷数据集方法、系统及电子设备。
背景技术
在人工智能有监督学习领域中，深度学习时通常需要构建一个稳定可靠的深度学习模型，而这就要求具备大量样本数据的训练数据集。例如，在进行物体的缺陷检测时，需要预先准备大量的缺陷图片。
然而，现实生活中很难采集到缺陷图片，甚至根本采集不到缺陷图片，而且人工采集时需要对物体进行缺陷处理，导致时间成本和经济成本均很高。由于无法预测物体出现缺陷的可能性，即物体的缺陷图片可能各式各样，当训练数据集中的缺陷图片并不全面时，可能出现训练数据集中并不存在物体出现缺陷的图片，导致深度学习时对物体识别错误，严重影响了深度学习时识别的准确率。
发明内容
为了解决相关技术中深度学习缺陷数据集的缺陷数据并不全面的技术问题，本发明提供了一种深度学习缺陷数据集方法、系统及电子设备。
第一方面，提供了一种深度学习缺陷数据集方法，包括：
获取三维物体模型；
将所述三维物体模型导入虚拟场景中，得到虚拟物体场景；
通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改所述虚拟物体场景的环境参数；
采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
可选的，所述获取三维物体模型的步骤包括：
获取物体的CAD图纸；
根据所述CAD图纸构建三维物体模型。
可选的，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤之前，所述方法还包括：
调整所述虚拟物体场景中虚拟场景的属性参数；
通过所述属性参数的调整，形成多种虚拟场景。
可选的，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤包括：
确定不同的相机参数；
针对每一个相机参数，生成经过修改后的所述虚拟物体场景在所述相机参数下的图片；
通过不同相机参数的图片构建深度学习缺陷数据集。
可选的，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤包括：
采集经过修改后的所述虚拟物体场景在不同相机参数下的图片；
向所述图片中加入噪声数据，得到噪声图片；
通过所述噪声图片构建深度学习缺陷数据集。
第二方面，提供了一种深度学习缺陷数据集系统，包括：
三维物体模型获取模块，用于获取三维物体模型；
三维物体模型导入模块，用于将所述三维物体模型导入虚拟场景中，得到虚拟物体场景；
修改模块，用于通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改所述虚拟物体场景的环境参数；
图片采集模块，用于采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
可选的，所述三维物体模型获取模块包括：
CAD图纸单元，用于获取物体的CAD图纸；
三维物体模型构建单元，用于根据所述CAD图纸构建三维物体模型。
可选的，所述系统还包括：
属性参数调整模块，用于调整所述虚拟物体场景中虚拟场景的属性参数；
多种虚拟场景形成模块，用于通过所述属性参数的调整，形成多种虚拟场景。
可选的，所述图片采集模块包括：
图片采集单元，用于采集经过修改后的所述虚拟物体场景在不同相机参数下的图片；
噪声数据加入单元，用于向所述图片中加入噪声数据，得到噪声图片；
缺陷数据集构建单元，用于通过所述噪声图片构建深度学习缺陷数据集。
第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
第四方面，提供了一种计算机可读性存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如第一方面的方法。
通过本发明的实施例提供的技术方案能够得到以下有益效果：
在获取三维物体模型后，将所述三维物体模型导入虚拟场景中得到虚拟物体场景，并通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改虚拟物体场景的环境参数，最后通过采集经过修改后的所述虚拟物体场景在不同相机参数下的图片形成深度学习缺陷数据集，从而实现深度学习缺陷数据集的快速构建，降低了构建缺陷数据集的时间成本，并且缺陷数据集中的缺陷图片丰富全面，保证了后续进行深度学习识别时的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种深度学习缺陷数据集方法流程图。
图2是根据图1对应实施例示出的深度学习缺陷数据集方法中步骤S110的一种具体实现流程图。
图3是根据图1对应实施例示出的深度学习缺陷数据集方法中步骤S140的一种具体实现流程图。
图4是根据图1对应实施例示出的深度学习缺陷数据集方法中步骤S140的另一种具体实现流程图。
图5是根据图1对应实施例示出的另一种深度学习缺陷数据集方法。
图6是根据一示例性实施例示出的一种深度学习缺陷数据集系统的框图。
图7是根据图6对应实施例示出的深度学习缺陷数据集系统中深度学习模块110的一种框图。
图8是根据图6对应实施例示出的另一种深度学习缺陷数据集系统的框图。
图9是根据图6对应实施例示出的深度学习缺陷数据集系统中深度学习模块140的一种框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的系统和方法的例子。
图1是根据一示例性实施例示出的一种深度学习缺陷数据集方法流程图，该深度学习缺陷数据集方法可用于智能手机、电脑等电子设备中。如图1所示，该深度学习缺陷数据集方法可以包括步骤S110、步骤S120、步骤S130、步骤S140。
步骤S110，获取三维物体模型。
三维物体模型是物体的多边形表示。
三维物体模型可以利用三维软件建模而成的；也可以是通过仪器设备测量建模而成的；也可以是利用图像或者视频建模生成的；还可以是通过其它方式而获取得到的。
可选的，如图2所示，步骤S110可以包括步骤S111、步骤S112。
步骤S111，获取物体的CAD图纸。
CAD图纸指的就是一个模型的六面视图。例如，正视图、后视图、左视图、右视图、俯视图、仰视图。
步骤S112，根据CAD图纸构建三维物体模型。
根据CAD图纸构建三维物体模型时可通过各种建模工具实现，在此不进行一一描述。
步骤S120，将三维物体模型导入虚拟场景中，得到虚拟物体场景。
虚拟场景是对现实场景进行仿真模拟的环境场景。
在一示例性实施例中，可使用Unity等三维场景构建软件建立虚拟场景。
可选的，虚拟场景与现实场景之间的比例为1:1。
如果虚拟场景与现实场景之间的比例不是1:1，可对构建的虚拟场景进行缩放处理，从而使最终的虚拟场景与现实场景之间的比例为1:1，保证后续对物体进行识别的准确性。
可选的，在将三维物体模型导入虚拟场景时，还可对三维物体模型进行旋转。旋转时可以根据现实场景中测量相关的角度，然后通过场景编辑软件对三维物体模型进行旋转角度的编辑，从而保证三维物体模型在虚拟场景中的角度与现实场景中角度一致。
步骤S130，通过着色器对虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改虚拟物体场景的环境参数。
缺陷修改是根据现实情况对物体的可能缺陷进行三维物体模型修改。
着色器主要包括顶点操作和像素着色器。
顶点操作可以删除部分顶点，从而导致三维物体模型缺陷。像素着色器可以修改区域颜色，即改变三维物体模型不同位置的颜色，如生锈。顶点操作可使用随机数法确定顶点删除，改变颜色时可采用固定颜色区域后再随机选取区域内颜色进行颜色修改。
例如，通过编写shader文件，对三维物体模型进行如形状改变、颜色改变等方式的修改。形状改变可包括切除部分(如绝缘子的破损)、变形(如直导线变弯)、颜色改变(如平行挂板的生锈)等，颜色改变可包括改变三维物体模型中各位置的颜色，从而改变三维物体模型的形状或颜色等。
对三维物体模型进行缺陷修改时，可以加入随机化的选择因素，从而使三维物体模型的形状或颜色修改更加随机化，与现实场景更加匹配。
另外，通过随机修改虚拟物体场景的环境参数，使虚拟物体场景也更加随机化，与现实场景更加匹配。
步骤S140，采集经过修改后的虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
可以理解的是，物体在现实场景中的角度是随机的，而且现实场景中的环境属性也是随机的。
因此，通过设置不同的相机参数，并采集经过修改后的虚拟物体场景在不同相机参数下的图片，使采集的图片更加全面。
可选的，如图3所示，步骤S140可以包括步骤S141、步骤S142、步骤S143。
步骤S141，确定不同的相机参数。
相机参数包括相机位置、相机旋转角度、相机焦距等参数。
步骤S142，针对每一个相机参数，生成经过修改后的虚拟物体场景在相机参数下的图片。
设置虚拟相机，按照确定的相机参数对虚拟摄像头的属性参数进行修改，进而通过虚拟相机对虚拟物体场景进行图像采集即可得到在相应相机参数下的图片。
可选的，按照一定规律设置相机参数(例如相机位置和旋转角度)，即可完成对虚拟物体场景360度的拍照。
例如，unity中是自带虚拟相机的，程序文件只需要获取虚拟相机的相机参数，在进行相应的格式转换成图片格式即可，图片转换相关可参考unity官方文档。
步骤S143，通过不同相机参数的图片构建深度学习缺陷数据集。
可选的，如图4所示，步骤S140还可以包括步骤S145、步骤S146、步骤S147。
步骤S145，采集经过修改后的虚拟物体场景在不同相机参数下的图片。
步骤S146，向图片中加入噪声数据，得到噪声图片。
噪声数据是指对正常数据有干扰的数据，例如车牌数据上的一些淤泥、其他杂质等。
通过向图片中加入噪声数据，在虚拟物体场景中的上面添加其他的污点，在导出图片是对图片做些模糊化等操作都可以算是噪声数据。
噪声数据作用在于更加真实地模拟现实环境的效果，其次用于增强深度学习缺陷数据集的丰富性，这样生成的图片并没有太过于理想化，而是接近现实场景。
噪声数据可通过shader产生，如添加多余的顶点，修改超出设置区域范围内的颜色等等。一个shader是可以同时干多个工作的，即完成模型缺陷后也可以同时添加一些早上数据。也可以在图片生成之后加入墨迹点、局部变暗等。
步骤S147，通过噪声图片构建深度学习缺陷数据集。
利用如上所述的方法，在获取三维物体模型后，将三维物体模型导入虚拟场景中得到虚拟物体场景，并通过着色器对虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改虚拟物体场景的环境参数，最后通过采集经过修改后的虚拟物体场景在不同相机参数下的图片形成深度学习缺陷数据集，从而实现深度学习缺陷数据集的快速构建，降低了构建缺陷数据集的时间成本，并且缺陷数据集中的缺陷图片丰富全面，保证了后续进行深度学习识别时的准确性。
可选的，如图5所示，在图1对应实施例示出的深度学习缺陷数据集方法中，步骤S140之前，该深度学习缺陷数据集方法还可以包括以下步骤。
步骤S210，调整虚拟物体场景中虚拟场景的属性参数。
可以理解的是，由于现实场景的多样性以及随机性，为进一步使采集的缺陷图片与现实场景之间更加匹配，在采集缺陷图片之前，通过调整虚拟物体场景中虚拟场景的属性参数，生成各种不同属性参数的虚拟场景。
例如，虚拟场景建好导入到unity之后，通过添加环境光等环境因素，unity中有默认光源和其他的一些环境因素，如天气因素(包括但不限于阴天、晴天、雨天、雾天)。当光源添加后，只需要编写代码获取光源属性，如亮度、柔和度，之后对其进行赋值操作(如light＝1)即可完成环境光的变化操作，其他的环境参数修改也是一样的操作。
步骤S220，通过属性参数的调整，形成多种虚拟场景。
需要说明的是，在采集经过修改后的虚拟物体场景在不同相机参数下的图片之前，可在将三维物体模型导入虚拟场景中之前进行虚拟场景的调整，也可在将三维物体模型导入虚拟场景中之后进行虚拟场景的调整，在此不对调整虚拟场景的时间进行限定。
优选地，可在将三维物体模型导入虚拟场景中之后进行虚拟场景的调整，从而可以和三维物体模型的缺陷修改并行操作，增加排列组合的种类，使最终采集的缺陷图片更加丰富。
下述为本发明系统实施例，可以用于执行上述深度学习缺陷数据集方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明深度学习缺陷数据集方法实施例。
图6是根据一示例性实施例示出的一种深度学习缺陷数据集系统的框图，该系统包括但不限于：三维物体模型获取模块110、三维物体模型导入模块120、修改模块130及图片采集模块140。
三维物体模型获取模块110，用于获取三维物体模型；
三维物体模型导入模块120，用于将三维物体模型导入虚拟场景中，得到虚拟物体场景；
修改模块130，用于通过着色器对虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改所述虚拟物体场景的环境参数；
图片采集模块140，用于采集经过修改后的虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
上述系统中各个模块的功能和作用的实现过程具体详见上述深度学习缺陷数据集方法中对应步骤的实现过程，在此不再赘述。
可选的，图7是根据图6对应实施例示出的深度学习缺陷数据集系统中三维物体模型获取模块110的框图，如图7所示，三维物体模型获取模块110包括但不限于：CAD图纸单元111、三维物体模型构建单元112。
CAD图纸单元111，用于获取物体的CAD图纸；
三维物体模型构建单元112，用于根据CAD图纸构建三维物体模型。
可选的，图8是根据图6对应实施例示出的另一种深度学习缺陷数据集系统的框图，如图8所示，该深度学习缺陷数据集系统还包括但不限于：属性参数调整模块210、多种虚拟场景形成模块220。
属性参数调整模块210，用于调整虚拟物体场景中虚拟场景的属性参数；
多种虚拟场景形成模块220，用于通过属性参数的调整，形成多种虚拟场景。
可选的，图9是根据图6对应实施例示出的深度学习缺陷数据集系统中图片采集模块140的框图，如图9所示，图片采集模块140包括但不限于：标记单元221、图像特征提取单元222、训练单元223。
图片采集单元145，用于采集经过修改后的虚拟物体场景在不同相机参数下的图片；
噪声数据加入单元146，用于向图片中加入噪声数据，得到噪声图片；
缺陷数据集构建单元147，用于通过噪声图片构建深度学习缺陷数据集。
图10是根据一示例性实施例示出的一种电子设备100的框图。参考图10，电子设备100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，电子设备100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。
处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static RandomAccess Memory，静态随机存取存储器)，EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable ReadOnly Memory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成上述任一所示方法中的全部或者部分步骤。
电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
图像采集组件105被配置为采集图像或视频。例如，图像采集组件105包括一个摄像头，当电子设备100处于操作模式，摄像头被配置为拍摄外部图像。所采集的图像可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，图像采集组件105还包括一个扫描仪等。
传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测电子设备100或电子设备100一个组件的坐标改变以及电子设备100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。
通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared DataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。
在示例性实施例中，电子设备100可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
该实施例中的电子设备中处理器执行操作的具体方式已经在有关该深度学习缺陷数据集方法的实施例中执行了详细描述，此处将不再做详细阐述说明。
可选的，本发明还提供一种电子设备，执行上述任一所示的深度学习缺陷数据集方法的全部或者部分步骤。该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。
该实施例中的电子设备中处理器执行操作的具体方式已经在有关该深度学习缺陷数据集方法的实施例中执行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由电子设备100的处理器109执行以完成上述深度学习缺陷数据集方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种深度学习缺陷数据集的构建方法，其特征在于，所述方法包括：
获取三维物体模型；
将所述三维物体模型导入虚拟场景中，得到虚拟物体场景；
通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改所述虚拟物体场景的环境参数；
采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
2.根据权利要求1所述的方法，其特征在于，所述获取三维物体模型的步骤包括：
获取物体的CAD图纸；
根据所述CAD图纸构建三维物体模型。
3.根据权利要求1所述的方法，其特征在于，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤之前，所述方法还包括：
调整所述虚拟物体场景中虚拟场景的属性参数；
通过所述属性参数的调整，形成多种虚拟场景。
4.根据权利要求1所述的方法，其特征在于，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤包括：
确定不同的相机参数；
针对每一个相机参数，生成经过修改后的所述虚拟物体场景在所述相机参数下的图片；
通过不同相机参数的图片构建深度学习缺陷数据集。
5.根据权利要求1所述的方法，其特征在于，所述采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集的步骤包括：
采集经过修改后的所述虚拟物体场景在不同相机参数下的图片；
向所述图片中加入噪声数据，得到噪声图片；
通过所述噪声图片构建深度学习缺陷数据集。
6.一种深度学习缺陷数据集系统，其特征在于，所述系统包括：
三维物体模型获取模块，用于获取三维物体模型；
三维物体模型导入模块，用于将所述三维物体模型导入虚拟场景中，得到虚拟物体场景；
缺陷修改模块，用于通过着色器对所述虚拟物体场景中的三维物体模型进行缺陷修改，并随机修改所述虚拟物体场景的环境参数；
图片采集模块，用于采集经过修改后的所述虚拟物体场景在不同相机参数下的图片，形成深度学习缺陷数据集。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
属性参数调整模块，用于调整所述虚拟物体场景中虚拟场景的属性参数；
多种虚拟场景形成模块，用于通过所述属性参数的调整，形成多种虚拟场景。
8.根据权利要求6所述的系统，其特征在于，所述图片采集模块包括：
图片采集单元，用于采集经过修改后的所述虚拟物体场景在不同相机参数下的图片；
噪声数据加入单元，用于向所述图片中加入噪声数据，得到噪声图片；
缺陷数据集构建单元，用于通过所述噪声图片构建深度学习缺陷数据集。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得服务器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811220076.XA CN109523640A (zh) | 2018-10-19 | 2018-10-19 | 深度学习缺陷数据集方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811220076.XA CN109523640A (zh) | 2018-10-19 | 2018-10-19 | 深度学习缺陷数据集方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109523640A true CN109523640A (zh) | 2019-03-26 |
Family
ID=65770980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811220076.XA Pending CN109523640A (zh) | 2018-10-19 | 2018-10-19 | 深度学习缺陷数据集方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523640A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120091A (zh) * | 2019-04-28 | 2019-08-13 | 深圳供电局有限公司 | 电力巡检图像样本制作方法、装置和计算机设备 |
| CN117030724A (zh) * | 2023-10-09 | 2023-11-10 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100085358A1 (en) * | 2008-10-08 | 2010-04-08 | Strider Labs, Inc. | System and method for constructing a 3D scene model from an image |
| CN106504339A (zh) * | 2016-11-09 | 2017-03-15 | 四川长虹电器股份有限公司 | 基于虚拟现实的文物3d展示方法 |
| CN107610225A (zh) * | 2017-11-02 | 2018-01-19 | 重庆市勘测院 | 一种倾斜摄影实景三维模型单体化方法 |
| CN107690672A (zh) * | 2017-07-25 | 2018-02-13 | 深圳前海达闼云端智能科技有限公司 | 训练数据生成方法、生成装置及其图像语义分割方法 |
| US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
| CN108335260A (zh) * | 2018-02-02 | 2018-07-27 | 网易（杭州）网络有限公司 | 一种游戏场景图像处理方法、装置、存储介质及电子装置 |
-
2018
- 2018-10-19 CN CN201811220076.XA patent/CN109523640A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100085358A1 (en) * | 2008-10-08 | 2010-04-08 | Strider Labs, Inc. | System and method for constructing a 3D scene model from an image |
| CN106504339A (zh) * | 2016-11-09 | 2017-03-15 | 四川长虹电器股份有限公司 | 基于虚拟现实的文物3d展示方法 |
| US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
| CN107690672A (zh) * | 2017-07-25 | 2018-02-13 | 深圳前海达闼云端智能科技有限公司 | 训练数据生成方法、生成装置及其图像语义分割方法 |
| CN107610225A (zh) * | 2017-11-02 | 2018-01-19 | 重庆市勘测院 | 一种倾斜摄影实景三维模型单体化方法 |
| CN108335260A (zh) * | 2018-02-02 | 2018-07-27 | 网易（杭州）网络有限公司 | 一种游戏场景图像处理方法、装置、存储介质及电子装置 |
Non-Patent Citations (6)
| Title |
|---|
| NIKOLAUS MAYER 等: ""A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVRR)》, 12 December 2016 (2016-12-12), pages 4043 * |
| YINGYING QIN 等: ""Generating images for Imbalanced Dataset Problem"", 《2017 36TH CHINESE CONTROL CONFERENCE(CCC)》, 28 July 2017 (2017-07-28), pages 10931 - 10932 * |
| YINGYING QIN 等: ""Generating images for Imbalanced Dataset Problem"", 《2017 36TH CHINESE CONTROL CONFERENCE(CCC)》, pages 10930 - 10935 * |
| 刘根 等: ""基于光度立体和图像显著性的皮革缺陷检测"", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20180517.1700.008.HTML》 * |
| 刘根 等: ""基于光度立体和图像显著性的皮革缺陷检测"", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20180517.1700.008.HTML》, 19 May 2018 (2018-05-19), pages 1 - 8 * |
| 张旭 等: "《Render Man渲染教程》", 中国传媒大学出版, pages: 78 - 80 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120091A (zh) * | 2019-04-28 | 2019-08-13 | 深圳供电局有限公司 | 电力巡检图像样本制作方法、装置和计算机设备 |
| CN117030724A (zh) * | 2023-10-09 | 2023-11-10 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
| CN117030724B (zh) * | 2023-10-09 | 2023-12-08 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489970B2 (en) | 2D image processing for extrusion into 3D objects | |
| CN108701352A (zh) | 使用基于三维对象模型的识别的图像修改与增强 | |
| CN108229085A (zh) | 计算机仿真模拟分析系统及方法 | |
| CN112184880A (zh) | 建筑三维模型处理方法、装置、计算机设备和存储介质 | |
| CN106611438B (zh) | 三维仿真地图的局部区域更新切图方法及装置 | |
| CN109523640A (zh) | 深度学习缺陷数据集方法、系统及电子设备 | |
| CN106611056B (zh) | 三维仿真地图的切图方法及装置 | |
| CN107330198B (zh) | 深度知觉测试方法及系统 | |
| CN109064525A (zh) | 一种图片格式转换方法、装置、设备和存储介质 | |
| US20180315217A1 (en) | Methods and systems of customized digital-image projection | |
| CN111429553B (zh) | 动画预览方法、装置、计算机设备和存储介质 | |
| CN115482322A (zh) | 生成合成训练数据集的计算机实现方法和系统 | |
| CN111240736A (zh) | 模型配置的方法、装置、设备及存储介质 | |
| US9019268B1 (en) | Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information | |
| CN107527277A (zh) | 一种基于移动端的智能窗帘装饰设计系统 | |
| CN116310188B (zh) | 基于实例分割及建筑重构的虚拟城市生成方法及存储介质 | |
| CN116796516A (zh) | 建筑信息模型参数可视化施工模拟方法 | |
| CN113781623B (zh) | 工业质检中的缺陷样本生成方法及装置 | |
| CN114820968A (zh) | 三维可视化方法和装置、机器人、电子设备和存储介质 | |
| CN114173059A (zh) | 一种视频编辑系统、方法及装置 | |
| CN114782692A (zh) | 房屋模型的修复方法、装置、电子设备和可读存储介质 | |
| CN113935893A (zh) | 素描风格的场景渲染方法、设备及存储介质 | |
| CN112417061B (zh) | 一种基于时间驱动的三维动态标绘展示方法 | |
| CN114119835B (zh) | 硬表面模型的处理方法、装置及电子设备 | |
| TWI439962B (zh) | 直覺式深度影像產生系統及深度影像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |