CN112529060A - 一种图像材质类别识别方法及装置 - Google Patents
一种图像材质类别识别方法及装置 Download PDFInfo
- Publication number
- CN112529060A CN112529060A CN202011402299.5A CN202011402299A CN112529060A CN 112529060 A CN112529060 A CN 112529060A CN 202011402299 A CN202011402299 A CN 202011402299A CN 112529060 A CN112529060 A CN 112529060A
- Authority
- CN
- China
- Prior art keywords
- image
- identified
- preset
- category
- rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 305
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000009826 distribution Methods 0.000 claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000010985 leather Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 239000000123 paper Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像材质类别识别方法及装置，该方法包括：获取待识别材质的图像；对所述待识别材质的图像进行数据增强，得到多个数据增强图像；将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。本发明实施例提供的图像材质类别识别方法及装置，实现了图像材质类别的自动化识别，提高了识别效率，降低了人力成本。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种图像材质类别识别方法及装置。
背景技术
在模型材质转换的过程中，需要进行材质的识别与分类。目前，材质识别与分类的工作基本还是依靠人工来实现。这种完全依赖人工的方式工作强度大、效率低，难以满足目前大批量、高效率的模型材质转换的需求。
因此迫切需要优化材质的识别与分类方法。研究材质图像的自动分类方法，对于提高模型材质转换过程的自动化以及智能化水平有重要意义。
发明内容
为解决现有技术中的问题，本发明实施例提供一种图像材质类别识别方法及装置。
第一方面，本发明实施例提供一种图像材质类别识别方法，该方法包括：获取待识别材质的图像；对所述待识别材质的图像进行数据增强，得到多个数据增强图像；将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
进一步地，所述对所述待识别材质的图像进行数据增强，得到多个数据增强图像，具体包括：对所述待识别材质的图像进行随机旋转；在旋转后的图像内部随机位置切取边长满足预设尺寸范围的矩形图像，并将所述矩形图像缩放至统一尺寸；其中，所述矩形图像具有预设固定长宽比；对所述矩形图像分别添加预设第一比率范围的随机亮度偏移及随机对比度偏移；按照预设概率对所述矩形图像进行随机翻转，从而得到单个所述数据增强图像；重复上述步骤预设次数，从而得到所述多个数据增强图像。
进一步地，所述预设尺寸范围包括所述待识别材质的图像的短边长度与所述矩形图像的短边长度的比值处于预设第二比率范围之内，并且所述矩形图像的长边长度小于或等于所述待识别材质的图像的短边长度；所述将所述矩形图像缩放至统一尺寸包括将所述矩形图像的短边的像素缩放至预设像素。
进一步地，所述随机旋转的范围为0至360度，所述预设第二比率范围为1.1至1.4，所述预设像素为299像素，所述第一比率范围为0.5至1.5，所述预设概率为0.5。
进一步地，所述将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别，具体包括：根据所述相应个数的材质概率分布结果得到各个材质类别的概率和，取所述概率和取值最大时对应的材质类别作为所述待识别图像的材质类别。
进一步地，所述获取待识别材质的图像，具体包括：接收输入的图像，并根据所述图像中像素颜色的差值判断所述输入的图像是否为纯色图像，若为纯色图像则不处理；若不为纯色图像，则将所述输入的图像作为所述待识别的图像。
进一步地，在所述获取待识别材质的图像之前，所述方法还包括：以多个图像样本作为输入，以所述图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到所述材质类别识别模型；其中，所述深度神经网络包括InceptionResNetV2网络。
第二方面，本发明实施例提供一种图像材质类别识别装置，该装置包括：待识别材质的图像获取模块，用于：获取待识别材质的图像；数据增强图像获取模块，用于：对所述待识别材质的图像进行数据增强，得到多个数据增强图像；材质概率分布结果获取模块，用于：将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；材质类别识别模块，用于：将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的图像材质类别识别方法及装置，通过将待识别材质的图像进行数据增强，得到多个数据增强图像，将多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果，将相应个数的材质概率分布结果进行整合，得到待识别图像的材质类别，实现了图像材质类别的自动化识别，提高了识别效率，降低了人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的图像材质类别识别方法流程图；
图2是本发明一实施例提供的图像材质类别识别方法中待识别材质的图像示意图；
图3是本发明一实施例提供的图像材质类别识别方法中根据待识别材质的图像得到的数据增强图像的示意图；
图4是本发明另一实施例提供的图像材质类别识别方法流程图；
图5是本发明一实施例提供的图像材质类别识别装置结构示意图；
图6示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图像材质类别识别方法意在解决模型材质转换中的归类困难问题，通过基于深度学习的材质图像识别方法，为原材质归类，并匹配到特定预设材质当中，以提高不同类别材质需要用到的不同制作方法的适用性，满足快速且精确生成模型材质的需求。
图1是本发明一实施例提供的图像材质类别识别方法流程图。如图1所示，所述方法包括：
步骤101、获取待识别材质的图像。
由于单纯根据纯色图像无法辨别材质，本发明实施例中，不对纯色图像进行识别。因此，对输入的图像进行处理，判断其是否为纯色图像，若为纯色图像则不处理；若不为纯色图像，则作为待识别材质的图像待后续进行材质识别。
步骤102、对所述待识别材质的图像进行数据增强，得到多个数据增强图像。
数据增强是为了扩大数据量，以及实现图像特征的多样化展现，有利于提高材质识别的准确性。本步骤中，对待识别材质的图像进行数据增强，得到多个数据增强图像。数据增强的方法可以采用已有方法实现。数据增强图像是指经过数据增强处理后得到的图像。
步骤103、将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果。
训练好的材质类别识别模型，输入一个材质图像，即可得到该图像属于各个材质的概率分布。得到多个数据增强图像后，将多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果。材质概率分布结果包括材质图像属于各种材质类别的概率情况。其中，各种材质类别是训练材质类别识别模型时所设定的各种材质类别，如包括布料、皮革、木材、金属、石材、纸、墙面涂料等。
步骤104、将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
将得到的相应个数的材质概率分布结果进行整合，综合各个数据增强图像的判断结果，进而得到待识别图像的材质类别。具体的整合方法可以根据需要设定。比如，根据每个数据增强图像得到的材质概率分布结果，可以获取一个概率最大值对应的材质类别，可以将这个概率最大值对应的材质类别作为这个数据增强图像对于材质类别的判断结果。根据同样的方法，可以得到多个数据增强图像的关于材质类别的多个判断结果。在整合各个材质类别判断结果时，可以统计一下材质类别出现的次数，将次数最高的材质类别作为待识别材质的图像的材质类别。
本发明实施例通过将待识别材质的图像进行数据增强，得到多个数据增强图像，将多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果，将相应个数的材质概率分布结果进行整合，得到待识别图像的材质类别，实现了图像材质类别的自动化识别，提高了识别效率，降低了人力成本。
进一步地，基于上述实施例，所述对所述待识别材质的图像进行数据增强，得到多个数据增强图像，具体包括：对所述待识别材质的图像进行随机旋转；在旋转后的图像内部随机位置切取边长满足预设尺寸范围的矩形图像，并将所述矩形图像缩放至统一尺寸；其中，所述矩形图像具有预设固定长宽比；对所述矩形图像分别添加预设第一比率范围的随机亮度偏移及随机对比度偏移；按照预设概率对所述矩形图像进行随机翻转，从而得到单个所述数据增强图像；重复上述步骤预设次数，从而得到所述多个数据增强图像。
在对待识别材质的图像进行数据增强，得到多个数据增强图像时，可以采取如下步骤：
对待识别材质的图像进行随机旋转，旋转角度范围可以预先设定；在旋转后的图像内部随机位置切取边长满足预设尺寸范围、具有预设固定长宽比的矩形图像，并将矩形图像进行缩放。矩形图像缩放后仍保持上述预设固定长宽比。由于对图像进行随机旋转可能会造成图像数据丢失，因此为保证切取的矩形图像中图像数据的全面性，可以设置一个随机位置选取区域，比如设置为在待识别图像中部的一个区域内进行随机位置的选择。所切取的矩形图像的边长满足预设尺寸范围，也是为了体现随机性。另外，由于矩形图像具有预设固定长宽比，因此，只需限定矩形的一个边(长边或短边，对于正方形来讲，即指边长)满足预设尺寸范围，即可确定矩形图像的尺寸。得到矩形图像后，需将矩形图像缩放至统一尺寸，缩放至统一尺寸的目的是得到统一像素的矩形图像以用于后续材质类别识别。同样，由于矩形图像具有预设固定长宽比，因此，在进行缩放时，只需限定矩形的一个边(长边或短边，对于正方形来讲，即指边长)的像素即可。
对矩形图像分别添加预设第一比率范围的随机亮度偏移及随机对比度偏移。这里是对矩形图像进一步进行亮度和对比度调整。亮度和对比度调整的范围均在预设第一比率范围内，即调整后的亮度和原亮度的比值在预设第一比率范围内，调整后的对比度和原对比度的比值也在预设第一比率范围内。调整时，只要满足亮度和对比度的调整在预设第一比率范围内即可，可以在这个范围内随机进行调整，并不要求亮度和对比度调整的比率相同。
按照预设概率对矩形图像进行随机翻转，可以采用垂直翻转或水平翻转。按照预设概率对矩形图像进行随机翻转，表示对于每次数据增强处理，这个翻转操作并不是必然的，而是满足预设概率。
经过上述步骤后，可以得到一次数据增强处理后的单个数据增强图像。重复上述步骤预设次数，从而得到预设个数的数据增强图像。如果切取图像时只切取一个矩形图像，则预设个数和预设次数相等。
在上述实施例的基础上，本发明实施例通过随机旋转、随机位置切取图像、缩放、亮度及对比度调整、翻转等步骤实现数据增强，丰富了数据增强图像的特征，增加了图像数量，有利于进一步提高材质类别识别的准确性。
进一步地，基于上述实施例，所述预设尺寸范围包括所述待识别材质的图像的短边长度与所述矩形图像的短边长度的比值处于预设第二比率范围之内，并且所述矩形图像的长边长度小于或等于所述待识别材质的图像的短边长度；所述将所述矩形图像缩放至统一尺寸包括将所述矩形图像的短边的像素缩放至预设像素。
在旋转后的图像内部随机位置切取边长满足预设尺寸范围、具有预设固定长宽比的矩形图像，并将矩形图像缩放至统一尺寸。其中，预设尺寸范围包括待识别材质的图像的短边长度与矩形图像的短边长度的比值处于预设第二比率范围之内。并且，所切取的矩形图像不应超出原待识别材质的图像的范围，由于切取的方向随机，因此，所切取的矩形图像的长边长度不应大于待识别材质的图像的短边长度。由于矩形图像具有固定长宽比，因此，限定了短边长度也自然获知了长边长度，对于正方形只获知边长即可。将矩形图像缩放至统一尺寸包括将矩形图像的短边的像素缩放至预设像素。同样，由于矩形图像的具有固定长宽比，因此，限定了短边长度的像素也自然获知了长边的像素，对于正方形只获知边长的像素即可。
在上述实施例的基础上，本发明实施例通过进一步限定切取矩形图像时的预设尺寸范围和调整矩形图像时的预设像素，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，所述随机旋转的范围为0至360度，所述预设第二比率范围为1.1至1.4，所述预设像素为299像素，所述第一比率范围为0.5至1.5，所述预设概率为0.5。
本发明实施例中，随机旋转时，对待识别材质的图像进行0至360度随机旋转。待识别材质的图像的短边长度与矩形图像的短边长度的比值处于1.1至1.4范围之内。在将矩形图像缩放至统一尺寸时，将矩形图像的短边的像素缩放至299像素，矩形图像的长边的像素根据预设固定长宽比适应性调整。对矩形图像分别添加0.5至1.5比率范围的随机亮度偏移及随机对比度偏移。对矩形图像进行随机翻转时，按照50％的概率进行随机翻转。
在上述实施例的基础上，本发明实施例通过具体化设置随机旋转的范围、预设第二比率范围、预设像素、第一比率范围及预设概率，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，所述将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别，具体包括：根据所述相应个数的材质概率分布结果得到各个材质类别的概率和，取所述概率和取值最大时对应的材质类别作为所述待识别图像的材质类别。
在将相应个数的材质概率分布结果进行整合，得到待识别图像的材质类别时，可以通过如下方法实现：根据相应个数的材质概率分布结果得到各个材质类别的概率和，取概率和取值最大时对应的材质类别作为待识别图像的材质类别。比如，得到3个材质概率分布结果分别如下：(1)布料-x1，皮革-y1，木材-z1，金属-m1，石材-n1。(2)布料-x2，皮革-y2，木材-z2，金属-m2，石材-n2。(3)布料-x3，皮革-y3，木材-z3，金属-m3，石材-n3。则分别计算结果x1+x2+x3、y1+y2+y3、z1+z2+z3、m1+m2+m3及n1+n2+n3的值，并将取值最大时对应的材质作为待识别材质的图像的材质类别。比如，若z1+z2+z3的值最大，则说明待识别材质的图像的材质类别为木材。
在上述实施例的基础上，本发明实施例通过根据相应个数的材质概率分布结果得到各个材质类别的概率和，取概率和取值最大时对应的材质类别作为待识别图像的材质类别，计算过程充分考虑了各个材质的输出结果，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，所述获取待识别材质的图像，具体包括：接收输入的图像，并根据所述图像中像素颜色的差值判断所述输入的图像是否为纯色图像，若为纯色图像则不处理；若不为纯色图像，则将所述输入的图像作为所述待识别的图像。
由于根据纯色图像无法辨别材质类别，因此，在获取待识别材质的图像时，需要去除纯色图像，以避免计算资源浪费。获取待识别材质的图像，可以采用如下方法实现：接收输入的图像，并根据图像中像素颜色的差值判断输入的图像是否为纯色图像，比如，读取该图像左上角第一个像素的颜色，将其与图像中所有其他像素的颜色进行比较：如果它与所有其他像素的R、G、B值的差都小于2，则认为该图像为纯色图像。若为纯色图像则不处理。若不为纯色图像，则将输入的图像作为待识别的图像。
在上述实施例的基础上，本发明实施例通过根据像素颜色比较识别纯色图像并去除，从而获取待识别材质的图像进行材质类别识别，避免了计算资源浪费。
进一步地，基于上述实施例，在所述获取待识别材质的图像之前，所述方法还包括：以多个图像样本作为输入，以所述图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到所述材质类别识别模型；其中，所述深度神经网络包括InceptionResNetV2网络。
在对待识别材质的图像进行材质类别识别之前，需要首先训练得到材质类别识别模型。具体的训练过程包括：以大量图像样本作为输入，以图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到材质类别识别模型；其中，深度神经网络包括InceptionResNetV2网络，当然还可以采用其他深度神经网络。
需要注意的是，这里训练时的图像样本应与实际进行材质类别识别的输入到材质类别模型的数据增强图像的特点是相同的。因此，可以对一些原始图像进行上述同样的数据增强处理后，得到用于训练材质类别模型的图像样本。
在上述实施例的基础上，本发明实施例通过以大量图像样本作为输入，以图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到材质类别识别模型，为进一步利用材质类别识别模型进行材质类别识别提供基础。
图2是本发明一实施例提供的图像材质类别识别方法中待识别材质的图像示意图。图3是本发明一实施例提供的图像材质类别识别方法中根据待识别材质的图像得到的数据增强图像的示意图。下面结合和图3通过一具体实例进一步说明本发明实施例图像材质类别识别方法的流程。
本发明实施例提出的图像材质类别识别方法，包括以下步骤：
步骤一：读取待识别的图像并判断其是否为纯色图像：
读取该图像左上角第一个像素的颜色，将其与图像中所有其他像素的颜色进行比较：如果它与所有其他像素的R、G、B值的差都小于2，则认为该图像为纯色图像，不识别它的材质。
步骤二：对待识别材质的图像进行多次数据增强：
数据增强分为以下几步：
2-1)随机旋转：随机对图像进行0～360°的旋转；
2-2)随机位移与随机缩放：在旋转后的图像内部随机位置切取一个正方形部分，原图像较短边长度与该正方形的边长与的比为1.1～1.4中的随机数值，并将该正方形的图像缩放至边长为299像素；
2-3)随机亮度、对比度偏移：对2-2)得到的图像分别添加比率为0.5～1.5之间的随机亮度偏移与对比度偏移；
2-4)随机翻转：以50％的概率对2-3)得到的图像进行水平翻转，得到最终的图像。
重复以上数据增强步骤16次，得到16个数据增强后的图像。如图2所示为待识别材质的图像；如图3所示，为16个数据增强后的图像。
步骤三：将步骤二产生的一系列图像送入训练好的深度神经网络中，输出一系列材质类别：该步骤主要分为训练和应用两个过程。
3-1)首先，需要使用标注好的材质数据对神经网络进行训练。使用的网络为InceptionResNetV2，可识别的材质分类有布料、皮革、木材、金属、石材、纸、墙面涂料7种。
3-2)使用大量数据训练网络。训练完成后，输入一个材质图像，即可得到该图像属于各个材质的概率分布。
步骤四：对步骤三生成的一系列材质类别进行整合，得到该图像最终的材质类别：
计算16个图像得到的材质概率分布对于每个材质类别的概率的和，取其最大值所属的材质作为该图像的材质类别识别结果。
图4是本发明另一实施例提供的图像材质类别识别方法流程图。如图4所示，所述方法包括：读取待识别材质的图像，判断其是否为纯色图像，不识别纯色图像的材质；对待识别材质的图像进行多次数据增强，得到属于该图像的一系列图像；将产生的一系列图像送入训练好的深度神经网络中，输出一系列材质类别；对生成的一系列材质类别进行整合，得到该图像最终的材质类别。
本发明实施例的目的在于建立一种基于深度学习的图像材质识别方法，该方法能够自动识别图像素材所属的材质，从而缩短家具等模型的制作时间并降低模型制作的工作强度。
图5是本发明一实施例提供的图像材质类别识别装置结构示意图。如图5所示，所述装置包括：待识别材质的图像获取模块10，用于：获取待识别材质的图像；数据增强图像获取模块20用于：对所述待识别材质的图像进行数据增强，得到多个数据增强图像；材质概率分布结果获取模块30用于：将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；材质类别识别模块40用于：将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
本发明实施例通过将待识别材质的图像进行数据增强，得到多个数据增强图像，将多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果，将相应个数的材质概率分布结果进行整合，得到待识别图像的材质类别，实现了图像材质类别的自动化识别，提高了识别效率，降低了人力成本。
进一步地，基于上述实施例，数据增强图像获取模块20具体用于：对所述待识别材质的图像进行随机旋转；在旋转后的图像内部随机位置切取边长满足预设尺寸范围、具有预设固定长宽比的矩形图像，并将所述矩形图像缩放至统一尺寸；对所述矩形图像分别添加预设第一比率范围的随机亮度偏移及随机对比度偏移；按照预设概率对所述矩形图像进行随机翻转，从而得到单个所述数据增强图像；重复上述步骤预设次数，从而得到所述多个数据增强图像。
在上述实施例的基础上，本发明实施例通过随机旋转、随机位置切取图像、缩放、亮度及对比度调整、翻转等步骤实现数据增强，丰富了数据增强图像的特征，有利于进一步提高材质类别识别的准确性。
进一步地，基于上述实施例，所述预设尺寸范围包括所述待识别材质的图像的短边长度与所述矩形图像的短边长度的比值处于预设第二比率范围之内，并且所述矩形图像的长边长度小于或等于所述待识别材质的图像的短边长度；数据增强图像获取模块20在用于将所述矩形图像缩放至统一尺寸时，具体用于将所述矩形图像的短边的像素缩放至预设像素。
在上述实施例的基础上，本发明实施例通过进一步限定切取矩形图像时的预设尺寸范围和调整矩形图像时的预设像素，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，所述随机旋转的范围为0至360度，所述预设第二比率范围为1.1至1.4，所述预设像素为299像素，所述第一比率范围为0.5至1.5，所述预设概率为0.5。
在上述实施例的基础上，本发明实施例通过具体化设置随机旋转的范围、所述预设第二比率范围、所述预设像素、所述第一比率范围及所述预设概率，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，材质类别识别模块40具体用于：根据所述相应个数的材质概率分布结果得到各个材质类别的概率和，取所述概率和取值最大时对应的材质类别作为所述待识别图像的材质类别。
在上述实施例的基础上，本发明实施例通过根据所述相应个数的材质概率分布结果得到各个材质类别的概率和，取所述概率和取值最大时对应的材质类别作为所述待识别图像的材质类别，计算过程充分考虑了各个材质的输出结果，进一步提高了材质类别识别的准确性。
进一步地，基于上述实施例，待识别材质的图像获取模块10具体用于：接收输入的图像，并根据所述图像中像素颜色的差值判断所述输入的图像是否为纯色图像，若为纯色图像则不处理；若不为纯色图像，则将所述输入的图像作为所述待识别的图像。
在上述实施例的基础上，本发明实施例通过根据像素比较识别纯色图像并去除，从而获取待识别材质的图像进行材质类别识别，避免了计算资源浪费。
进一步地，基于上述实施例，所述装置还包括训练模块，所述训练模块具体用于：以多个图像样本作为输入，以所述图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到所述材质类别识别模型；其中，所述深度神经网络包括InceptionResNetV2网络。
在上述实施例的基础上，本发明实施例通过以大量图像样本作为输入，以所述图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到所述材质类别识别模型，为进一步利用材质类别识别模型进行材质类别识别提供基础。
本发明实施例提供的装置是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行图像材质类别识别方法，该方法包括：获取待识别材质的图像；对所述待识别材质的图像进行数据增强，得到多个数据增强图像；将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的图像材质类别识别方法，该方法包括：获取待识别材质的图像；对所述待识别材质的图像进行数据增强，得到多个数据增强图像；将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像材质类别识别方法，该方法包括：获取待识别材质的图像；对所述待识别材质的图像进行数据增强，得到多个数据增强图像；将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像材质类别识别方法，其特征在于，包括：
获取待识别材质的图像；
对所述待识别材质的图像进行数据增强，得到多个数据增强图像；
将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；
将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
2.根据权利要求1所述的图像材质类别识别方法，其特征在于，所述对所述待识别材质的图像进行数据增强，得到多个数据增强图像，具体包括：
对所述待识别材质的图像进行随机旋转；
在旋转后的图像内部随机位置切取边长满足预设尺寸范围的矩形图像，并将所述矩形图像缩放至统一尺寸；其中，所述矩形图像具有预设固定长宽比；
对所述矩形图像分别添加预设第一比率范围的随机亮度偏移及随机对比度偏移；
按照预设概率对所述矩形图像进行随机翻转，从而得到单个所述数据增强图像；
重复上述步骤预设次数，从而得到所述多个数据增强图像。
3.根据权利要求2所述的图像材质类别识别方法，其特征在于，所述预设尺寸范围包括所述待识别材质的图像的短边长度与所述矩形图像的短边长度的比值处于预设第二比率范围之内，并且所述矩形图像的长边长度小于或等于所述待识别材质的图像的短边长度；
所述将所述矩形图像缩放至统一尺寸包括将所述矩形图像的短边的像素缩放至预设像素。
4.根据权利要求3所述的图像材质类别识别方法，其特征在于，所述随机旋转的范围为0至360度，所述预设第二比率范围为1.1至1.4，所述预设像素为299像素，所述第一比率范围为0.5至1.5，所述预设概率为0.5。
5.根据权利要求1所述的图像材质类别识别方法，其特征在于，所述将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别，具体包括：
根据所述相应个数的材质概率分布结果得到各个材质类别的概率和，取所述概率和取值最大时对应的材质类别作为所述待识别图像的材质类别。
6.根据权利要求1所述的图像材质类别识别方法，其特征在于，所述获取待识别材质的图像，具体包括：
接收输入的图像，并根据所述图像中像素颜色的差值判断所述输入的图像是否为纯色图像，若为纯色图像则不处理；若不为纯色图像，则将所述输入的图像作为所述待识别的图像。
7.根据权利要求1所述的图像材质类别识别方法，其特征在于，在所述获取待识别材质的图像之前，所述方法还包括：
以多个图像样本作为输入，以所述图像样本的材质类别作为输出标签，对深度神经网络进行训练，得到所述材质类别识别模型；其中，所述深度神经网络包括InceptionResNetV2网络。
8.一种图像材质类别识别装置，其特征在于，包括：
待识别材质的图像获取模块，用于：获取待识别材质的图像；
数据增强图像获取模块，用于：对所述待识别材质的图像进行数据增强，得到多个数据增强图像；
材质概率分布结果获取模块，用于：将所述多个数据增强图像输入到预先训练好的材质类别识别模型中，输出相应个数的材质概率分布结果；
材质类别识别模块，用于：将所述相应个数的材质概率分布结果进行整合，得到所述待识别图像的材质类别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像材质类别识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述图像材质类别识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011402299.5A CN112529060A (zh) | 2020-12-02 | 2020-12-02 | 一种图像材质类别识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011402299.5A CN112529060A (zh) | 2020-12-02 | 2020-12-02 | 一种图像材质类别识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112529060A true CN112529060A (zh) | 2021-03-19 |
Family
ID=74997423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011402299.5A Pending CN112529060A (zh) | 2020-12-02 | 2020-12-02 | 一种图像材质类别识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529060A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012083854A (ja) * | 2010-10-07 | 2012-04-26 | Sogo Keibi Hosho Co Ltd | 情報処理装置及び行動モデル作成方法 |
| CN105096355A (zh) * | 2014-05-08 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 图像处理方法和系统 |
| WO2016197298A1 (zh) * | 2015-06-08 | 2016-12-15 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
| CN107330944A (zh) * | 2017-06-27 | 2017-11-07 | 深圳市冠旭电子股份有限公司 | 一种全景图像的识别方法、装置、终端设备和存储介质 |
| CN108564094A (zh) * | 2018-04-24 | 2018-09-21 | 河北智霖信息科技有限公司 | 一种基于卷积神经网络和分类器组合的材质识别方法 |
| CN109492577A (zh) * | 2018-11-08 | 2019-03-19 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及电子设备 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
-
2020
- 2020-12-02 CN CN202011402299.5A patent/CN112529060A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012083854A (ja) * | 2010-10-07 | 2012-04-26 | Sogo Keibi Hosho Co Ltd | 情報処理装置及び行動モデル作成方法 |
| CN105096355A (zh) * | 2014-05-08 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 图像处理方法和系统 |
| WO2016197298A1 (zh) * | 2015-06-08 | 2016-12-15 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
| CN107330944A (zh) * | 2017-06-27 | 2017-11-07 | 深圳市冠旭电子股份有限公司 | 一种全景图像的识别方法、装置、终端设备和存储介质 |
| CN108564094A (zh) * | 2018-04-24 | 2018-09-21 | 河北智霖信息科技有限公司 | 一种基于卷积神经网络和分类器组合的材质识别方法 |
| CN109492577A (zh) * | 2018-11-08 | 2019-03-19 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及电子设备 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨秀洪: "基于视听觉融合的物体材质识别方法研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技辑》 * |
| 陈孝莲,等: "基于机器学习的光纤窃听检测方法", 《电信科学》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032954B (zh) | 一种钢筋智能识别与计数方法及系统 | |
| CN108615253B (zh) | 图像生成方法、装置与计算机可读存储介质 | |
| CN109934826A (zh) | 一种基于图卷积网络的图像特征分割方法 | |
| CN109829481B (zh) | 一种图像分类方法、装置、电子设备及可读存储介质 | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| US20200125836A1 (en) | Training Method for Descreening System, Descreening Method, Device, Apparatus and Medium | |
| CN107516102B (zh) | 图像数据分类与建立分类模型方法、装置及系统 | |
| CN112926565B (zh) | 图片文本的识别方法、系统、设备和存储介质 | |
| CN110942063B (zh) | 证件文字信息获取方法、装置以及电子设备 | |
| US11615515B2 (en) | Superpixel merging | |
| CN111985518A (zh) | 门窗检测方法及其模型训练的方法、装置 | |
| JP2020170495A (ja) | 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 | |
| CN110097616A (zh) | 一种联合绘画方法、装置、终端设备及可读存储介质 | |
| WO2023116565A1 (zh) | 智能设计网络安全架构图的方法 | |
| CN109344823B (zh) | 基于区块链机制的ocr深度学习方法、存储介质 | |
| CN107239518A (zh) | 一种图像对比方法、对比装置、电子设备及存储介质 | |
| CN113221601B (zh) | 字符识别方法、装置及计算机可读存储介质 | |
| CN111369489B (zh) | 一种图像识别方法、装置及终端设备 | |
| CN112529060A (zh) | 一种图像材质类别识别方法及装置 | |
| CN112784733A (zh) | 一种基于线上教育的情绪识别方法、装置及电子设备 | |
| CN111401465A (zh) | 训练样本优化方法、装置、设备及存储介质 | |
| CN110147765B (zh) | 一种图像处理方法及装置 | |
| CN110399867B (zh) | 一种文本类图像区域的识别方法、系统及相关装置 | |
| CN113886578B (zh) | 一种表单分类方法及装置 | |
| CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |
|
| RJ01 | Rejection of invention patent application after publication |