CN113489869A - 基于高光谱相机的衣物物料识别方法 - Google Patents

Abstract

本发明涉及一种基于高光谱相机的衣物物料识别方法。所述基于高光谱相机的衣物物料识别方法包括：获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据；所述补光单元用于基于预设规则发出预设的波长的光照为衣物进行补光；将所述衣物图像数据输入预设的衣物物料识别模型，以识衣物物料；输出识别结果。如此设置，获取的衣物图像数据不会被自然界的各种光源所干扰，图像数据更加贴合衣物本身的特点，减小识别算法的复杂度，提高了识别分类的效率。

Description

基于高光谱相机的衣物物料识别方法

技术领域

本发明属于衣物识别技术领域，具体涉及一种基于高光谱相机的衣物物料识别方法。

背景技术

随着现代经济社会的不断发展，人们的生活水平也得到了不断的提高，人们对生活的品质的要求也在不断的提高，尤其随着电商和网络购物的兴起，人们的物质生活得到了极大的提高，对于不同材质的衣物的分类也提出了更高的要求。

而现有的衣物成像识别系统，绝大多数采用的是普通摄像头基于可见光的成像，对于需要以衣物的材质进行分类，分类效果很差并且需要用复杂的人工智能算法进行分析导致识别效率不高，这极大的限制了应用的场景。

发明内容

有鉴于此，提供一种基于高光谱相机的衣物物料识别方法，以至少一定程度解决相关技术中识别效果差问题。

本发明采用如下技术方案：

本发明实施例提供了基于高光谱相机的衣物物料识别方法，包括：

获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据；所述补光单元用于基于预设规则发出预设的波长的光照为衣物进行补光；

将所述衣物图像数据输入预设的衣物物料识别模型，以识衣物物料；

输出识别结果。

可选的，获取衣物图像数据时，所述衣物处于仅仅具有补光单元作为光源的空间中。

可选的，所述补光单元发出的光照的波长可调节；

所述衣物图像数据包括各个波长的光照下衣物的图像。

可选的，所述衣物图像数据包括：多个补光单元下，多个摄像装置在不同方位拍摄的图片；

所述各个补光单元在同一时刻发出光照的波长相同。

可选的，所述获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据还包括：

获取衣物图像；

预处理所述衣物图像；

基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据。

可选的，所述预处理所述衣物图像包括：

采用基于动态阈值的方法获取并分割布料所在区域；

使用图像形态学的膨胀腐蚀处理方法处理衣物褶皱的地方；

使用边缘算子进行边缘提取，修正边缘部分。

可选的，所述基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据包括：

基于光照强度的区域性，切割所述预处理后的衣物图像；

对不同波长光照下的切割图像，进行小半径的中值滤波；

对中值滤波后的预处理后的衣物图像进行像素直方图统计，得到衣物图像特征。

可选的，预设的衣物物料识别模型的训练方法包括：

获取预设种类的布料在在预设波长的光照下拍摄图像的特征数据作为样本数据；

基于拍摄图像的布料种类和预设波长，对所述样本数据制作对应的标识；

基于所述样本数据及其标识对预先搭建的深度学习模型进行训练。

本发明的有益效果为：获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据；所述补光单元用于基于预设规则发出预设的波长的光照为衣物进行补光；将所述衣物图像数据输入预设的衣物物料识别模型，以识衣物物料；输出识别结果。如此设置，获取的衣物图像数据不会被自然界的各种光源所干扰，图像数据更加贴合衣物本身的特点，减小识别算法的复杂度，提高了识别分类的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于高光谱相机的衣物物料识别方法的流程图；

图2是根据一示例性实施例提供的衣物识别装置的原理图；

图3是根据一示例性实施例提供的衣物识别装置和系统的结构图。

附图标记

1-衣物；2-校准模块；3-OLED灯珠；4-摄像头；5-OLED控制模块；6-摄像头驱动模块；7-通信模块；8-主控单元；9-电源模块；10-显示模块；11-衣物识别装置；12-衣柜。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

首先对本发明实施例的应用场景进行说明，随着现代经济社会的不断发展，人们的生活水平也得到了不断的提高，人们对生活的品质的要求也在不断的提高，尤其随着电商和网络购物的兴起，人们的物质生活得到了极大的提高，对于不同材质的衣物的分类也提出了更高的要求。而现有的衣物成像识别系统，绝大多数采用的是普通摄像头基于可见光的成像，对于需要以衣物的材质进行分类，分类效果很差并且需要用复杂的人工智能算法进行分析导致识别效率不高，这极大的限制了应用的场景。本申请针对这一问题提出了对应的解决方案。

实施例

图1为本发明实施例提供的一基于高光谱相机的衣物物料识别方法的流程图，该方法可以由本发明实施例提供的衣物识别装置来执行。参考图1，该方法具体可以包括如下步骤：

S101、获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据；所述补光单元用于基于预设规则发出预设的波长的光照为衣物进行补光；

S102、将所述衣物图像数据输入预设的衣物物料识别模型，以识衣物物料；

S103、输出识别结果。

如此设置，获取的衣物图像数据不会被自然界的各种光源所干扰，图像数据更加贴合衣物本身的特点，减小识别算法的复杂度，提高了识别分类的效率。

具体的，步骤S101中：获取衣物图像数据时，衣物的背景为纯色背景。

纯色背景的设置更有助于识别图像中的衣物区域，更加便于后期的图像处理。

进一步的，所述补光单元发出的光照的波长可调节；所述衣物图像数据包括各个波长的光照下衣物的图像。

所述衣物图像数据包括：多个补光单元下，多个摄像装置在不同方位拍摄的图片；所述各个补光单元在同一时刻发出光照的波长相同。

具体的，拍摄图片的设备可以是如图2、3所示的设备。参照图2和图3所示，本发明的实施例提供了一种衣物识别装置，包括：主控单元以及分别和主控单元连接的摄像头单元和补光单元；

摄像头单元包括摄像头4以及和摄像头4连接的摄像头驱动模块6；

补光单元包括多个OLED灯珠3以及和OLED灯珠3连接的OLED控制模块5；

OLED灯珠3规则设置在摄像头4的周侧，每个OLED灯珠3用于发出不同波长的光进行补光；

OLED控制模块5和主控单元8连接，用于OLED灯珠3包含波长的参数控制如实现对光源通道的亮度、通断等参数控制，以及用于根据不同的衣物控制OLED灯珠3发出相应的波长进行补光。摄像头4用于采集补光后的衣物图像，摄像头驱动模块6用于将衣物图像的相应数据发送至主控单元8进行衣物种类的识别。

具体的，由多个OLED灯珠3排列在摄像头4的周侧形成多个补光的通道，能够实现多个波段的光波的覆盖。例如，从紫外-可见光-近红外全覆盖的波段，从而实现采用不同的波段的光对衣物进行照射，因为不同衣物都有对应的波长的反射效果，这样相应波长的光照射后反射效果最佳，从而可以根据衣物的特点进行补光而不再是仅仅依靠自然光进行衣物种类的识别，再通过摄像头采集相应的补光后的衣物图像，由摄像头驱动模块6将相应的图像数据传输至主控单元8进行相应的衣物种类的识别。从而实现了采用多个波段的补光灯进行衣物图像的获取，相比于采用普通摄像头基于日常可见光的成像进行衣物种类的识别，减小后期衣物识别算法设计的难度，提高了识别的准确度和识别的效率。

作为上述实施例可行的实现方式，主控单元8可采用由CPU+GPU或TPU、DDR、eMMC等组成，和电源模块9一起形成一个控制和计算的最小系统，所有的逻辑控制，算法处理均在此核心模块完成，电源模块9可给整个装置供电，输入12V、2A，输出3.3V、5V、1.35V等电压进行供电。主控单元可采用集成有图形处理器的处理芯片，如英特尔的i7-8809G处理器，采用了处理器+AMD Vega显卡的设计，具有更强的图形处理能力。当然本领域还可采用其他型号的集成有图像处理能力的处理器，本发明在此不做限制。

在本发明的另一具体实施例中，OLED灯珠3的数量为14个，等间距设置在摄像头的周侧，OLED灯珠3的波长范围为400nm-1100nm。通过采用环状14通道高光谱OLED：光源共有14个通道，从紫外-可见光-近红外全覆盖，波段范围为400nm-1100nm。能够实现多波段的连续的变光进而实现多波段的补光。

同时为方便进行衣物的拍摄和能够拍摄到更大范围、更多的衣物，摄像头4可采用为广角CMOS摄像头，去除滤片，可实现400-1100nm波长的感应和成像，通常可采用广角范围为120度的广角镜头进行图像的拍摄。

可以理解的是，本领域技术人员了根据衣柜内空间的大小以及衣物的多少选用不同参数的广角镜头以及不同数量的OLED灯珠进行补光，本发明在此不做限制。

在本发明的一些具体实施例中衣物识别装置还包括和主控单元连接的显示模块10，用于展示衣物图像和相应的衣物种类信息。显示模块10可设置在挂有衣物的衣柜上可以是TFT显示屏、液晶显示屏等，显示相应的识别分类结果和拍摄的图像。

衣物识别装置还包括和主控单元连接的通信模块7，用于为主控单元8提供和外部设备进行数据传输的接口。通信模块7的使用可根据实际应用情况进行选取，对于有线的通信方式可采用RS232/485、USB、电力线载波等方式进行数据的传输，方便获取的原始数据或者分析之后的数据上传，进行产品调试和后期的分析。无线方式可采用蓝牙、WIFI、运营商的移动网络等无线传输方式进行数据的传输。

补光单元还包括校准模块2，校准模块2用于OLED灯珠的光照强度和温度的补偿。校准模块2可采用反馈式调节方式对OLED灯珠的色温、发光产生的温度进行相应的调节使其能够控制在用户设置的范围内，从而保证OLED灯珠的正常运行。

同时为增强装置的集成度和紧凑性，以占用更小柜内空间，可将各个模块和摄像头集成在同一个支撑架上，也更有利安装使用。

基于同样的设计思路本发明的实施例还提供了一种衣物识别系统，包括至少两个如上实施例所述的的衣物识别装置11，用于从不同角度对待分类衣物进行拍摄和种类的识别。

具体的，参照图3所示，在具体使用时可根据衣柜容纳空间的大小以及衣物量的多少，设定不同数量的衣物识别装置11进行衣物图像的拍摄，并且和衣物的距离一般可保持在40cm至50cm左右，例如可在衣柜12内的三个侧面以及顶面上分别设置衣物识别装置11对衣物1进行拍摄，进而可从多个角度进行衣物图像的获取，使得获取到的衣物的图像更加的全面，进一步地提高衣物分类识别的效率。

本发明上述实施例所提供的衣物识别装置和系统，通过在摄像头的周侧设置规则排列的OLED灯珠进行补光，可以针对特定场景进行特定波长选择性成像，并根据不同的衣物通过不同的波长进行补光，从而使得得到的图像更加贴合衣物本身的特点，进而减小识别算法的复杂度，提高了识别分类的效率。

具体的，本申请使用高光谱相机获得布料的图像，一般的图像为3通道，分为RGB，高光谱图像依高光谱相机而定，从紫外到近红外，可以达到十几甚至二十几个通道。图像采集的方式，在黑暗的情况下进行，避免自然光的干扰，保证单光源的要求，同时，图像视野中，尽量保证除过衣物只有单一背景。

进一步的，步骤S102、具体包括：

获取衣物图像；预处理所述衣物图像；基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据。

其中，预处理所述衣物图像包括：

采用基于动态阈值的方法获取并分割布料所在区域；

使用图像形态学的膨胀腐蚀处理方法处理衣物褶皱的地方；

使用边缘算子进行边缘提取，修正边缘部分。

上述步骤的主要是为了区别衣物与背景。图像分割采用了基于动态阈值的方法获取布料所在区域；同时，在布料褶皱的地方，使用图像形态学的膨胀腐蚀处理方法，减小褶皱处的分割不稳定现象；为了提高不同通道的分割统一性，然后对不同通道的布料区域进行并操作；为了避免边缘部分过渡地方的漏判，使用边缘算子进行边缘提取，从而修正边缘部分。

进一步的，所述基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据包括：

基于光照强度的区域性，切割所述预处理后的衣物图像；对不同波长光照下的切割图像，进行小半径的中值滤波；对中值滤波后的预处理后的衣物图像进行像素直方图统计，得到衣物图像特征。

具体的，上述高光谱图像布料特征提取的步骤主要为：在上述获得布料所在区域后，对布料所在区域进行像素直方图统计；

其中，为了减小噪点的影响，对不同通道图像先进行小半径的中值滤波；

考虑到光照强度的区域性，需要对先区域进行划分：划分方法，首先将区域划分为田字格，然后提取每格的各通道均值，判断均值变化，如果小于阈值，则直接提取整个区域的直方图分布，当做一组不调特征数据；如果大于阈值，则将每个格子当做新的区域，重复上述判断。

综上所述，本申请提供的方案中：

首先通过如图3所示系统进行拍摄，对图片进行处理，加载高光谱图像，首先将图像中值滤波去噪声；然后将图片切分，得到m*n个小格子；对每个格子进行多通道的直方图分布统计；使用模型对每个小格子进行预测，得到每个小格子的预测结果，作为对应区域的布料类型结果。

进一步的，预设的衣物物料识别模型的训练方法包括：

获取预设种类的布料在在预设波长的光照下拍摄图像的特征数据作为样本数据；基于拍摄图像的布料种类和预设波长，对所述样本数据制作对应的标识；基于所述样本数据及其标识对预先搭建的深度学习模型进行训练。

具体的，重复采集不同的布料，在得到上面的每个布料大量的特征数据后，建立神经网络模型，将不同通道的直方图分布进行排列，得到整体的直方图分布，作为网络模型的输入，使用one_hot编码，作为模型输出；为了减少过拟合，使用Relu的激活函数；为了加速模型训练和去除噪点，在对整体直方图进行降维，降维后的数据作为网络模型的输入，降维方法使用encode-decode网络模型。综上所述完成模型的搭建和训练。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于高光谱相机的衣物物料识别方法，其特征在于，包括：

获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据；所述补光单元用于基于预设规则发出预设的波长的光照为衣物进行补光；

将所述衣物图像数据输入预设的衣物物料识别模型，以识衣物物料；

输出识别结果。

2.根据权利要求1所述的基于高光谱相机的衣物物料识别方法，其特征在于，获取衣物图像数据时，衣物的背景为单一背景。

3.根据权利要求1所述的基于高光谱相机的衣物物料识别方法，其特征在于，所述补光单元发出的光照的波长可调节；

所述衣物图像数据包括各个波长的光照下衣物的图像。

4.根据权利要求1所述的基于高光谱相机的衣物物料识别方法，其特征在于，所述衣物图像数据包括：多个补光单元下，多个摄像装置在不同方位拍摄的图片；

所述各个补光单元在同一时刻发出光照的波长相同。

5.根据权利要求3所述的基于高光谱相机的衣物物料识别方法，其特征在于，所述获取经由以预设补光单元作为唯一光源进行补光的衣物图像数据还包括：

获取衣物图像；

预处理所述衣物图像；

基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据。

6.根据权利要求5所述的基于高光谱相机的衣物物料识别方法，其特征在于，所述预处理所述衣物图像包括：

采用基于动态阈值的方法获取并分割布料所在区域；

使用图像形态学的膨胀腐蚀处理方法处理衣物褶皱的地方；

使用边缘算子进行边缘提取，修正边缘部分。

7.根据权利要求6所述的基于高光谱相机的衣物物料识别方法，其特征在于，所述基于预处理的衣物图像，提取衣物图像特征，得到衣物图像数据包括：

基于光照强度的区域性，切割所述预处理后的衣物图像；

对不同波长光照下的切割图像，进行小半径的中值滤波；

对中值滤波后的预处理后的衣物图像进行像素直方图统计，得到衣物图像特征。

8.根据权利要求1所述的基于高光谱相机的衣物物料识别方法，其特征在于，预设的衣物物料识别模型的训练方法包括：

获取预设种类的布料在在预设波长的光照下拍摄图像的特征数据作为样本数据；

基于拍摄图像的布料种类和预设波长，制作与所述样本数据对应的标识；

基于所述样本数据及其标识对预先搭建的深度学习模型进行训练。

Images