发明内容
针对上述现有技术的缺陷,本发明提出一种可只能识别用户所需要的瓷砖纹理的瓷砖智能识别设备。
本发明的瓷砖智能识别设备,包括接收目标瓷砖对应的目标数字图像的数据传输接口、与所述数据传输接口连接的处理器、与所述处理器连接的存储器;
所述存储器存储有瓷砖数字图像数据库,所述瓷砖数字图像数据库包括不同纹理的瓷砖分别对应的数字图像;
所述处理器包括特征提取模块和搜索比较模块,所述特征提取模块接收所述目标数字图像并提取所述目标数字图像的目标特征数据,所述搜索比较模块将所述目标特征数据与所述瓷砖数字图像数据库中的各个数字图像的特征数据进行比较,并判断出与目标特征数据的相似度高于预设值的特征数据所对应的数字图像。
进一步地,所述瓷砖智能识别设备还包括对目标瓷砖进行拍照获取目标数字图像的图像采集设备和与所述处理器连接并将被判断为与目标特征数据的相似度高于预设值的特征数据所对应的数字图像输出给终端的输出模块,所述图像采集设备通过所述数据传输接口与所述处理器连接。
进一步地,所述存储器还存储有瓷砖产品信息数据库,所述瓷砖产品信息数据库存储有不同纹理的瓷砖所对应的产品信息,各个所述产品信息数据与具有相同纹理的瓷砖的数字图像成映射关系,并在对应的数字图像被判断为与目标特征数据的相似度高于预设值时与对应的数字图像一起通过输出模块输出。
进一步地,每个瓷砖的所述产品信息包括多个信息参数,所述瓷砖智能识别设备还包括与所述搜索比较模块连接的交互模块,所述交互模块接收用户指令并根据所述用户指令控制所述搜索比较模块将所述产品信息的其中一个或多个信息参数通过输出模块输出。
进一步地,所述输出模块为有线或无线网络,输出的终端为网站服务器或用户手机终端。
进一步地,所述瓷砖智能识别设备还包括与所述搜索比较模块连接的云端服务器,所述搜索比较模块向所述云端服务器输出运算指令,由所述云端服务器将所述目标特征数据与所述瓷砖数字图像数据库中的各个特征数据进行比较,并将判断为与目标特征数据的相似度高于预设值的特征数据返回给所述搜索比较模块,所述搜索比较模块将收到的特征数据所对应的数字图像通过输出模块输出。
进一步地,所述特征数据和目标特征数据均包括矩阵Pi=[Ri,Gi,Bi],当i=0时,P0为目标数字图像的目标特征数据,当i为1至N中的任一整数时,Pi为特征数据,N为所述瓷砖数字图像数据库中数字图像的总张数,Pi为第i张数字图像的特征数据;
其中Ri,Gi,Bi分别为所述目标数字图像或第i张数字图像的三原色红绿蓝三个通道的独立统计灰度直方图,且Ri=[ril,ri2,ri3,ri4,……,ri253,ri254,ri255,ri256],Gi=[gil,gi2,gi3,gi4,……,gi253,gi254,gi255,gi256],Bi=[bil,bi2,bi3,bi4,……,bi253,bi254,bi255,bi256],其中rixgix、bix分别表示所述目标数字图像或第i张数字图象中红色通道、绿色通道、蓝色通道中灰度级为x级的象素的个数。
进一步地,所述特征数据和目标特征数据还均包括矩阵Qi=[SRi,SGi,SBi],当i=0时,Q0为目标数字图像的目标特征数据,当i为1至N中的任一整数时,Qi为特征数据,N为所述瓷砖数字图像数据库中数字图像的总张数,Qi为第i张数字图像的特征数据;
其中,SRi=[Sril,Sri2,Sri3,Sri4,……,Sri253,Sri254,Sri255,Sri256],SGi=[Sgil,Sgi2,Sgi3,Sgi4,……,Sgi253,Sgi254,Sgi255,Sgi256],SBi=[Sbi1,Sbi2,Sbi3,Sbi4,……,Sbi253,Sbi254,Sbi255,Sbi256],且
x=[1,256]且x∈Z;
x=[1,256]且x∈Z;
x=[1,256]且x∈Z;
其中,
Z指整数。
进一步地,所述瓷砖数据图像数据库中的所述第i张数字图像的特征数据与目标特征数据的相似度的计算公式为 或者为
其中,Piy、Qiy分别为768元一维向量Pi、Qi的第y个元素的值,P0y、Q0y为768元一维向量P0、Q0的第y个元素的值,Max(a,b)指取a和b中相对较大的值,所述预设值大于0.5。
进一步地,所述处理器还包括排序模块,被判断为相似度高于预设值的特征数据有多个,所述排序模块对所述多个特征数据根据相似度从高到低排序,再将排序后的多个特征数据所对应的多个数字图像构成的序列通过输出模块输出。
采用本发明的瓷砖智能识别设备,具有以下有益效果:
1)需要购买目标瓷砖的用户,只需使用数字图像采集设备对该目标瓷砖进行拍照并通过数据传输接口输入给处理器,处理器即可自动从存储器的瓷砖数字图像数据库中进行自动搜索和匹配比较,在海量的数字图像中找到与目标瓷砖相似度高的数字图像,并输出给用户终端,同时,该数字图像所对应的瓷砖的各种产品信息也可同时输出给用户终端,以供用户选择;
2)鉴于瓷砖所独有的图案形式,选用数字图像的三原色的灰度直方图来作为它们的特征数据进行比较,不仅具有计算量小、准确度高的特点,尤其可筛选色彩分布相似的图像,尤其适用在瓷砖识别上;
3)另外,为了使比较和筛选的准确率更高,将最相近的瓷砖的数字图像及其相关产品信息发布给用户,本发明对目标数字图像和瓷砖数字图像数据库中的数字图像进行二次筛选,二次筛选是在初次筛选出的底色大致相同的瓷砖图像组中,比较区别图像同质化花纹特征的相关特征数据,引入二次筛选有助于提高与目标图片的匹配精度;
4)云端服务器的引入,可大大提高运算效率,使得运算不受瓷砖数字图像数据库、瓷砖产品信息数据库等规模的影响,自动化完成搜索匹配和识别。
具体实施方式
以下是本发明的具体实施例并结合附图对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
电子购物的流行,使得相对于昂贵的实际卖场人们更愿意尝试电子商场来购买价钱相对更实惠的商品。家装建材行业的卖场,由于家具、建材等商品占地面积大、铺设样品费时费人工,而近年来租金、人力成本不断提高,使得家长建材行业也加入到电子商务的领域中来。
对于用户而言,家具等大件产品引起形态、风格差异较大,很容易在电子商场直接寻找到自己合意的商品,但瓷砖产品除外。这是因为瓷砖的个体差异很小,系列繁多,而微小的差别通过大面积铺设后对厅室的装修效果造成很大的影响,因此用户在瓷砖的网购方面更加谨慎。如何在海量的差异化小的瓷砖产品中找到用户所需要的瓷砖图样,是本发明所要解决的一大问题。
本发明涉及一种瓷砖智能识别设备,能够帮助用户从海量的瓷砖图样中自动识别、搜索、匹配用户所需要的瓷砖,可大大节省查找时间,提高查找精确度,同时可直接将用户所需要的瓷砖的相应产品信息推送给用户,方便用户直接确定选购该瓷砖的各种信息,实现一站式服务。
第一实施例
如图1所示,在第一实施例中,本发明的瓷砖智能识别设备包括数据传输接口2、处理器3、存储器5,还可包括图像采集设备1和输出模块4。
其中,图像采集设备1用来对目标瓷砖进行拍照以获取该瓷砖的目标数字图像,这里的图像采集设备1可以是数码相机、数码摄像机,也可以是对该目标瓷砖的非数字图像进行扫描以获得目标数字图像的扫描仪等。
用户利用该图像采集设备1获得想要的瓷砖也即目标瓷砖的目标数字图像后,将图像采集设备1与数据传输接口2连接,数据传输接口2与处理器3连接,因此通过该数据传输接口2可将目标数字图像传送给处理器3。数据传输接口2可以是有线连接的接口也可以是无线连接的接口,例如USB接口、蓝牙、Wifi等。显然本发明的瓷砖智能识别设备可以不包括图像采集设备1,即图像采集设备1不作为本发明的一部分,只要用户将用各种方式得到的目标数字图像通过数据传输接口2输入给处理器3即可。
图1所示的第一实施例中,处理器3与存储器5连接,存储器5内存储有瓷砖数字图像数据库,该数据库是各种纹理的瓷砖所对应的数字图像的集合。处理器3包括特征提取模块和搜索比较模块。其中,特征提取模块接收来自数据传输接口2的目标数字图像并提取该目标数字图像的目标特征数据,并将目标特征数据输出给搜索比较模块。
搜索比较模块调取瓷砖数字图像数据库,将目标特征数据与该数据库中的各个数字图像对应的特征数据进行比较,并判断出与目标特征数据的相似度高于预设值的特征数据所对应的数字图像。
这里的数字图像对应的特征数据,可以是在建立瓷砖数字图像之初根据特征数据提取规则已经提取好并存储在存储器中的,且各个特征数据与对应的数字图像成一一映射关系,则搜索比较模块直接调取瓷砖数字图像数据库中的各个特征数据并分别与目标特征数据进行比较。该特征数据也可以是搜索比较模块在调取瓷砖数字图像数据库的每个数字图像时根据特征数据提取规则临时提取的,然后再将提取的该特征数据与目标特征数据进行比较。
特征数据的提取规则如图4所示,首先设定需要被特征提取的数字图像的像素尺寸。瓷砖的尺寸已经基本标准化,例如为正方形或长方形。为了摒弃不同尺寸、比例带来的图片差异,将所有数字图像统一设定为相同的像素尺寸,例如600像素×600像素的正方形、800像素×800像素的正方形等。
以600像素×600像素的正方形目标数字图像为例,分别提取目标数字图像红绿蓝三原色三个通道的独立统计灰度直方图,分别用频率向量R0、G0、B0表示,其中R0[r01,r02,r03,r04,……,r0252,r0253,r0254,r0255,r0256],r0x表示该目标数字图像中红色通道上灰度级别为x的像素点的个数。同理,G0[g01,g02,g03,g04,……,g0252,g0253,g0254,g0255,g0256],g0x表示绿色通道上灰度级别为x的像素点的个数。B0=[b01,b02,b03,b04,……,b0252,b0253,b0254,b0255,b0256],b0x表示蓝色通道上灰度级别为x的像素点的个数。
设P0=[R0,G0,B0],由于像素点众多,为了减少由于R0、G0、B0频率值过大而给处理器带来的运算负担,特征提取模块将对P0进行归一化,即得到目标数字图像的图像特征矩阵p0=P0/360000,取p0为初步筛选时目标数字图像的目标特征数据。为了表述上的一目了然,仍采用P0作为初次筛选时提取到的目标特征数据。
用同样的方法可获得瓷砖数字图像数据库中各个数字图像的特征数据。设定该数据库中共有N张数字图像,每个数字图像也具有统一的尺寸即600像素×600像素,第i张数字图像的特征数据用pi表示,其中1≤i≤N,i为整数,则归一化后的特征数据pi=Pi/360000=[Ri,Gi,Bi]/360000;当然,也可同时不采用归一化,以Pi=[Ri,Gi,Bi]为特征数据。
其中,Ri、Gi、Bi分别为上述第i张数字图像的红绿蓝三原色通道的独立统计灰度直方图中三原色的频率向量,其矩阵结构与上述R0、G0、B0类似,即:
Ri=[ri1,ri2,ri3,ri4,……,ri252,ri253,ri254,ri255,ri256],rix表示第i张数字图像中红色通道上灰度级别为x的像素点的个数;
Gi=[gi1,gi2,gi3,gi4,……,gi252,gi253,gi254,gi255,gi256],gix表示第i张数字图像中绿色通道上灰度级别为x的像素点的个数;
Bi=[bi1,bi2,bi3,bi4,……,bi252,bi253,bi254,bi255,bi256],bix表示第i张数字图像中蓝色通道上灰度级别为x的像素点的个数。
因此,在第一次筛选中,目标特征数据P0和瓷砖数字图像数据库中的特征数据Pi均可统一为用Pi=[Ri,Gi,Bi]来表示,且当i=0时,P0表示目标特征数据,当1≤i≤N,i为整数时,Pi为特征数据。
初步筛选时,搜索比较模块通过调取或临时计算瓷砖数字图像数据库中的各个数字图像的特征数据Pl至PN,并将其与目标特征数据P0一一进行比较,即可判断出与目标特征数据P0相同或相近的特征数据。
特征数据Pi与目标特征数据P0的比较方法采用相似度比较法,一次筛选的相似度公式为:
由于采用上述公式计算时,计算处理器需要计算三个加和程序,影响运行速度;因此,优选地,一次筛选地相似度公式为:
其中,Piy为768元一维向量Pi的第y个元素的值,P0y为768元一维向量P0的第y个元素的值,Max(Piy,P0y)指取Piy和P0y中相对较大的值。
采用后者的计算公式,相对于前者而言,只需进行一次加和运算,能够降低运算维度,从而提高运算效率。当判断出Piy、P0y同时为0时,设定
将比较的阀值也即预设值设定为Xf,计算Disi,并将满足Xf≤Disi≤1的Pi值所对应的数字图像通过输出模块输出。例如,Xf=0.1,则0.1≤Disi≤1的Pi值所对应的数字图像会被输出。显然,Xf越接近1,相似度越高,越接近0则越不相似。但考虑到可能因拍照位置、截图精度等造成的偏差,为避免漏搜索,应将Xf取一合适的范围,优选大于0.5,例如设定为0.8。Disi值越大,则说明特征数据Pi与目标特征数据P0越接近,则该第i张数字图像越接近于目标数字图像。
显然,也可采用其他的相似度公式来计算目标特征数据与特征数据的差别,例如Disi=1/|Q0-Qi|,越接近于正无穷大说明二者越相近。不过采用本发明优选的相似度公式,采用该距离公式既是避免像Euclidean距离那样放大了显著图像特征带来的误差,同样也为了避免像Jffreys距离那样放大了非显著图像特征带来的误差,因此更适用在瓷砖识别中。
由于瓷砖行业应用的特殊性,在进行图像匹配时,其要求尽量对于图片旋转、平移等空间变化不敏感,因此不可采用类似人脸识别、条形码识别等技术,因此给业界快速查找和匹配带来困扰。而本发明中,利用直方图分布作为图像特征,可大大降低图像特征对空间信息变化而产生的显著影响。
当满足初次筛选条件Xf≤Disi≤1的Pi值过多,导致需要输出的数字图像过多时,例如需要输出的数字图像数量n超过N/2或N/3或超过100张等,并不利于用户查阅,匹配精确度不高。此时搜索比较器在预设的触发条件下将自动进行二次筛选。触发条件可以是判断初次筛选后需输出的数字图像数量n是否超过总量N的1/3,如果是,自动启动二次筛选,如果否,筛选比较动作结束,输出数字图像。
二次筛选时对符合初次筛选条件Xf≤Disi≤1的n个Pi值(n≤N),按如下公式将每个Pi值进行变换得到Qi:
Qi=[SRi,SGi,SBi];
SRi=[Sri1,Sri2,Sri3,Sri4,……,Sri253,Sri254,Sri255,Sri256];
SGi=[Sgi1,Sgi2,Sgi3,Sgi4,……,Sgi253,Sgi254,Sgi255,Sgi256];
SBi=[Sbi1,Sbi2,Sbi3,Sbi4,……,Sbi253,Sbi254,Sbi255,Sbi256],
且
x=[1,256]且x∈Z;
x=[1,256]且x∈Z;
x=[1,256]且x∈Z;
其中,
Z指整数。
当i=0时,Q0为目标数字图像的目标特征数据,当i为前述一次筛选中符合条件的数字图像所对应的序号,则Qi为特征数据,显然,i≤N,N为所述瓷砖数字图像数据库中数字图像的总张数;
二次筛选时,继续使用相似度比较法来比较Q0和Qi,可采用与初次筛选时所用的类似的相似度公式,即
由于采用上述公式计算时,计算处理器需要计算三个加和程序,影响运行速度;因此,优选地,二次筛选地相似度公式为:
其中,Qiy为768元一维向量Qi的第y个元素的值,Q0y为768元一维向量Q0的第y个元素的值,Max(Qiy,Q0y)指取Qiy和Q0y中相对较大的值。
同样地,采用后者的计算公式,相对于前者而言,只需进行一次加和运算,能够降低运算维度,从而提高运算效率。当判断出Qiy、Q0y同时为0时,设定
二次筛选的阀值仍然为Xf,将二次筛选后满足Xf≤DISi≤1的Qi值所对应的的第i张数字图像通过输出模块输出。阈值即预设值优选大于0.5,最佳为0.8或更大。
定义二次筛选特征向量Qi是考虑到在主体颜色和灰度大致相同的瓷砖数字图像中,其灰度分布处于R、G、B灰度值四分之一至二分之一(即至之间、至之间、至之间)的部分,往往包含了区别图像同质化花纹特征的信息。因此,引入二次筛选特征数据Qi对依次筛选的特征数据Pi进行变换,强化该花纹特征信息,进行二次匹配并重新排序,如此有助于提高与目标数字图像的匹配精度。
需要说明的是,由于瓷砖的图样有同质性,不同瓷砖之间的区别可能比较小,既可能是颜色、色块上的区别,也可能是图样线条的走向的区别,也可能是几个图样块在一块瓷砖上做不同的规律排布得到不同的瓷砖图案,因此它与指纹识别、人脸识别、条形码识别、二维码识别在技术实现上是有很大差异的。
指纹识别依靠识别纹路在图案断点和交叉点来上的不同区分不同指纹,人脸识别则通过不同五官具有不同色块来进行识别,条形码识别依靠识别黑条与白条强弱不同的反射光信号来判断不同条形码,二维码则是依靠其方块黑色块的编码方式来进行识别,但这些方式都不能应用在瓷砖识别上。因为瓷砖既有色块的区别,又有纹理线条的区别,还有图样块分布的区别。
采用频率直方图来分析,可有效兼容上述各种区别的识别,一方面通过规定尺寸内不同颜色出现概率水平,可根据出现概率高的颜色判断出这些颜色及其组合所构成的瓷砖主体图像,同时可根据频率出现低的颜色来判断构成线条或纹理的颜色,甚至不同颜色出现相同频率即可判断出具有图样块阵列或对称等。可见,用频率直方图来分析和识别不同款式的瓷砖图案,具有针对性强、效率高的优点。
经过二次筛选后符合相似度要求的特征数据所对应的数字图像将通过输出模块展示给用户终端。这里的输出模块可以为有线或无线网络,输出的终端可以为网站服务器或用户手机终端,例如这些数字图像通过有线网络被上传到网站服务器上显示在网站页面中,则用户可以知道与所需要的瓷砖匹配的数字图像。当然,也可以将该数字图像通过短信的方式发送给用户手机终端。只要是各种可以告知用户搜索到与目标瓷砖匹配的瓷砖数字图像数据库中的数字图像即可。
第二实施例
如图2所示,在第二实施例中,瓷砖智能识别设备具有第一实施例所描述的所有部件、模块和相应的数据传输方式及功能。
相对于第一实施例的区别在于,存储器除存储有瓷砖数字图像数据库以外,还存储有瓷砖产品信息数据库,该瓷砖产品信息数据库存储有瓷砖数字图像数据库中各个数字图像对应的瓷砖所具有的产品信息,包括生产厂家、销售商家、生产日期、适用位置(用于地板砖、墙面砖、厨卫用瓷砖等)、价格等信息参数。每个瓷砖的产品信息为一个数据,包括前述一个或多个信息参数,则瓷砖产品信息数据库为这些产品信息数据的集合,且每一个瓷砖的产品信息数据与该瓷砖的数字图像成一一映射关系。
初步筛选或二次筛选结束后,瓷砖数字图像数据库中的符合筛选条件的数字图像将通过输出模块输出给终端,本实施例中,一起输出的还有各个符合筛选条件的数字图像所对应的产品信息。则终端用户可以直接从数字图像判断是否是自己需要的目标瓷砖,如果是,则可直接同时了解到该目标瓷砖的产品信息,方便用户选择、比较瓷砖产品,也方便用户查找和联系相应的厂家和商家。
第三实施例
如图3所示,在第二实施例的基础上,瓷砖智能识别设备还设有交互模块、云端服务器以及存储在存储器中的用户信息数据库。
其中,交互模块与搜索比较模块连接,该交互模块可以是键盘、触控显示屏等,用户可通过交互模块来向搜索比较模块输入用户指令,以控制最终输出的产品信息的种类和数量,例如用户只需要输出产品信息中的价格和生产厂家,则可通过交互模块来选择。
另外,存储器中还可存储有用户信息数据库,包括有用户的账号、密码等信息,该数据库与交互模块相连,用于用户登录时的身份认证和使用授权。
云端服务器可以为处理器提供更高效的运算服务,尤其是可进行并行运算,大大缩短运算时间。
图3所示的实施例中,云端服务器分别与特征提取模块和搜索比较模块进行数据连接。特征提取模块接收到目标数字图像后,即向云端服务器输出运算指令,由云端服务器按照特征提取规则计算出目标特征数据P0并返回给特征提取模块。
特征提取模块接受目标特征数据P0,向云端服务器提出运算指令的请求,有云端服务器调取或计算瓷砖数字图像数据库中各个数字图像的特征数据Pi,并与P0进行相似度比较,然后将判断为相似度高于预设值的特征数据Pi返回给搜索比较模块。二次筛选的比较过程也类似。最后搜索比较模块将返回的特征数据所对应的数字图像通过输出模块输出。
优选地,处理器中还包括排序模块,当被判断为相似度高于预设值的特征数据有多个,排序模块对这多个特征数据根据相似度从高到低或从低到高排序,再将排序后的多个特征数据所对应的多个数字图像构成的序列通过输出模块输出。则用户可以有先后重点地查阅这些数字图像,提高效率。
另外,当搜索和筛选结果显示瓷砖数字图像数据库中没有相同或相近的数字图像(也即没有符合相似度条件的数字图像)时,每个输入的目标数字图像及其目标特征数据可以设置成自动存入瓷砖数字图像数据库中成为一个新的数字图像节点和特征数据节点。
采用本发明的瓷砖智能识别设备,需要购买目标瓷砖的用户,只需使用数字图像采集设备对该目标瓷砖进行拍照并通过数据传输接口输入给处理器,处理器即可自动从存储器的瓷砖数字图像数据库中进行自动搜索和匹配比较,在海量的数字图像中找到与目标瓷砖相似度高的数字图像,并输出给用户终端,同时,该数字图像所对应的瓷砖的各种产品信息也可同时输出给用户终端,以供用户选择。鉴于瓷砖所独有的图案形式,选用数字图像的三原色的灰度直方图来作为它们的特征数据进行比较,具有计算量小、准确度高的特点,尤其适用在瓷砖识别上。另外,为了使比较和筛选的准确率更高,将最相近的瓷砖的数字图像及其相关产品信息发布给用户,本发明对目标数字图像和瓷砖数字图像数据库中的数字图像进行两次筛选,二次筛选时通过特征数据变换,对初次筛选的近似数字图像与目标数字图像的区别点进行强化,有利于提高匹配精度,具有效率高、准确率高的优点。
上述这些情形,都属于本发明所要保护的范围,并不仅限于上述实施例。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。