CN112528690B - 非接触式物品材质和形状识别方法、存储介质及计算设备 - Google Patents

非接触式物品材质和形状识别方法、存储介质及计算设备 Download PDF

Info

Publication number
CN112528690B
CN112528690B CN202011304105.8A CN202011304105A CN112528690B CN 112528690 B CN112528690 B CN 112528690B CN 202011304105 A CN202011304105 A CN 202011304105A CN 112528690 B CN112528690 B CN 112528690B
Authority
CN
China
Prior art keywords
article
detected
articles
tag
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011304105.8A
Other languages
English (en)
Other versions
CN112528690A (zh
Inventor
丁菡
侯松江
翟临威
赵衰
王鸽
惠维
赵鲲
赵季中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011304105.8A priority Critical patent/CN112528690B/zh
Publication of CN112528690A publication Critical patent/CN112528690A/zh
Application granted granted Critical
Publication of CN112528690B publication Critical patent/CN112528690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/04—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种非接触式物品材质和形状识别方法、存储介质及计算设备，将待测物品放置在感知平面的指定检测区域，采集RFID阅读器和标签通信过程中各标签的ID、RSS值及相位参数，识别待测物品的形状和材质；进行相似度计算，根据所得结果判定待测物品所属的分类为见过的物品和未见过的物品；若为见过的物品，将采集到的RSS和相位信号进行特征提取得到最优特征，识别待测物品的材质和形状；若为未见过的物品，在隐空间中寻找与待测物品RF特征相似度最接近的文本特征，将文本特征相似度最高的对应文本作为待测物品的识别类别，识别待测物品的材质和形状。本发明成本低，实现跨环境，同时确定物品的形状和材质，识别未见过的即训练集中不存在的物品。

Description

非接触式物品材质和形状识别方法、存储介质及计算设备
技术领域
本发明属于无线射频识别(RFID)技术领域，具体涉及一种基于被动式RFID标签阵列的非接触式物品材质和形状识别方法、存储介质及计算设备。
背景技术
如今，物品识别系统已广泛应用于日常。在公共场景中，例如工厂、超市、机场和地铁站，为了场所的安全保障，比如工厂的物品分类和管理，超市里的货物登记和装卸，机场和地铁站的旅客身份认证和危险物品检查设施等。这其中无线感知的非接触检测设备有很重要的地位，但是当前的检测设备仍有一些缺陷，同时获得物品的材料和形状仍然是一个挑战。
现有的无线物品识别/使用机器学习的物品识别的研究可以分为如下三类：
基于传统设备：基于传统设备的方法使用X射线检测、红外光谱、紫外光谱检测等手段。该类方法最基础的要求是需要昂贵的专用的精密仪器，有的甚至需要将待测物品进行包装，检测代价较为昂贵，并且不够方便。不同于这些方法，本发明不需要专门的设备，实施过程中也不需要对待测物品进行处理。
基于无线信号：基于无线信号的系统使用声音、RFID、Wi-Fi等信号，并通过机器学习方法来检测物品的材质。但是，这些方法都无法同时确定待测物品的材质和形状，并且无法识别未见过的物品。而本发明可以通过标签阵列非接触地检测物品的材质和形状，无论是见过的物品还是未见过的物品。
基于机器学习的无线识别：近年来，随着机器学习和人工智能的发展，越来越多的识别工作开始使用机器学习，例如人脸识别、手势识别、动作识别等工作。本发明结合多项工作，将他们的优点结合起来，实现了物品材质和形状同时识别的目标。
综上，现有技术方法在应用场合、检测范围以及成本等方面都存在或大或小的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于被动式RFID标签阵列的非接触式物品材质和形状识别方法、存储介质及计算设备，将待测物品放置在一个被动RFID标签阵列前并确定其材质及形状，不需要接触物品，同时设备体积小，从而能够在多种场合进行物品检测以达到期望的目标。
本发明采用以下技术方案：
一种非接触式物品材质和形状识别方法，包括以下步骤：
S1、采用被动式RFID标签阵列平面构建感知平面，对待测物品进行检测，通过计算机采集RFID阅读器和标签通信过程中各标签的ID、RSS值及相位参数，识别待测物品的形状和材质；
S2、根据步骤S1采集的各标签的ID、RSS及相位参数，对各标签数据及参照数据进行相似度计算，将相似度结果与经验阈值进行比较，根据所得结果判定待测物品所属的分类为见过的物品和未见过的物品；
S3、若为见过的物品，将采集到的RSS和相位信号进行特征提取得到最优特征，采用卷积神经网络结合全连接层对待测物品进行分类，识别待测物品的材质和形状；
若为未见过的物品，引入零样本学习思想构造公共隐空间，同时将文本特征和RF信号特征映射到隐空间，在隐空间中寻找与待测物品RF特征相似度最接近的文本特征，将文本特征相似度最高的对应文本作为待测物品的识别类别，识别待测物品的材质和形状。
具体的，步骤S1中，被动式RFID标签阵列中两个相邻标签相互垂直排列，标签阵列规格为7×7，两个相邻标签的方向为面对RFID阅读器天线且相互垂直，RFID阅读器天线与标签阵列平行放置且同时垂直于地面。
具体的，各标签的RSS和相位信号phase表示为：
RSS＝20·log|STag|
phase＝θT+θpath+θtag
其中，STag为阅读器天线最终接收到的反射信号，θT为天线所发射的信号的相位值，θpath为信号从天线到标签再从标签返回阅读器天线所产生的相位偏移，即路径所产生的相位偏移，θtag为标签自身硬件产生的相位偏移。
具体的，步骤S2中，采集6种功率下的物品信号；采用多通道方式对不同物品在不同频率下的数据进行分析；并通过注意力机制挑选最优的通道数据实现跨环境识别，计算采集数据特征和已见过物品数据特征的余弦相似度，确定物品属于见过的物品或是未见过的物品。
进一步的，判断待测物品分类的计算公式如下：
Figure BDA0002787759240000031
其中，ΔR为标签阵列感知见过的物品时两两相邻标签的RSS信号差值，ΔP为标签阵列感知见过的物品时两两相邻标签的相位信号差值，S是为见过的物品种类集合，D为余弦相似度，
Figure BDA0002787759240000032
为标签阵列感知见过的物品时两两相邻标签的RSS信号的差值，
Figure BDA0002787759240000033
为标签阵列感知见过的物品时两两相邻标签的相位信号的差值，tR，tP分别为两个经验阈值。
具体的，步骤S3中，若为见过的物品，使用U-Net网络进行物品成像，在训练阶段，输入前一层全连接层输出的64×64的特征，网络自动学习对应特征与物品掩膜间像素间的特征，当U-Net网络获得提取像素特征的能力后，输入RF信号并产生待测物品的形状，掩膜和预测到的图像间的损失函数如下：
Figure BDA0002787759240000041
其中，σ为sigmoid函数，Ls为掩膜和预测到的图像间的损失函数，
Figure BDA0002787759240000042
为掩膜，
Figure BDA0002787759240000043
为预测到的图像；
采用三维卷积神经网络和全连接层进行物品材质识别，材质识别网络损失函数如下：
Figure BDA0002787759240000044
其中，
Figure BDA0002787759240000045
为物品真实的label，
Figure BDA0002787759240000046
为预测的种类。
具体的，步骤S3中，若为未见过的物品，建立公共的隐空间寻找最近邻的文本作为预测结果，对于待测物品的RF特征xL和文本特征zL，隐空间中采用余弦相似度拉近RF特征xL和文本特征zL的距离Lalg；引入三元组损失函数，使得RF特征xL和文本特征zL间的距离比RF特征xL和其他种类
Figure BDA0002787759240000047
之间的距离更小，通过零样本训练使得整体损失最小，采用IOU算法计算形状准确率，若两个图像完全重合，则IOU为1。
进一步的，未见过的材质-形状对的损失函数Lob如下：
Lob＝αLs+βLm
其中，α和β为不同损失函数的权重，Ls为掩膜和预测到的图像间的损失函数，Lm为材质识别网络材质的损失函数；
RF特征xL和文本特征zL的距离Lalg为：
Figure BDA0002787759240000051
零样本训练的损失函数为：
Lzsl＝γLalg+κLtri+mLmc+ωLω
其中，γ,κ,m,ω均为超参数，为RF特征和文本特征的距离，Ltri为三元组损失函数，Lmc和Lω为两个交叉熵损失函数。
本发明的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
本发明的另一个技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种非接触式物品材质和形状识别方法，将一个标签阵列作为感知检测平面，物品在标签阵列前放置进行非接触式检测，对于不同的物品射频信号将会产生相应的变化，将采集到的数据进行处理并使用深度神经网络进行分类来达到识别的目的，不需要提前对某些待测物品进行训练，并且通过利用现有RFID设施来大大减少了部署上面的开销，可以同时确定物品的形状和材质；并且在不依赖精密设备的情况下在许多场所皆可较快完成非接触式物品识别，性价比高，跨环境，可以同时确定物品的形状和材质，可以识别未见过的即训练集中不存在的物品等。
进一步的，考虑天线的摆放位置和角度，当天线和标签阵列平行并保持较近的距离时，可以保证接收信号的质量，使用标签阵列采集信号，是为了增加信号的多样性，提高系统的稳定性，采用7×7的紧密排列的标签阵列，相邻标签之间的电磁场会相互干扰，导致接收信号变得难以处理，本发明将相邻标签两两相互垂直放置，以缓解上述问题。
进一步的，在典型的RFID系统中，阅读器持续询问标签并且可以获得标签的ID、信道参数，这其中RSS和相位信号直接反应标签的信道特征，也可以作为周边环境变化的指标，当有待测物品被放置在检测区域时，本发明通过计算机与阅读器相连，采集RFID阅读器和标签通信过程中标签的RSS和相位信号等参数，各标签的RSS和相位信号phase能够清楚地反映出待测物品的形状和材质特征，由于多种功率下采集到的信号能够更好地反映物品的轮廓特征，本发明采集6种功率下的物品信号；又因为在不同的通信频率上会有不同的通信波长，考虑到频率变化对检测准确率的影响，本发明采用多通道的方式，通过8个通道对不同物品在不同频率下的数据进行分析。
进一步的，在对物品进行分类时，由于待测物品同时存在见过的物品和未见过的物品，由于要识别未见过的物品需要借助附加的文本空间的数据，而对于见过的物品只需按照常规的分类方法将其数据进行划分即可。所以，在对物品进行具体分类之前，可以先将物品分类为见过的物品或是未见过的物品，这样可以使分类更为简单，同时也能够提高待测物品为未见过的物品时的识别准确率。
进一步的，若要对待测物品进行分类，确定其是见过的还是未见过的，需要将采集到的待测物品的数据与已知的见过的物品的数据进行对比，以确定其是见过的物品或是未见过的物品。本发明采用7×7的标签阵列，能够获得多个标签的RSS和相位信号phase，这使得本发明对环境变化具有一定的健壮性，通过标签阵列中所有的两两相邻标签的RSS和相位信号phase的差值计算，能够精确反映所测的物品的种类，如果待测物品未在训练集中出现，那么它的数据将会和见过的物品的训练数据有较大差异，故采用余弦相似度来衡量待测物品和见过的物品之间的信号差异，当RSS和相位信号phase的差异均大于经验阈值时，说明待测物品的数据与理论数据有较大差异，则认为待测物品为未见过的物品。
进一步的，将物品分类为见过的物品或未见过的物品可以提高运算的效率和准确率，当物品为见过的物品时，可用材质识别网络(由多层卷积神经网络和全连接层组成)对物品材质进行学习和分类，因为卷积神经网络有优良的特征提取能力，得到物品的特征后可根据全连接层将其与物品的label联系起来，从而使网络获得识别见过的物品材质的能力。要识别待测物品的形状，由于采集数据使用的标签阵列能够较好地保留物品的轮廓信息，引入U-Net网络能够更好地捕捉这些特征，通过训练可以使网络获得生成物品形状图像的功能。
进一步的，将物品分类为见过的物品或未见过的物品可以提高运算的效率和准确率，当物品为未见过的物品时，则需引入文本数据，并在网络中构建公共的隐空间，同时将RF数据和文本数据映射到该空间。在隐空间中，通过设置合理的损失函数，将同一种物品的RF特征和文本特征靠近，使不同物品的特征远离，对于未见过的物品，将其文本特征和与其有相似特点的物品的文本特征靠近，从而训练网络。将训练集中未出现过的数据通过文本空间传递给网络，网络同时学习文本数据和RF数据，能够推理出文本信息和待测物品的联系，从而推断待测物品材质的具体种类。
进一步的，在对未见过的物品材质和未见过的形状-材质对进行分类时，则需在识别物品形状和材质的基础上设计新的损失函数，将网络识别物品形状和材质的两个损失函数结合起来，调整两个损失函数之间的权重，得到一个新的损失函数，通过这个损失函数训练网络，使得网络获得识别未见过的形状-材质对的功能，为了进一步提高检测准确率，本发明引入了三元组损失函数，使得和之间的距离比和其他种类之间的距离更小，对于待测物品的RF特征和文本特征，隐空间中采用余弦相似度拉近RF特征和文本特征的距离；并引入三元组损失函数，使得RF特征和文本特征间的距离比RF特征和其他种类之间的距离更小，通过零样本训练使得整体损失最小。
综上所述，本发明成本较低，能够实现跨环境，可以同时确定物品的形状和材质，可以识别未见过的即训练集中不存在的物品；本发明利用被动标签对某些未见过物品的材质和形状-材质对进行识别，通过现有商用RFID设备上的实验证实了本发明的可行性和有效性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图；
图2为本发明的结构示意图；
图3为多种物品在多个标签阵列选定标签上的RSS和相位信号差异图；
图4为本发明标签阵列上标签的摆放方法示意图；
图5为多种物品在多个通道上的RSS和相位信号差异图；
图6为环境影响示意图，其中，(a)为周围环境的影响示意图，(b)为减去周围环境影响后多种物品在多个标签阵列选定标签上的相位信号差异图；
图7为多径较大的环境与多径较小的环境对RFID信号的比较图；
图8为本发明采用的深度神经网络的总结构图；
图9为基于零样本学习的未见过的物品识别网络结构图；
图10为本发明在相同环境下的训练和测试示意图；
图11为本发明对未见过的形状-材质对以及未见过的材质的识别示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明将一个标签阵列作为物品检测平面；将不同的物品放置在检测区域中，接收端能够得到不同的射频信号，将这些信号和不同的物品形状和材质结合起来达到识别的目的。本发明的方法包括三个部分：基础的物品材料和形状识别、材质-形状对识别、未见过的物品识别。
请参阅图1，本发明一种基于被动式RFID标签阵列的非接触式物品材质和形状识别方法，包括以下步骤：
S1、采用被动式RFID标签阵列平面构建感知平面，在此基础上，将物品放置在检测区域内进行无接触的检测，另外，在典型的RFID系统中，阅读器持续询问标签并且可以获得标签的ID、信道参数，这其中相位和信号接收强度(RSS)直接反应标签的信道特征，也可以作为周边环境变化的指标，当有物品放置在检测区域时，本发明不需要对物品进行取样，首先采集RFID阅读器和标签通信过程中标签的ID以及RSS、相位参数进行细粒度的物品形状和材质识别；
请参阅图2，当待测物品被放置在检测区域，由于满足一定的较近的距离，该物品本身的材质会与标签的电磁场产生弱耦合效应，通过弱耦合效应，不同的材质会对标签反向散射的信号不同产生影响，从而将物品的材质反映到了接收信号当中，通过对接收信号适当处理，便可对待测物品进行分类。
请参阅图3，在验证环节，仅仅为了说明该发明的可行性，选择9个位置的标签对不同实验情况进行验证。
请参阅图4，被动式RFID标签阵列中两个相邻标签紧密排列，相邻标签相互垂直以缓解相邻标签之间信号的电磁干扰，标签阵列规格为7×7，尺寸约为18cm×18cm，两个相邻标签的方向为面对RFID阅读器天线且相互垂直，RFID阅读器天线与标签阵列平行放置，二者同时垂直于地面。当物品被放置在指定检测范围内时，采集RFID阅读器天线和标签通信过程中各标签的ID、RSS值、以及相位参数。
接收到的标签的反射信号表示为：
STag＝ST·hpath·htag
其中，
Figure BDA0002787759240000101
表示从天线到标签再从标签到天线和阅读器的信号，
Figure BDA0002787759240000102
表示标签本身硬件所产生的通道信息；
于是，RSS和相位信号表示为：
RSS＝20·log|STag|
phase＝θT+θpath+θtag
S2、根据步骤S1采集的各标签的ID、RSS、以及相位参数，首先对各标签数据及参照数据进行相似度的计算，与经验阈值进行比较，根据所得结果判定待测物品所属的分类，即见过的物品和未见过的物品；
判断待测物品分类的计算公式如下：
Figure BDA0002787759240000111
其中，ΔR为标签阵列感知见过物品时两两相邻标签的RSS信号差值，ΔP为标签阵列感知见过物品时两两相邻标签的相位信号差值，S是系统见过的物品种类集合，D代表余弦相似度，
Figure BDA0002787759240000112
是标签阵列感知见过物品时两两相邻标签的RSS信号的理论差值，
Figure BDA0002787759240000113
是标签阵列感知见过物品时两两相邻标签的相位信号的理论差值，tR，tP是两个经验阈值。
采用采集数据与训练数据计算相似度的方法对物品进行第一步分类，确定其为见过的物品或是未见过的物品，使用余弦相似度计算采集数据和理论数据RSS和相位的相似度，设定经验阈值，当满足上式时，待测物品被分类为未见过的物品，反之则被分类为见过的物品。
当待测物品放置在标签阵列前并满足一定的距离，每个标签产生的电磁场将会和物品本身的材质发生一种弱耦合效应，其接收到的RSS和相位数据与物品的材质以及形状都有紧密的相关性，在本发明中，阅读器天线和标签阵列的相对位置是固定的，因此每个标签对阅读器的反向散射信号在静态环境中是稳定的，当有物品放置在检测区域，接收信号会与没有放置待测物品时有明显差异，但是由于多种功率下采集到的信号能够更好地反映物品的轮廓特征，本发明采集6种功率下的物品信号；在不同的通信频率上会有不同的通信波长，考虑到频率变化对检测准确率的影响，本发明采用多通道的方式，通过8个通道对不同物品在不同频率下的数据进行分析；最后本发明将标签阵列RF信号数据作为样本，并通过注意力机制挑选最优的通道数据实现跨环境，计算采集数据和训练数据的余弦相似度从而确定物品属于见过的物品或是未见过的物品。
请参阅图5，考虑到频率变化对检测准确率的影响，本发明采用多通道的方式，商用的RFID沿用步长250kHz从920.625MHz到924.875MHz的频率通道，这里采用8个通道(Channel#1,#3,#5,#7,#9,#11,#13,#15)对不同物品在不同频率下的数据进行分析，同一物品在不同频率下的数据趋于稳定，而不同物品则有较大的波动。
请参阅图6，STag＝ST·hpath·htag不仅仅是传播信号的叠加，同样存在着来自周围环境的反射，为了得到可靠的判断，需要缓解周围环境的影响，当物品放置在检测区域时接收信号
Figure BDA0002787759240000121
表示为：
Figure BDA0002787759240000122
其中，
Figure BDA0002787759240000123
表示待测区域没有物品放置时的环境信号，
Figure BDA0002787759240000124
表示完全由物品引入的信号变化，可即用于判断物品种类的信号。
完全由物品引入所造成的信号变化Sob表示如下：
Figure BDA0002787759240000125
请参阅图7，多径较大的环境同样也会对检测准确率造成影响，通过频率的注意力机制可以筛选出对多径健壮性好的通道，本发明采用Squeeze-and-Excitation(SE)，可以通过建立通道间的依赖关系，自动地学习通道的特征响应，通过引入SE模块，可以抑制不重要的特征并增强重要的特征，从而利用多径实现更优的特征提取。
S3、若步骤S2为见过的物品时，将采集到的RSS和相位信号进行特征提取，以得到最优的特征，减弱跨环境对识别准确率产生的影响，将其特征放入深度神经网络中，采用材质识别网络(由卷积神经网络和全连接层组成)对物品进行分类，得出其材质，在训练时引入U-Net网络，可获得识别物品形状的功能，从而得到待测物品的图像；
若步骤S2为未见过的物品时，引入零样本学习的思想，构造公共的隐空间，同时将文本特征和RF特征映射到隐空间，在隐空间中寻找与待测物品RF特征相近的文本特征，，相似度最高的对应文本将作为待测物品的识别结果。
首先，确定待测物品未曾出现在训练集中，则需引入文本数据，并在网络中构建公共的隐空间，在隐空间中，通过设置合理的损失函数，将同一种物品的RF数据和文本数据靠近，使不同物品的数据远离，对于未见过的物品，将其文本特征和与其有相似特点的物品的文本特征靠近，从而训练网络。如图9所示，本发明引入公共的隐空间，根据待测物品的文本信息与已知物品文本信息的距离，来确定该未见过的物品的确切种类，以达到最终目的。
请参阅图8，采用标签阵列采集信号相比使用单标签具有更好的物品轮廓感，由于标签阵列的排布，相邻标签的信号与物品应存在一定的关系，为了捕捉这种潜在的关系，采用卷积神经网络，为了提高效率则要增加网络的层数，这样就会导致过拟合和扩散梯度，采用Inception-ResNet V2的网络结构，保留了底部的有效特征，加速了初始的训练，可以有效解决上述问题；
为了提高系统的通用性和健壮性，本发明指出了一个忽略环境影响的部分，它由一个三维的average-pooling层和一个全连接层组成，通过逆梯度剥离环境相关的信息，可以实现跨环境的物品识别，其损失函数如下：
Figure BDA0002787759240000141
其中，
Figure BDA0002787759240000142
表示真实的label，
Figure BDA0002787759240000143
表示所测环境的label。
请参阅图8，为了得到物品的形状，本发明使用U-Net来产生物品的图像，在训练阶段，输入物品掩膜与前一层全连接层输出的64×64的特征，网络会自动学习和像素有关的特征，当网络获得了提取像素特征的能力后，便可以输入RF信号并通过其产生物品的形状，掩膜
Figure BDA0002787759240000144
和预测到的图像
Figure BDA0002787759240000145
之间的损失函数如下：
Figure BDA0002787759240000146
其中，σ为sigmoid函数；
请参阅图8，为了判断物品的种类，本发明采用一系列的三维卷积神经网络和全连接层组成材质识别网络模块，对物品进行分类，其损失函数如下：
Figure BDA0002787759240000147
其中，
Figure BDA0002787759240000148
为真实的label，
Figure BDA0002787759240000149
为预测的种类；
请参阅图8，对于未见过的材质-形状对，其损失函数如下：
Lob＝αLs+βLm
其中，α和β为不同损失函数的权重；
请参阅图9，为了确定未见过的物品的种类，需要利用其他的信息来源。本发明使用文本信息，如果两种物品的文本信息相似，材质应同样相似，从而反映到他们的RF信号中，例如白酒和医用酒精。利用零样本学习的思想，将RF数据和文本数据相结合，考虑到物品的RF数据和文本数据非对齐的结构，需建立公共的隐空间寻找最近邻的文本作为预测结果。对于物品的RF特征xL和文本特征zL，迫使它们在隐空间的距离足够相近，由于使用L2范数会使得两种特征的数据过小导致检测效果差，所以在隐空间中采用余弦相似度拉近RF特征和文本特征的距离：
Figure BDA0002787759240000151
Lalg仅考虑到xL和zL之间的距离，为了进一步提高检测准确率，本发明引入了三元组损失函数，使得xL和zL之间的距离比xL和其他种类
Figure BDA0002787759240000152
之间的距离更小，其效果受边际M控制：
Figure BDA0002787759240000153
在训练材质和文本分类时存在两个交叉熵损失函数Lmc和Lω，零样本的训练过程就是要使得整体的损失最小，其损失函数设计为：
Lzsl＝γLalg+κLtri+mLmc+ωLω
本发明使用的物品材质及其形状：玻璃杯，陶瓷杯，陶瓷碗，纸板(三角形)，纸板(正方形)，纸板(圆形)，木板，红酒，可口可乐，食用油，香水，水。在计算形状准确率时，采用IOU算法：
Figure BDA0002787759240000154
其中，GT表示待测物品形状的真实掩膜，PS表示系统得出的物品形状，若两个图像完全重合，则IOU为1，本发明使用mIOU来表征待测物品形状识别的准确率，mIOU为某类物品所有参与检测的样本的平均值；
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于非接触式物品材质和形状识别的操作，包括：采用被动式RFID标签阵列平面构建感知平面，将待测物品放置在感知平面的指定检测区域，通过计算机采集RFID阅读器和标签通信过程中各标签的ID、RSS值及相位参数，识别待测物品的形状和材质；根据采集的各标签的ID、RSS及相位参数，对各标签数据及参照数据进行相似度计算，将相似度结果与经验阈值进行比较，根据所得结果判定待测物品所属的分类为见过的物品和未见过的物品；若为见过的物品，将采集到的RSS和相位信号进行特征提取得到最优特征，采用卷积神经网络结合全连接层对待测物品进行分类，识别待测物品的材质和形状；若为未见过的物品，引入零样本学习思想构造公共隐空间，同时将文本特征和RF信号特征映射到隐空间，在隐空间中寻找与待测物品RF特征相似度最接近的文本特征，将文本特征相似度最高的对应文本作为待测物品的识别类别，识别待测物品的材质和形状。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关电网中长期检修计划的校核方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：采用被动式RFID标签阵列平面构建感知平面，将待测物品放置在感知平面的指定检测区域，通过计算机采集RFID阅读器和标签通信过程中各标签的ID、RSS值及相位参数，识别待测物品的形状和材质；根据采集的各标签的ID、RSS及相位参数，对各标签数据及参照数据进行相似度计算，将相似度结果与经验阈值进行比较，根据所得结果判定待测物品所属的分类为见过的物品和未见过的物品；若为见过的物品，将采集到的RSS和相位信号进行特征提取得到最优特征，采用卷积神经网络结合全连接层对待测物品进行分类，识别待测物品的材质和形状；若为未见过的物品，引入零样本学习思想构造公共隐空间，同时将文本特征和RF信号特征映射到隐空间，在隐空间中寻找与待测物品RF特征相似度最接近的文本特征，将文本特征相似度最高的对应文本作为待测物品的识别类别，识别待测物品的材质和形状。
请参阅图10，本发明测试了在相同环境下的训练和测试，随机将数据集分成8：2等份分别用于训练和测试，对见过的物品的形状和材质分别进行了识别，其中O1～O12分别表示检测所用的12种物品。结果表明，本发明对于见过的物品材质的检测准确性达到99.9％左右，并且能够获得待测物品的形状，其mIOU大约达到了99.8％，证明了本发明在相同环境下对物品识别的可靠性。
请参阅图11，本发明测试了对未见过的形状-材质对以及未见过的材质的识别，将鸡尾酒放置在A和B容器中，并将水放置在C容器中，并且训练集含有这些数据，但是在测试时将鸡尾酒放置在C容器中，对其进行识别。结果表明，当训练的epochs达到40时，本发明对于未见过的形状-材质对的材质和形状的识别准确率分别达到了92％和97％，其mIOU大约达到了96％，证明了本发明区分未见过的形状-材质对的能力。对于未见过的材质，训练时将10种不同的液体放置在同一种容器中，测试时选择医用酒精和百事可乐进行测试，结果表明，当训练的epochs达到100时，本发明对于未见过的物品，即医用酒精和百事可乐的识别准确率均达到了90％以上，证明了本发明识别未见过的材质的有效性。
本发明能够同时获得物品的形状和材质；不需要提前对某些物品进行训练，并且通过利用现有RFID设施来大大减少了部署的开销，此外本发明可以实现跨环境，也不需要大体积或者昂贵的精密仪器。设计初衷有三个：其一是基于标签和物品材质的弱耦合效应：当物品距离标签较近时，会对标签反向散射的信号产生影响；其二是提供一种便捷的并低成本的物品检测系统；其三是引入零样本学习，实现对未见过的物品的识别，提高系统的通用性。
综上所述，本发明是一种非接触式物品材质和形状识别方法，将一个标签阵列平面作为物品的检测平面，在一些重要场合，可以便捷地对物品形状和材质进行检测。本发明不需要特殊的精密仪器，能够在多种环境中进行检测；本发明采用了深度神经网络的技术。结果表明，本发明能够应用于多种场景，在检测物品形状和材质时准确度和可靠度都是十分可观。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.非接触式物品材质和形状识别方法，其特征在于，包括以下步骤：
S1、采用被动式RFID标签阵列平面构建感知平面，对待测物品进行检测，通过计算机采集RFID阅读器和标签通信过程中各标签的ID、RSS值及相位参数，识别待测物品的形状和材质；
S2、根据步骤S1采集的各标签的ID、RSS及相位参数，对各标签数据及参照数据进行相似度计算，将相似度结果与经验阈值进行比较，根据所得结果判定待测物品所属的分类为见过的物品和未见过的物品；
S3、若为见过的物品，将采集到的RSS和相位信号进行特征提取得到最优特征，采用卷积神经网络结合全连接层对待测物品进行分类，识别待测物品的材质和形状；
若为未见过的物品，引入零样本学习思想构造公共隐空间，同时将文本特征和RF信号特征映射到隐空间，在隐空间中寻找与待测物品RF特征相似度最接近的文本特征，将文本特征相似度最高的对应文本作为待测物品的识别类别，识别待测物品的材质和形状，具体如下：
若为未见过的物品，建立公共的隐空间寻找最近邻的文本作为预测结果，对于待测物品的RF特征xL和文本特征zL，隐空间中采用余弦相似度拉近RF特征xL和文本特征zL的距离Lalg；引入三元组损失函数，使得RF特征xL和文本特征zL间的距离比RF特征xL和其他种类
Figure FDA0003554160000000011
之间的距离更小，通过零样本训练使得整体损失最小，采用IOU算法计算形状准确率，若两个图像完全重合，则IOU为1。
2.根据权利要求1所述的非接触式物品材质和形状识别方法，其特征在于，步骤S1中，被动式RFID标签阵列中两个相邻标签相互垂直排列，标签阵列规格为7×7，两个相邻标签的方向为面对RFID阅读器天线且相互垂直，RFID阅读器天线与标签阵列平行放置且同时垂直于地面。
3.根据权利要求1所述的非接触式物品材质和形状识别方法，其特征在于，各标签的RSS和相位信号phase表示为：
RSS＝20·log|STag|
phase＝θT+θpath+θtag
其中，STag为阅读器天线最终接收到的反射信号，θT为天线所发射的信号的相位值，θpath为信号从天线到标签再从标签返回阅读器天线所产生的相位偏移，即路径所产生的相位偏移，θtag为标签自身硬件产生的相位偏移。
4.根据权利要求1所述的非接触式物品材质和形状识别方法，其特征在于，步骤S2中，采集6种功率下的物品信号；采用多通道方式对不同物品在不同频率下的数据进行分析；并通过注意力机制挑选最优的通道数据实现跨环境识别，计算采集数据特征和已见过物品数据特征的余弦相似度，确定物品属于见过的物品或是未见过的物品。
5.根据权利要求4所述的非接触式物品材质和形状识别方法，其特征在于，判断待测物品分类的计算公式如下：
Figure FDA0003554160000000021
其中，ΔR为标签阵列感知见过的物品时两两相邻标签的RSS信号差值，ΔP为标签阵列感知见过的物品时两两相邻标签的相位信号差值，S是为见过的物品种类集合，D为余弦相似度，
Figure FDA0003554160000000022
为标签阵列感知见过的物品时两两相邻标签的RSS信号的理论差值，
Figure FDA0003554160000000023
为标签阵列感知见过的物品时两两相邻标签的相位信号的理论差值，tR，tP分别为两个经验阈值。
6.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
7.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
CN202011304105.8A 2020-11-19 2020-11-19 非接触式物品材质和形状识别方法、存储介质及计算设备 Active CN112528690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011304105.8A CN112528690B (zh) 2020-11-19 2020-11-19 非接触式物品材质和形状识别方法、存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011304105.8A CN112528690B (zh) 2020-11-19 2020-11-19 非接触式物品材质和形状识别方法、存储介质及计算设备

Publications (2)

Publication Number Publication Date
CN112528690A CN112528690A (zh) 2021-03-19
CN112528690B true CN112528690B (zh) 2022-06-07

Family

ID=74981319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011304105.8A Active CN112528690B (zh) 2020-11-19 2020-11-19 非接触式物品材质和形状识别方法、存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN112528690B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553858B (zh) * 2021-07-29 2023-10-10 北京达佳互联信息技术有限公司 文本向量表征模型的训练和文本聚类
CN116596012B (zh) * 2023-05-09 2024-05-07 上海银满仓数字科技有限公司 一种基于rfid的商品信息传输方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341424A (zh) * 2017-06-28 2017-11-10 西安交通大学 一种基于rfid多径估计的精确相位计算方法
CN107944468A (zh) * 2017-11-02 2018-04-20 天津大学 基于隐空间编码的零样本学习分类方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
CN111259679A (zh) * 2020-01-16 2020-06-09 西安交通大学 一种基于射频信号特征的非绑定式物品识别方法
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341424A (zh) * 2017-06-28 2017-11-10 西安交通大学 一种基于rfid多径估计的精确相位计算方法
CN107944468A (zh) * 2017-11-02 2018-04-20 天津大学 基于隐空间编码的零样本学习分类方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
CN111259679A (zh) * 2020-01-16 2020-06-09 西安交通大学 一种基于射频信号特征的非绑定式物品识别方法
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备

Also Published As

Publication number Publication date
CN112528690A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11527054B2 (en) Article management system, information processing apparatus, and control method and control program of information processing apparatus
Jordanov et al. Classifiers accuracy improvement based on missing data imputation
CN112528690B (zh) 非接触式物品材质和形状识别方法、存储介质及计算设备
US20160110630A1 (en) Image based object classification
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
Min et al. New approach to vehicle license plate location based on new model YOLO‐L and plate pre‐identification
Ding et al. Human object estimation via backscattered radio frequency signal
KR20200137219A (ko) 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
WO2016045215A1 (zh) 指纹图像质量的判断方法和装置
CN103530607B (zh) 一种人手检测与识别的方法与装置
US20200311488A1 (en) Subject recognizing method and apparatus
CN103593695A (zh) 一种dpm二维码区域定位的方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN106491322A (zh) 基于OpenCV图像识别的盲人拐杖控制系统及方法
CN110119742A (zh) 一种集装箱号的识别方法、装置及移动终端
Ilina et al. Robustness study of a deep convolutional neural network for vehicle detection in aerial imagery
CN102855473B (zh) 一种基于相似性度量的图像多目标检测方法
Ng et al. Intelligent book positioning for library using RFID and book spine matching
Yunus YOLO V7 and Computer Vision-Based Mask-Wearing Warning System for Congested Public Areas
Wang et al. Scale‐invariant feature matching based on pairs of feature points
Gu et al. Multi-scaled license plate detection based on the label-moveable maximal MSER clique
El‐Masry et al. Action recognition by discriminative EdgeBoxes
Mitiche et al. Naive bayes multi-label classification approach for high-voltage condition monitoring
JP2014048702A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant