CN114492487B - 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统 - Google Patents

一种基于rfid技术和计算机视觉技术的图书盘点方法及系统 Download PDF

Info

Publication number
CN114492487B
CN114492487B CN202210046371.8A CN202210046371A CN114492487B CN 114492487 B CN114492487 B CN 114492487B CN 202210046371 A CN202210046371 A CN 202210046371A CN 114492487 B CN114492487 B CN 114492487B
Authority
CN
China
Prior art keywords
book
information
rfid
image
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210046371.8A
Other languages
English (en)
Other versions
CN114492487A (zh
Inventor
李克秋
刘秀龙
张久武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210046371.8A priority Critical patent/CN114492487B/zh
Publication of CN114492487A publication Critical patent/CN114492487A/zh
Application granted granted Critical
Publication of CN114492487B publication Critical patent/CN114492487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10019—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers.
    • G06K7/10079—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers. the collision being resolved in the spatial domain, e.g. temporary shields for blindfolding the interrogator in specific directions
    • G06K7/10089—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers. the collision being resolved in the spatial domain, e.g. temporary shields for blindfolding the interrogator in specific directions the interrogation device using at least one directional antenna or directional interrogation field to resolve the collision
    • G06K7/10099—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers. the collision being resolved in the spatial domain, e.g. temporary shields for blindfolding the interrogator in specific directions the interrogation device using at least one directional antenna or directional interrogation field to resolve the collision the directional field being used for pinpointing the location of the record carrier, e.g. for finding or locating an RFID tag amongst a plurality of RFID tags, each RFID tag being associated with an object, e.g. for physically locating the RFID tagged object in a warehouse
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于RFID技术和计算机视觉技术的图书盘点方法，所述方法包括获取图书馆的地图，规划RFID机器人的盘点路线；基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案。本方法通过图书的图像信息对RFID定位信息进行校正得到图书的精准位置信息，实现了对图书所在位置的精确盘点，解决了现有的RFID的设备精度不高的问题。

Description

一种基于RFID技术和计算机视觉技术的图书盘点方法及系统
技术领域
本发明属于无线通信技术领域，特别涉及一种基于RFID技术和计算机视觉技术的图书盘点方法及系统。
背景技术
随着信息技术的广泛应用，物联网和图像识别技术的应用越来越广泛，基于这些技术的应用也正在深入到产业和生活的方方面面。图书馆的盘点是一项十分耗费人力的工作，一直以来如何快速有效地自动化盘点工作一直是个难题，随着物联网技术的发展，各大图书馆陆续采用RFID技术进行图书盘点。
RFID(Radio Frequency Identification)技术，又称无线射频技术是当前在物联网中用于非接触短距离通信的重要技术。RFID技术最早起源于英国，近年来RFID技术作为构建“物联网”的关键技术受到人们的关注。RFID技术相较于条码技术等，具有非接触、快速、可读写重复使用、安全性高和抗污染耐久力强等优点，可以实现在恶劣天气下快速读取标签。
国内很多图书馆已经使用RFID标签帮助管理图书，但是目前图书盘点使用手持或者固定RFID阅读器检录大量的图书，工作过程耗时长，自动化程度不高，并且基于RFID技术的设备存在精度不高，难以实现室内准确定位。
发明内容
针对上述现有技术存在的问题，本发明提供了一种基于RFID技术和计算机视觉技术的图书盘点方法及系统，通过RFID机器人获取图书的RFID标签信息和图像信息，基于图像信息对RFID定位信息进行校正得到图书的精准位置信息，实现了对图书所在位置的精确盘点，解决了现有的RFID的设备精度不高的问题。
本发明实施例的第一方面提供了一种基于RFID技术和计算机视觉技术的图书盘点方法，所述方法包括：
获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；
将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案。
作为上述方案的进一步优化，所述基于图书的RFID标签信息获取RFID定位信息序列的具体步骤如下：
S1：获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
S2：判断获取的RFID标签信息是否稀疏，若稀疏则基于信号强度RSSI获取图书的第一位置坐标，若不稀疏则基于RFID相位信息获取图书的第一位置坐标；
S3：对所述第一位置坐标进行筛选，获取筛选后的第一位置坐标的坐标获取时间，将图书的EPC书名信息、第一位置坐标、坐标获取时间进行组合，得到图书的RFID定位信息，将所述RFID定位信息按照时间顺序进行排列得到RFID定位信息序列。
作为上述方案的进一步优化，基于RFID相位信息获取图书的第一位置坐标的具体获取过程如下：
S101：获取RFID机器人在所述盘点路线上前进时接收到的同一本图书RFID标签的多个相位值；
S102：去除所述RFID标签相位值中的离群点，构造图书RFID标签的相位变化图像；
S103：随机获取图书RFID标签的相位变化图像上的三个时间点计算图书的待筛选坐标；
S104：重复步骤S103，获取图书的多个待筛选坐标组合为坐标集，根据待筛选坐标之间的关联性筛除坐标集中关联性较弱的待筛选坐标，基于坐标集中剩余的待筛选坐标计算平均值作为第一位置坐标。
作为上述方案的进一步优化，所述待筛选坐标计算过程如下：
选取ti，tw+i，t2w+i三个时间节点，获取三个时间节点对应的相位值p'(id,ti)，p'(id,tw+i)，p'(id,t2w+i)；
基于选取的时间节点和时间节点对应的相位值计算图书RFID标签的待筛选坐标，待筛选坐标的计算公式如下：
Figure BDA0003470179950000041
Figure BDA0003470179950000042
其中，id为RFID标签的EPC编码，v为RFID机器人的移动速度，λ为RFID信号的波长，Δθ2为p'(id,tw+i)与p'(id,t2w+i)的差值，ΔT2为t2w+i与tw+i的差值，S表示距离参数，(xi,yi)为ti时刻的待筛选坐标。
作为上述方案的进一步优化，所述基于图书的图像信息获取图像信息序列包括：将采集的多帧图像按照图像采集时间拼接为全景图像，识别全景图像中的每本图书的书脊轮廓，获取书脊轮廓的图像定位信息，并提取单个书脊轮廓中的文字信息，将单个书脊轮廓的图像定位信息、文字信息和其所在单帧图像的图像采集时间组合为图书的图像信息，将图书的图像信息按照时间顺序排序得到图像信息序列。
作为上述方案的进一步优化，所述将RFID定位信息序列和图像信息序列相互匹配校正包括以下步骤：
a.将RFID定位信息序列中的EPC书名信息与图像信息序列中的文字信息进行匹配，获取所有匹配度大于预设值的EPC书名信息与文字信息之间的时间差值；
b.计算所述时间差值的平均值，若平均值不在时间阈值范围内则将图像信息序列中的坐标获取时间增加一个平均值，并重复步骤a；
c.若平均值在时间阈值范围内，则设定所述时间阈值范围为校正宽度，基于所述校正宽度检索RFID定位信息序列中每个RFID定位信息在图像信息序列中对应的图像信息，并基于图像信息校正RFID定位信息，得到图书的精准位置信息。
作为上述方案的进一步优化，所述对RFID定位信息进行校正包括：获取RFID定位信息对应的图像信息，将RFID定位信息中的第一位置坐标、坐标获取时间校正为图像信息中的图像定位信息、图像采集时间。
本发明实施例的第二方面提供了一种基于RFID技术和计算机视觉技术的图书盘点系统，所述系统包括：
激光导航模块，用于获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
数据获取模块，用于基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
数据处理模块，用于基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
用户交互模块，用于将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案。
作为上述方案的进一步优化，所述数据获取模块包括：
RFID单元，用于获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
图像识别单元，用于获取图书的图像信息；
时钟单元，用于获取图像采集时间和坐标获取时间。
本发明实施例的第三方面提供了一种RFID机器人,所述RFID机器人包括存储器、处理器及存储在存储器上并在处理器上运行的可执行程序，所述处理器执行程序时实现权利要求1至7中任意一项所述的一种基于RFID技术和计算机视觉技术的图书盘点方法。
本发明的一种基于RFID技术和计算机视觉技术的图书盘点方法及系统，具备如下有益效果：
1、本发明通过获取图书的RFID标签信息，得到RFID定位信息序列，通过获取图书的图像信息得到图像信息序列，然后将图像信息序列与RFID定位信息序列进行匹配，并通过图书图像信息对RFID定位信息进行校正，得到图书的精准位置信息，实现了对图书所在位置的精准盘点，本方法解决了现有技术中RFID设备精度不高，难以实现室内准确定位的问题。
2、本发明通过RFID机器人在提前规划的盘点路线上行进对图书的RFID标签信息和图像信息进行采集，并基于采集的信息得到图书的精准位置信息，对图书进行定位盘点，同时可以根据盘点结果规划最优图书整理方案，盘点过程自动化程度高，通过该方法解决了目前图书盘点多使用手持或者固定RFID阅读器，工作过程耗时长，自动化程度不高的问题，并且可根据盘点结果规划最优图书整理方案，减少了图书管理人员的工作量，实用性更强。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于RFID技术和计算机视觉技术的图书盘点方法的整体流程图；
图2是本发明RFID机器人的运行示意图；
图3是本发明相位变化图像示意图；
图4是本发明精准位置信息获取过程流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供了一种基于RFID技术和计算机视觉技术的图书盘点方法，上述方法包括：
获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；
将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案。
参考图1-2，在本实施例中，基于图书的RFID标签信息和图书的图像信息获取图书的精准位置信息，实现对图书的盘点。具体的是，通过RFID机器人扫描图书馆的地图，并基于所述地图规划处盘点路线，其中每个书架两侧的盘点路线与书架平行，盘点路线上设置有检查点，便于RFID机器人采集信息，启动RFID机器人后，其沿着盘点路线做匀速直线运动，并不断获取图书的RFID标签信息，基于此可得到RFID定位信息序列，由于RFID定位精度不高，因此还需要通过图书的图像信息获取图像信息序列，并将图像信息序列与RFID定位信息序列进行匹配，通过图像信息校正与之相匹配的RFID定位信息，得到图书的精准位置信息，将获取的图书精准位置信息与数据库中存储的图书位置信息进行对比，可以得到那些图书不在其原来的位置，即得到图书的错误位置信息，基于RFID图书的错误位置信息机器人会规划出最优图书整理方案并发送至图书馆管理员处。
本方法采用RFID机器人进行图书盘点，实现了自动化的图书盘点，节约了图书盘点过程中的人力成本，通过图书的RFID标签信息和图书的图像信息共同获取图书的精准位置信息，解决了现有技术中RFID设备定位精度不高的问题，提高了图书盘点结果的准确性，为后续进行优图书整理方案提供了数据支持，同时本方法可基于盘点结果规划最优图书整理方案，帮助图书馆管理员快速的进行图书整理，减少了图书盘点与整理的工作量，实用性强，便于推广。
基于上述图书盘点方法，上述基于图书的RFID标签信息获取RFID定位信息序列的具体步骤如下：
S1：获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
S2：判断获取的RFID标签信息是否稀疏，若稀疏则基于信号强度RSSI获取图书的第一位置坐标，若不稀疏则基于RFID相位信息获取图书的第一位置坐标；
S3：对所述第一位置坐标进行筛选，获取筛选后的第一位置坐标的坐标获取时间，将图书的EPC书名信息、第一位置坐标、坐标获取时间进行组合，得到图书的RFID定位信息，将所述RFID定位信息按照时间顺序进行排列得到RFID定位信息序列。
参考图1-2，在本实施例中，RFID机器人接收图书中的RFID标签的信息，可以获取到RFID相位信息、信号强度RSSI和EPC编码中对应的图书书名信息，其中由于RFID机器人做匀速直线运动，RFID机器人与其某一侧书架上得到单本图书之间的距离会发生规律性变化，因此RFID机器人接收到该图书的RFID标签信号的信号强度RSSI和RFID相位信息呈规律性变化，根据信号强度RSSI和RFID相位信息均可算出该本图书的第一位置坐标，但是信号强度RSSI收到其他信号干扰较大，因此需要判断RFID机器人接收到的RFID标签信号是否稀疏，若稀疏则可通过信号强度RSSI计算第一位置坐标，反之则通过RFID进行计算；
进一步的，由于通过RFID标签进行定位的准确度不高，因此在获取图书的第一位置坐标后需要对图书的第一位置坐标进行筛选，其中筛选过程具体如下：
获取单本图书的信号强度RSSI、RFID相位的向量式和变化图像；
将单本图书的信号强度RSSI、RFID相位的向量式和变化图像以及其第一位置坐标的竖直坐标输入到预设的多模神经网络中获取该图书所在书架层数；
将输出的图书所在书架层数与RFID机器人所扫描的书架层数进行对比，若相同则说明图书的第一位置坐标符合预设条件。
通过该方法可以得到较为精确的图书第一位置坐标，获取每本图书的第一位置坐标和坐标获取时间，将单本图书的EPC书名信息、第一位置坐标、坐标获取时间组合为图书的RFID定位信息，将图书的RFID定位信息按照时间顺序进行排序即可得到RFID定位信息。
基于上述图书盘点方法，上述基于RFID相位信息获取图书的第一位置坐标的具体获取过程如下：
S101：获取RFID机器人在所述盘点路线上前进时接收到的同一本图书RFID标签的多个相位值；
S102：去除所述RFID标签相位值中的离群点，构造图书RFID标签的相位变化图像；
S103：随机获取图书RFID标签的相位变化图像上的三个时间点计算图书的待筛选坐标；
S104：重复步骤S103，获取图书的多个待筛选坐标组合为坐标集，根据待筛选坐标之间的关联性筛除坐标集中关联性较弱的待筛选坐标，基于坐标集中剩余的待筛选坐标计算平均值作为第一位置坐标。
参考图3，需要说明的是，RFID机器人会实时记录图书的RFID标签信息，并且每个标签信息均为异步处理，由于RFID机器人沿着直线运动，因此RFID机器人发送的载波信号返回时的相位角会发送规律性变化，将获取的单个标签的相位对2π取模后建立相位变化图像，则可得到单个标签的相位随时间先减小在增加。在获取单个标签的相位的过程中由于环境影响可能导致个别数据存在较大的误差因此，需要筛除图像中的离群点，对图像进行平滑处理。
进一步的在得到相位变化图像中随机选取三个时间点，即可计算出图书的待筛选坐标，为了进一步提高计算结果的准确性，在本实施例中中，需要多次选取不同的三个点，计算出多个待筛选坐标，并将多个待筛选坐标构造为坐标集，然后通过聚类算法获取不同待筛选坐标之间的关联性，筛除其中的奇异点，最后根据坐标集中剩余的待筛选坐标计算平均值，该平均值即为第一位置坐标。
基于上述图书盘点方法，上述待筛选坐标计算过程如下：
选取ti，tw+i，t2w+i三个时间节点，获取三个时间节点对应的相位值p'(id,ti)，p'(id,tw+i)，p'(id,t2w+i)；
基于选取的时间节点和时间节点对应的相位值计算图书RFID标签的待筛选坐标，待筛选坐标的计算公式如下：
Figure BDA0003470179950000121
Figure BDA0003470179950000122
其中，id为RFID标签的EPC编码，v为RFID机器人的移动速度，λ为RFID信号的波长，Δθ2为p'(id,tw+i)与p'(id,t2w+i)的差值，ΔT2为t2w+i与tw+i的差值，S表示距离参数，(xi,yi)为ti时刻的待筛选坐标。
具体的是，待筛选坐标的可通过在相位变化图像中，选取三个时间点进行计算，选取ti，tw+i，t2w+i三个时间点，其中相邻两个时间点之间的差值相同，根据相位变化图像获取选取的时间点对应的相位p'(id,ti)，p'(id,tw+i)，p'(id,t2w+i)，将选取的时间点和相位代入式(1)、(2)中即可计算出所要求得的待筛选坐标，其中
Figure BDA0003470179950000123
Δθ1＝p'(id,ti)-p'(id,tw+i) (4)
Δθ1＝p'(id,tw+i)-p'(id,t2w+i) (5)
ΔT1＝tw+i-ti (6)
ΔT2＝t2w+i-tw+i (7)。
基于上述图书盘点方法，上述基于图书的图像信息获取图像信息序列包括：将采集的多帧图像按照图像采集时间拼接为全景图像，识别全景图像中的每本图书的书脊轮廓，获取书脊轮廓的图像定位信息，并提取单个书脊轮廓中的文字信息，将单个书脊轮廓的图像定位信息、文字信息和其所在单帧图像的图像采集时间组合为图书的图像信息，将图书的图像信息按照时间顺序排序得到图像信息序列。
需要说明的是，在对采集的图像进行处理时，需要先将采集的多帧图像按照采集时间拼接为全景图像，由于RFID机器人是沿直线运动的，因此图书图像的采集顺序是按照图书在书架中的排列顺序进行采集的，因此全景图像中图书的排列顺序与书架中图书的排列顺序相同，然后将全景图像输入的神经网中进行目标选取和文字识别，可以得到全景图像中每个书脊轮廓内的文字，书脊轮廓在书架中的图像定位信息，将单个书脊轮廓的图像定位信息、文字信息和其所在单帧图像的图像采集时间组合为图书的图像信息，最后按照时间排序即可得到图像信息序列。
本方法，通过将RFID机器人采集到的多帧图像进行拼接，得到书架的全景图像，避免了直接采集全景图像分辨率下降和重影问题，通过对全景图像进行识别提取信息，只需要对一张图像进行识别减少了图像处理过程的计算量，同时根据图书图像可以得到图书在书架中的精确坐标。
基于上述图书盘点方法，上述将RFID定位信息序列和图像信息序列相互匹配校正包括以下步骤：
a.将RFID定位信息序列中的EPC书名信息与图像信息序列中的文字信息进行匹配，获取所有匹配度大于预设值的EPC书名信息与文字信息之间的时间差值；
b.计算所述时间差值的平均值，若平均值不在时间阈值范围内则将图像信息序列中的坐标获取时间增加一个平均值，并重复步骤a；
c.若平均值在时间阈值范围内，则设定所述时间阈值范围为校正宽度，基于所述校正宽度检索RFID定位信息序列中每个RFID定位信息在图像信息序列中对应的图像信息，并基于图像信息校正RFID定位信息，得到图书的精准位置信息。
在本实施例中，通过RFID标签可以得到图书的准确书名信息，通过图书的图像可以获得图书的准确坐标，因此在本申请中通过将RFID定位信息序列与图像信息序列进行匹配校正可以得到图书的精准位置信息，具体的是计算RFID定位信息序列中的EPC书名信息与图像信息序列中的文字信息匹配度，选取EPC书名信息与文字信息匹配度最高的几组RFID定位信息和图像信息，计算选取的RFID定位信息和图像信息之间的时间差值的平均值，判断得到的时间差值的平均值是否在时间阈值(-m,m)范围内，若不在则将RFID定位信息序列的时间增加一个时间差的平均值，再次重复上述步骤，直到计算得到的时间差平均值在时间阈值(-m,m)范围内，完成RFID定位信息序列与图像信息序列的匹配对齐，通过本方法保证了RFID定位信息序列T时刻的RFID定位信息在图像信息序列中对应的图像信息所在时刻在(T-m,T+m)范围内，因此在检索RFID定位信息序列T时刻的RFID定位信息在图像信息序列中对应的图像信息时，只需要计算器与图像信息序列(T-m,T+m)范围内图像信息的匹配度即可，不需要遍历整个图像信息序列，大大减少了通过图像信息校正RFID定位信息的计算量。
进一步的，基于对齐后RFID定位信息序列与图像信息序列，将时间阈值范围为校正宽度，检索RFID定位信息序列中每个RFID定位信息在信息序列中相同时刻校正宽度内的对应图像信息，例如检索RFID定位信息序列T时刻的RFID定位信息对应的图像信息，只需要在图像信息序列(T-m,T+m)范围内检索即可，检索到RFID定位信息对应的图像信息之后，将RFID定位信息中的第一位置坐标、坐标获取时间校正为图像信息中的图像定位信息、图像采集时间，校正后的RFID定位信息即为图书的精准位置信息，将精准位置信息按照时间顺序进行排序，得到结果即为最终的盘点信息，将该盘点信息与数据库中的信息进行对比，可筛选出图书的错误位置信息。本方法通过将RFID定位信息与图像信息进行匹配校正，保留RFID定位信息中图书的书名和图像信息中图书的精准位置，得到最终图书精准位置信息，完成对图书的盘点，解决了RFID技术定位精度不高的问题，同时通过RFID技术和计算机视觉技术相结合，使得图书识别无需获取准确的书名信息，简化了图像识别技术的程序复杂度。
本发明实施例提供了一种基于RFID技术和计算机视觉技术的图书盘点系统，上述系统包括：
激光导航模块，用于获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
数据获取模块，用于基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
数据处理模块，用于基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
用户交互模块，用于将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案。
本发明实施例的一种基于RFID技术和计算机视觉技术的图书盘点系统与本发明实施例的一种基于RFID技术和计算机视觉技术的图书盘点方法相对应，在上述一种基于RFID技术和计算机视觉技术的图书盘点方法的实施例阐述的技术特征及其有益效果均适用于一种基于RFID技术和计算机视觉技术的图书盘点系统的实施例。
基于上述系统，上述数据获取模块包括：
RFID单元，用于获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
图像识别单元，用于获取图书的图像信息；
时钟单元，用于获取图像采集时间和坐标获取时间。
具体的是，数据获取模块包括RFID单元和图像识别单元可以同时获取图书的RFID标签信息、信号强度RSSI和图书的图像信息，为了便于后期实现采用图像信息对RFID定位进行校正，数据获取模块还包括时钟单元，用于记录图像采集时间和坐标获取时间。
本发明实施例提供了一种RFID机器人,包括存储器、处理器及存储在存储器上并在处理器上运行的可执行程序，所述处理器执行程序时实现上述的一种基于RFID技术和计算机视觉技术的图书盘点方法。
本RFID机器人包括：至少一个处理器、存储器、用户接口和至少一个网络接口。其中的各个组件通过总线系统耦合在一起。可以理解，总线系统用于实现这些组件之间的连接通信。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (9)

1.一种基于RFID技术和计算机视觉技术的图书盘点方法，其特征在于，所述方法包括：
获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；
将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案；
所述基于图书的RFID标签信息获取RFID定位信息序列的具体步骤如下：
S1：获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
S2：判断获取的RFID标签信息是否稀疏，若稀疏则基于信号强度RSSI获取图书的第一位置坐标，若不稀疏则基于RFID相位信息获取图书的第一位置坐标；
S3：对所述第一位置坐标进行筛选，获取筛选后的第一位置坐标的坐标获取时间，将图书的EPC书名信息、第一位置坐标、坐标获取时间进行组合，得到图书的RFID定位信息，将所述RFID定位信息按照时间顺序进行排列得到RFID定位信息序列。
2.根据权利要求1所述的方法，其特征在于，步骤S2中，基于RFID相位信息获取图书的第一位置坐标的具体获取过程如下：
S101：获取RFID机器人在所述盘点路线上前进时接收到的同一本图书RFID标签的多个相位值；
S102：去除所述RFID标签相位值中的离群点，构造图书RFID标签的相位变化图像；
S103：随机获取图书RFID标签的相位变化图像上的三个时间点计算图书的待筛选坐标；
S104：重复步骤S103，获取图书的多个待筛选坐标组合为坐标集，根据待筛选坐标之间的关联性筛除坐标集中关联性较弱的待筛选坐标，基于坐标集中剩余的待筛选坐标计算平均值作为第一位置坐标。
3.根据权利要求2所述的方法，其特征在于，所述待筛选坐标计算过程如下：
选取ti，tw+i，t2w+i三个时间节点，获取三个时间节点对应的相位值p'(id,ti)，p'(id,tw+i)，p'(id,t2w+i)；
基于选取的时间节点和时间节点对应的相位值计算图书RFID标签的待筛选坐标，待筛选坐标的计算公式如下：
Figure FDA0004193726360000021
Figure FDA0004193726360000022
其中，id为RFID标签的EPC编码，v为RFID机器人的移动速度，λ为RFID信号的波长，Δθ2为p'(id,tw+i)与p'(id,t2w+i)的差值，ΔT2为t2w+i与tw+i的差值，S表示距离参数，(xi,yi)为ti时刻的待筛选坐标。
4.根据权利要求1所述的方法，其特征在于，所述基于图书的图像信息获取图像信息序列包括：将采集的多帧图像按照图像采集时间拼接为全景图像，识别全景图像中的每本图书的书脊轮廓，获取书脊轮廓的图像定位信息，并提取单个书脊轮廓中的文字信息，将单个书脊轮廓的图像定位信息、文字信息和其所在单帧图像的图像采集时间组合为图书的图像信息，将图书的图像信息按照时间顺序排序得到图像信息序列。
5.根据权利要求4所述的方法，其特征在于，所述将RFID定位信息序列和图像信息序列相互匹配校正包括以下步骤：
a.将RFID定位信息序列中的EPC书名信息与图像信息序列中的文字信息进行匹配，获取所有匹配度大于预设值的EPC书名信息与文字信息之间的时间差值；
b.计算所述时间差值的平均值，若平均值不在时间阈值范围内则将图像信息序列中的坐标获取时间增加一个平均值，并重复步骤a；
c.若平均值在时间阈值范围内，则设定所述时间阈值范围为校正宽度，基于所述校正宽度检索RFID定位信息序列中每个RFID定位信息在图像信息序列中对应的图像信息，并基于图像信息校正RFID定位信息，得到图书的精准位置信息。
6.根据权利要求5所述的方法，其特征在于，所述基于图像信息校正RFID定位信息包括：获取RFID定位信息对应的图像信息，将RFID定位信息中的第一位置坐标、坐标获取时间校正为图像信息中的图像定位信息、图像采集时间。
7.一种基于RFID技术和计算机视觉技术的图书盘点系统，其特征在于，所述系统包括：
激光导航模块，用于获取图书馆的地图，基于图书馆的地图规划RFID机器人的盘点路线；
数据获取模块，用于基于所述盘点路线获取图书的RFID标签信息和图书的图像信息；
数据处理模块，用于基于图书的RFID标签信息获取RFID定位信息序列，基于图书的图像信息获取图像信息序列；将RFID定位信息序列和图像信息序列相互匹配校正，得到图书的精准位置信息；
用户交互模块，用于将图书的精准位置信息与数据库中图书的位置坐标进行匹配，获取图书的错误位置信息，基于所述错误位置信息规划最优图书整理方案；
所述基于图书的RFID标签信息获取RFID定位信息序列的具体步骤如下：
S1：获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
S2：判断获取的RFID标签信息是否稀疏，若稀疏则基于信号强度RSSI获取图书的第一位置坐标，若不稀疏则基于RFID相位信息获取图书的第一位置坐标；
S3：对所述第一位置坐标进行筛选，获取筛选后的第一位置坐标的坐标获取时间，将图书的EPC书名信息、第一位置坐标、坐标获取时间进行组合，得到图书的RFID定位信息，将所述RFID定位信息按照时间顺序进行排列得到RFID定位信息序列。
8.根据权利要求7所述系统，其特征在于，所述数据获取模块包括：
RFID单元，用于获取图书的RFID标签信息，所述RFID标签信息包括RFID相位信息、信号强度RSSI、EPC书名信息；
图像识别单元，用于获取图书的图像信息；
时钟单元，用于获取图像采集时间和坐标获取时间。
9.一种RFID机器人,其特征在于，包括存储器、处理器及存储在存储器上并在处理器上运行的可执行程序，所述处理器执行程序时实现权利要求1至6中任意一项所述的一种基于RFID技术和计算机视觉技术的图书盘点方法。
CN202210046371.8A 2022-01-14 2022-01-14 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统 Active CN114492487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046371.8A CN114492487B (zh) 2022-01-14 2022-01-14 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046371.8A CN114492487B (zh) 2022-01-14 2022-01-14 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统

Publications (2)

Publication Number Publication Date
CN114492487A CN114492487A (zh) 2022-05-13
CN114492487B true CN114492487B (zh) 2023-05-26

Family

ID=81510998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046371.8A Active CN114492487B (zh) 2022-01-14 2022-01-14 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统

Country Status (1)

Country Link
CN (1) CN114492487B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915618A (zh) * 2015-07-03 2015-09-16 南京大学 一种基于超高频rfid技术的图书馆典藏方法
CN104933458A (zh) * 2015-07-07 2015-09-23 南京大学 一种超高频rfid推车式图书智能上架盘点设备
CN108875616A (zh) * 2018-06-07 2018-11-23 广东数相智能科技有限公司 一种图书乱架检测方法、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915618A (zh) * 2015-07-03 2015-09-16 南京大学 一种基于超高频rfid技术的图书馆典藏方法
CN104933458A (zh) * 2015-07-07 2015-09-23 南京大学 一种超高频rfid推车式图书智能上架盘点设备
CN108875616A (zh) * 2018-06-07 2018-11-23 广东数相智能科技有限公司 一种图书乱架检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN114492487A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109059922B (zh) 移动机器人定位方法、装置和系统
Naseer et al. Robust visual robot localization across seasons using network flows
CN108762251B (zh) 一种图书馆机器人定位导航方法
CN111461209A (zh) 一种模型训练装置和方法
CN110032654B (zh) 一种基于人工智能的超市商品录入方法及系统
CN111694917A (zh) 一种车辆异常轨迹检测、模型训练方法及装置
CN110751096A (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN111666137B (zh) 数据标注方法、装置、计算机设备和存储介质
CN104662590A (zh) 运动图像识别装置以及运动图像识别方法
CN114707616A (zh) 轨迹间伴随关系的识别方法、装置及设备
CN111681172A (zh) 协同构建点云地图的方法、设备和系统
CN117824666B (zh) 融合定位用二维码对、二维码标定方法及融合定位方法
CN111191748B (zh) 一种基于rfid技术的移动盘点系统
CN114492487B (zh) 一种基于rfid技术和计算机视觉技术的图书盘点方法及系统
CN111680680B (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN113108806A (zh) 路径规划方法、装置、设备及介质
CN112560902A (zh) 基于书脊视觉信息的图书识别方法及系统
CN104217189A (zh) 一种用于试纸条的条形码的自学习识别方法
CN116167394A (zh) 一种条码识别方法及系统
CN107016317B (zh) 一种条码解码方法及装置
CN109359705B (zh) 一种错位书籍查找系统及其查找方法
CN111639506B (zh) 图像中条形码的定位方法、装置、扫码设备
CN109977710B (zh) 一种精准定位图书所属书架的方法、电子设备及存储介质
CN111435086B (zh) 基于拼接图的导航方法和装置
CN113361341A (zh) 行李再识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant