CN110991955A - 一种基于信息矩的组群数量多样性估计方法 - Google Patents
一种基于信息矩的组群数量多样性估计方法 Download PDFInfo
- Publication number
- CN110991955A CN110991955A CN201911185649.4A CN201911185649A CN110991955A CN 110991955 A CN110991955 A CN 110991955A CN 201911185649 A CN201911185649 A CN 201911185649A CN 110991955 A CN110991955 A CN 110991955A
- Authority
- CN
- China
- Prior art keywords
- group
- layer
- groups
- sampling
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
- G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2237—Vectors, bitmaps or matrices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
- H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
- H04B5/77—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for interrogation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Finance (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Radio Transmission System (AREA)
Abstract
本发明一种基于信息矩的组群数量多样性估计方法,属于物联网数据分析技术领域,结合递归采样过程对采样过程进行更加合理的优化,利用种群信息矩,能够极大的反应大组群内部多样性等特性,对于组群决策,观察组群特性具有重要作用:具体包括递归采样和常用组识别,所述递归采样是将采样过程分层,得出采样概率;扫描每层被采样的组,根据哈希函数给出由其时隙组成的字节位图,采样之后进行基于阈值的常用组识别,在一个ALOHA时隙中识别常用组和非常用组,通过计算得出所有标签的矩估计即所有标签的数量特征。
Description
技术领域
本发明属于物联网数据分析技术领域,具体涉及一种基于信息矩的组群数量多样性估计方法,可用于大规模集散中心对于物品种类的管理。
背景技术
随着物联网技术的发展,RFID技术已被广泛用于仓库管理,传统的管理系统基于产品数量的统计和产品种类的统计,但是单纯的产品数量并不能体现出这个种群的特征;对于产品种类计种类大小的估计需要阅读器某个组进行数量统计后再断电激活下一个组的标签进行种类大小估计,当种类特别多的时候就会造成极大的时间损耗;如果对特定组进行采样对于少数的组如果数量巨大且在采样中无论是否被采样对于采样结果的影响都很大,造成对群体估计的不准确,此外,单纯的组群数量不能很好的反映整体样本的特征,因此,设计一种合理的组群数量估计方法和反应组群数字特征的算法显得极为重要。
发明内容
本发明克服了现有技术的不足,提出一种基于信息矩的组群数量多样性估计方法,结合递归采样过程对采样过程进行更加合理的优化,利用种群信息矩,能够极大的反应大组群内部多样性等特性,对于组群决策,观察组群特性具有重要作用。
为了达到上述目的,本发明是通过如下技术方案实现的。
一种基于信息矩的组群数量多样性估计方法,具体包括以下步骤:
a)采样分层:将采样过程分为i层,假设第0层采样概率为1即所有组都能被采样到,第一层采样概率为p,第二层的采样概率为p2以此类推,下一层为上一层的子集;对于第j层,概率为pj。
b)信息矩估计:扫描每层被采样的组,识别采样层的组是常用组还是非常用组,并根据哈希函数给出由其时隙组成的字节位图,然后使用编码信息对其组群大小,组群数目,组群矩进行估计,根据采样定理从低层到高层估计其g矩。
c)常用组识别:采样之后进行基于阈值的常用组识别,在一个ALOHA时隙中识别常用组和非常用组:对于一个组中的所有标签在共享时隙中的索引为 这些时隙中的字节转化为组id的逻辑位图LB(gid).将上述过程进行w轮,Bi为第i次收集的位图,LBi为第i次收集的逻辑位图;估计总数:
zi是shared bitmap中的非0个数。
逻辑位图对于一个组的标签数量的估计:
常用组的个数为:
α是阈值,α根据实际情况取0-1中的一个值,用以区分常用组和非常用组。
设Hj为第j层的常用组,Fj为被采样的组的矩
Hj={i|i∈Sj∩g(ni)≥αFj}
ni为每个组的标签个数,g为矩的算法。
假设第j+1层Fj+1已经知道,则对第j层的Fj估计为:
矩估计为:
当j层的矩估计算出以后,根据采样规则,就能通过计算得出第一层的所有标签的矩估计即所有标签的数量特征。
进一步的,对组的逻辑位图移除噪声,移除噪声后标签数目估计为:
本发明相对于现有技术所产生的有益效果为。
本发明结合递归采样过程对采样过程进行更加合理的优化,利用种群信息矩,能够极大的反应大组群内部多样性等特性,对于组群决策,观察组群特性具有重要作用。
附图说明
图1为递归采样原理图。
图2为ALOHA时隙标签位图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,结合实施例和附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案,但保护范围不被此限制。
如图1所示,是递归采样过程。将采样过程分为i层,假设第0层采样概率为1即所有组都能被采样到,第一层采样概率为p,第二层的采样概率为p2以此类推,下一层为上一层的子集。对于第j层,概率为pj。这样的话,在底层组群数量足够小的基础上就可以对其进行基础的样本大小进行估计。
矩估计协议:
矩估计协议由两部分组成,首先扫描所有每层被采样的组,然后识别采样层的组是常用组还是非常用组,并根据哈希函数给出由其时隙组成的字节位图,然后使用编码信息对其组群大小,组群数目,组群矩进行估计,然后根据采样定理从低层到高层估计其g矩。
假设有l+1层,他们的采样可能性如上所述,RFID阅读器广播一个SELECT命令让每个标签调用一个布尔散列函数pj(gid),它将其组ID分别以概率p和1-p映射到1/0。当j层以上的每个层都1时标签组将会被采样。
采样之后进行基于阈值的常用组识别,使用常用组识别在一个ALOHA时隙中识别常用组和非常用组。常用组识别过程如下:
阅读器广播query命令启动一个被所有组共用的(shared bitmap)ALOHA时隙,时隙数f,逻辑时隙数s,随机数种子r。对于任意一组gid中的一个标签iid,当它收到query命令之后,标签计算将所有标签的所有组转换到一个ALOHA时隙中,这个时隙叫做位图B。
对于一个组中的所有标签在共享时隙中的索引为 这些时隙中的字节转化为组id的逻辑位图LB(gid).将上述过程进行w轮,Bi为第i次收集的位图,LBi为第i次收集的逻辑位图。由下图可知对于常用组由于组的数量较大,它的逻辑位图中1的比例明显多于0,在非常用组中1与0的比例明显小得多,用这种方法实现常用组的识别。阅读器根据1和0的个数进行数量的估计,(如图2所示):
估计总数:
zi是shared bitmap中的非0个数
逻辑位图对于一个组的标签数量的估计:
由上图可知一个组的逻辑位图不是只属于该组,可能有其他的组,这种现象称为噪声,如果f和s足够大,则认为其噪声分布近似于高斯噪声,移除噪声后标签数目估计为:
最后计算得出常用组的个数为:
α是阈值,α根据实际情况取0-1中的一个值,用以区分常用组和非常用组。
设Hj为第j层的常用组,Fj为被采样的组的矩
Hj={i|i∈Sj∩g(ni)≥αFj}
ni为每个组的标签个数,g为矩的算法。
假设第j+1层Fj+1已经知道,则对第j层的Fj估计为:
矩估计为:
当j层的矩估计算出以后,根据采样规则,就能通过计算得出第一层的(所有标签)的矩估计即所有标签的数量特征,有助于对所有标签的多样性观察和标签决策。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定专利保护范围。
Claims (2)
1.一种基于信息矩的组群数量多样性估计方法,其特征在于,具体包括以下步骤:
a)采样分层:将采样过程分为i层,假设第0层采样概率为1即所有组都能被采样到,第一层采样概率为p,第二层的采样概率为p2以此类推,下一层为上一层的子集;对于第j层,概率为pj;
b)信息矩估计:扫描每层被采样的组,识别采样层的组是常用组还是非常用组,并根据哈希函数给出由其时隙组成的字节位图,然后使用编码信息对其组群大小,组群数目,组群矩进行估计,根据采样定理从低层到高层估计其g矩;
c)常用组识别:采样之后进行基于阈值的常用组识别,在一个ALOHA时隙中识别常用组和非常用组:对于一个组中的所有标签在共享时隙中的索引为 其中s为共享逻辑位图中时隙个数,h为哈希函数,gid为标签组id,这些时隙中的字节转化为组id的逻辑位图LB(gid).将上述过程进行w轮,Bi为第i次收集的位图,LBi为第i次阅读器收集标签形成的逻辑位图;估计总数:
zi是shared bitmap中的非0个数;f为哈希时隙帧长度;
逻辑位图对于一个组的标签数量的估计:
常用组的个数为:
α是阈值,α根据实际情况取0-1中的一个值,用以区分常用组和非常用组的阈值;
g为常用组函数;
设Hj为第j层的常用组,Fj为第j层的矩;
Hj={i|i∈Sj∩g(ni)≥αFj}
ni为每个组的标签个数,g为矩的算法;
假设第j+1层Fj+1已经知道,则对第j层的Fj估计为:
矩估计为:
Si为第i层被采样组;
当j层的矩估计算出以后,根据采样规则,就能通过计算得出第一层的所有标签的矩估计即所有标签的数量特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911185649.4A CN110991955B (zh) | 2019-11-27 | 2019-11-27 | 一种基于信息矩的组群数量多样性估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911185649.4A CN110991955B (zh) | 2019-11-27 | 2019-11-27 | 一种基于信息矩的组群数量多样性估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110991955A true CN110991955A (zh) | 2020-04-10 |
CN110991955B CN110991955B (zh) | 2023-04-18 |
Family
ID=70087495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911185649.4A Active CN110991955B (zh) | 2019-11-27 | 2019-11-27 | 一种基于信息矩的组群数量多样性估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991955B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120166401A1 (en) * | 2010-12-28 | 2012-06-28 | Microsoft Corporation | Using Index Partitioning and Reconciliation for Data Deduplication |
CN103020568A (zh) * | 2012-12-27 | 2013-04-03 | 南京三宝科技股份有限公司 | 基于标签id预处理的rfid防碰撞方法 |
US20130086004A1 (en) * | 2011-10-03 | 2013-04-04 | H. Jonathan Chao | Updating a perfect hash data structure, such as a multi-dimensional perfect hash data structure, used for high-speed string matching |
CN104573593A (zh) * | 2015-01-20 | 2015-04-29 | 江西理工大学 | 一种基于帧时隙的欠定盲分离rfid防碰撞方法 |
US20150324400A1 (en) * | 2014-05-07 | 2015-11-12 | Access Event Solutions | Interest Collection and Tracking System and Method of Use |
US20160359631A1 (en) * | 2015-06-08 | 2016-12-08 | Pitney Bowes Inc. | Secure perfect hash function |
CN106503603A (zh) * | 2016-11-08 | 2017-03-15 | 湖南大学 | 一种基于时隙划分的多阅读器rfid系统快速标签识别方法 |
US20170126410A1 (en) * | 2015-02-20 | 2017-05-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Method of providing a hash value for a piece of data, electronic device and computer program |
CN107609611A (zh) * | 2017-08-11 | 2018-01-19 | 太原理工大学 | 一种基于大规模射频识别系统的多类信息收集方法 |
CN108052849A (zh) * | 2017-12-25 | 2018-05-18 | 江西理工大学 | 一种迫零预编码的帧时隙rfid系统防碰撞方法 |
CN108446577A (zh) * | 2018-02-28 | 2018-08-24 | 北京宏诚创新科技有限公司 | 高频/超高频rfid识别系统中的多标签防碰撞方法 |
US20190310980A1 (en) * | 2016-12-23 | 2019-10-10 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Block chain mining method, device, and node apparatus |
-
2019
- 2019-11-27 CN CN201911185649.4A patent/CN110991955B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120166401A1 (en) * | 2010-12-28 | 2012-06-28 | Microsoft Corporation | Using Index Partitioning and Reconciliation for Data Deduplication |
US20130086004A1 (en) * | 2011-10-03 | 2013-04-04 | H. Jonathan Chao | Updating a perfect hash data structure, such as a multi-dimensional perfect hash data structure, used for high-speed string matching |
CN103020568A (zh) * | 2012-12-27 | 2013-04-03 | 南京三宝科技股份有限公司 | 基于标签id预处理的rfid防碰撞方法 |
US20150324400A1 (en) * | 2014-05-07 | 2015-11-12 | Access Event Solutions | Interest Collection and Tracking System and Method of Use |
CN104573593A (zh) * | 2015-01-20 | 2015-04-29 | 江西理工大学 | 一种基于帧时隙的欠定盲分离rfid防碰撞方法 |
US20170126410A1 (en) * | 2015-02-20 | 2017-05-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Method of providing a hash value for a piece of data, electronic device and computer program |
US20160359631A1 (en) * | 2015-06-08 | 2016-12-08 | Pitney Bowes Inc. | Secure perfect hash function |
CN106503603A (zh) * | 2016-11-08 | 2017-03-15 | 湖南大学 | 一种基于时隙划分的多阅读器rfid系统快速标签识别方法 |
US20190310980A1 (en) * | 2016-12-23 | 2019-10-10 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Block chain mining method, device, and node apparatus |
CN107609611A (zh) * | 2017-08-11 | 2018-01-19 | 太原理工大学 | 一种基于大规模射频识别系统的多类信息收集方法 |
CN108052849A (zh) * | 2017-12-25 | 2018-05-18 | 江西理工大学 | 一种迫零预编码的帧时隙rfid系统防碰撞方法 |
CN108446577A (zh) * | 2018-02-28 | 2018-08-24 | 北京宏诚创新科技有限公司 | 高频/超高频rfid识别系统中的多标签防碰撞方法 |
Non-Patent Citations (7)
Title |
---|
元昌安等: "基于Hash函数取样的线性时间聚类方法LCHS", 《小型微型计算机系统》 * |
周艳聪等: "基于哈希分组的动态帧时隙ALOHA防碰撞算法", 《计算机工程与设计》 * |
曹甜: "RFID系统中高效信息收集算法研究", 《中国优秀硕士学位论文全文数据库.信息科技辑》 * |
杨灵等: "基于最大似然估计的RFID帧时隙估算方法", 《西南师范大学学报(自然科学版)》 * |
王方媛等: "采用RFID技术估计标签数目中的能量平衡算法", 《微电子学与计算机》 * |
闫丽娟等: "采用RFID技术查找畅销类产品", 《自动化仪表》 * |
闫瑞娟: "大规模RFID系统的标签实时估算算法研究", 《中国优秀硕士学位论文全文数据库.信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110991955B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101710334B (zh) | 基于图像哈希的大规模图像库检索方法 | |
CN104715021B (zh) | 一种基于哈希方法的多标记学习的学习方法 | |
CN108924371B (zh) | 电力客服过程中通过来电号码识别户号的方法 | |
CN110309810B (zh) | 一种基于批次中心相似度的行人重识别方法 | |
CN111310662A (zh) | 一种基于集成深度网络的火焰检测识别方法及系统 | |
CN114511718B (zh) | 一种建筑施工用物料智能管理方法及系统 | |
CN107657276B (zh) | 一种基于寻找语义类簇的弱监督语义分割方法 | |
WO2022188646A1 (zh) | 图数据处理方法、装置、设备、存储介质及程序产品 | |
CN110991955B (zh) | 一种基于信息矩的组群数量多样性估计方法 | |
CN112613362A (zh) | 一种基于物联网的物品标志识别系统 | |
CN107403162A (zh) | 车辆公告号数据采集和分类的系统及方法 | |
CN112214488A (zh) | 一种欧式空间数据索引树及构建和检索方法 | |
CN110532867A (zh) | 一种基于黄金分割法的人脸图像聚类方法 | |
CN115048682B (zh) | 一种土地流转信息的安全存储方法 | |
CN115834156A (zh) | 一种基于web访问日志的异常行为检测方法 | |
CN115238701A (zh) | 基于子词级别适应器的多领域命名实体识别方法和系统 | |
CN114090850A (zh) | 日志分类方法、电子设备及计算机可读存储介质 | |
CN112445939A (zh) | 一种社交网络群体发现系统、方法及存储介质 | |
CN116071661B (zh) | 一种基于激光点云的城市道路场景语义分割方法 | |
Mackeown et al. | Contextual image labelling with a neural network | |
CN111460088A (zh) | 相似文本的检索方法、装置和系统 | |
CN112667863B (zh) | 一种基于超图分割的金融欺诈团伙识别方法 | |
CN116107796B (zh) | 一种物联网数据管理系统及方法 | |
CN116385080B (zh) | 一种基于人工智能的移动互联网用户数据统计推广系统 | |
CN116912845B (zh) | 一种基于nlp与ai的智能内容识别与分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |