CN104537231A - 一种随机遴选系统的公平性审查方法 - Google Patents

一种随机遴选系统的公平性审查方法 Download PDF

Info

Publication number
CN104537231A
CN104537231A CN201410814090.8A CN201410814090A CN104537231A CN 104537231 A CN104537231 A CN 104537231A CN 201410814090 A CN201410814090 A CN 201410814090A CN 104537231 A CN104537231 A CN 104537231A
Authority
CN
China
Prior art keywords
result
fairness
checking method
cluster
random according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410814090.8A
Other languages
English (en)
Other versions
CN104537231B (zh
Inventor
李建敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN201410814090.8A priority Critical patent/CN104537231B/zh
Publication of CN104537231A publication Critical patent/CN104537231A/zh
Application granted granted Critical
Publication of CN104537231B publication Critical patent/CN104537231B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种随机遴选系统的公平性审查方法，包括仿真建模，聚类分析和结果审查；首先通过仿真建模对遴选系统生成的结果处理之后建立仿真模型；接着针对建立的仿真模型进行聚类分析，形成聚类结果；最后对聚类结果进行泊松分布比对，审查遴选系统的公平性，同时采用面向分布式的存储系统Hadoop与分布式计算模式Map/Reduce，有效减少了计算量，大大提高了审查速度；将标准随机系统普遍遵循的泊松分布引入本方法中作为比对依据，准确可靠，有效审查了随机遴选系统的公平性。

Description

一种随机遴选系统的公平性审查方法
技术领域
本发明涉及一种随机遴选系统的公平性审查方法。
背景技术
随着人类文明的快速发展，人口与资源之间的关系正变得越来越紧张，在全球范围内所形成的竞争也愈演愈烈。当竞争各方旗鼓相当、相持不下时，轮盘赌式的随机系统往往成为谈判的最终决议。然而在该种情况下，人们又将目光的焦点转向随机系统的公平性问题。
目前针对使用最广泛的计算机模拟的随机遴选系统，主要通过诉诸司法或公正机关，采用后台审核与现场公正相结合等方式来审查系统的公平性，具体地，公正人员首先根据当前技术标准与业内规范，对系统进行全面检测，以确定算法的随机特性及系统的可靠性；接着隔离现场进行现场检查，以认定系统随机输入及不受人工干预的公正性。
总体来说，通过专业的公正机构基本能够准确审查随机系统的公正性，剔除其中掺杂的人为因素。对于数据量较小，仿真环境单一以及仅有单次遴选的情况下能取得很好的效果。然而对于多次遴选，尤其当遴选次数不受限制时，通过上述审查方式不仅操作复杂，工作量大，而且未能有效保障系统的公正性。
发明内容
本发明为了克服以上不足，提供了一种有效保障数据量大、遴选次数多的随机遴选系统公平性的审查方法。
为了解决上述技术问题，本发明的技术方案是：一种随机遴选系统的公平性审查方法，包括以下步骤：
S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型；
S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；
S3：结果审查，对聚类结果进行泊松分布比对，审查遴选系统的公平性。
进一步的，所述步骤S1中包括对生成的结果进行抽样得到样本。
进一步的，还包括对抽样得到的所述样本进行扫描和汇总。
进一步的，所述步骤S1中，仿真模型在面向分布式存储平台Hadoop上建立，得到多个面向分布式文件结果。
进一步的，所述面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。
进一步的，所述面向分布式文件结果为中标者ID和中标次数的对应关系。
进一步的，所述步骤S2中聚类分析具体为对所述面向分布式文件结果进行任务分配与结果聚类，最终形成聚类结果。
进一步的，所述任务分配为Map操作。
进一步的，所述结果聚类为Reduce操作。
进一步的，所述面向泊松分布比对具体为将所述聚类结果的方差与对应泊松分布的方差进行比对，得出系统公平性结果。
本发明提供的随机遴选系统的公平性审查方法，首先通过仿真建模对遴选系统生成的结果处理之后建立仿真模型；接着针对建立的仿真模型进行聚类分析，形成聚类结果；最后对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，同时采用面向分布式的存储系统Hadoop与分布式计算模式Map/Reduce，有效减少了计算量，大大提高了审查速度；将标准随机系统普遍遵循的泊松分布引入本方法中作为比对依据，准确可靠，有效审查了随机遴选系统的公平性。
附图说明
图1是本发明随机遴选系统的公平性审查方法的流程图。
具体实施方式
下面结合附图对本发明作详细描述：
如图1所示，本发明提供一种随机遴选系统的公平性审查方法，包括以下步骤：
S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型，具体的，包括以下步骤：
S11：抽取遴选系统生成的结果中的多个结果集作为样本；
S12：对抽取的样本进行扫描和汇总；
S13：在面向分布式存储平台——开源分布式计算软件架构(Hadoop)上建立仿真模型，得到多个面向分布式文件结果，即对每个竞标者分配一个唯一的ID，根据抽取的样本统计中标者和中标次数的对应关系，形成<竞标者ID，中标次数>式的键值对，如1号竞标者中标2次，则表示成<NO.1，2>；
S14：将面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。
需要说明的是，Hadoop是一个能够对大量数据进行分布式处理的软件平台，随着海量数据业务越来越多，Hadoop的使用也越来越广泛。Hadoop具有高可靠性、高效、高扩展性、高容错性、低成本等优点，其中可靠性高是因为Hadoop工作过程中假设计算元素和存储会失败，因此同时维护多个工作数据副本，确保能够针对失败的节点重新分布处理，此外Hadoop按位存储和处理数据的能力进一步提高了可靠性；高效性体现在Hadoop以并行的方式工作，能够在节点之间动态地移动数据，并保证各个节点的动态平衡，通过并行处理大大提高了处理数据的速度；高扩展性是由于Hadoop在可用的计算机集簇间分配数据并完成计算任务，而这些集簇可以方便地扩展到数以千计的节点中；高容错性是由于Hadoop能够自动保存数据的多个副本，并且具有自动将失败的任务重新分配的能力；低成本是由于与其他数据集市相比，hadoop是开源的，因此软件成本大大降低。
S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；具体的，对面向分布式文件结果采用并行编程模式的任务分配与结果聚类，最终形成聚类结果，其中任务分配为映射(Map)操作，结果聚类为化简(Reduce)操作，其中Map操作和Reduce操作通过Map/Reduce(映射/化简)系统以并行编程模式实现，以达到对问题域的结构化、到数据节点的映射、结果集的收敛与归约等目的。
需要说明的是，Map/Reduce(映射/化简)系统是一个最先由Google提出的分布式计算软件构架，通过定义相应的映射和化简函数来实现大数据量的分布式处理，可以用来解决大数据量的分布式计算问题，然后把计算后的结果放入文件系统或者数据库中。在Map/Reduce系统中，每一个map操作都是相对独立的，所有的map任务都是并行运行的，虽然实践中会受到数据源和中央处理器个数的影响。同样的，Map/Reduce系统用一个负责归约映射中间结果的计算节点(reducer)集合来执行reduce操作，所有带有相同秘钥的map输出会聚集到同一个reducer。虽然这个过程看上去没有串行计算来得高效，但是Map/Reduce系统能够处理一般服务器所不能处理的大数据量处理问题。大型的服务器集群，如Hadoop集群可以在几个小时内处理PB(petabyte)级数据量的排序问题。而并行处理可以提供部分容错和出错恢复的功能，当一个map操作或reduce操作失效时，整个工作就会被重新安排，从而不会影响数据处理工作的连续性。
S3：结果审查，对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，具体的，将聚类结果的方差与对应泊松分布的方差进行比对，即将S1中形成的<中标者ID，中标次数>式的键值与对应数据的方差与泊松分布的方差进行比较，若两者的偏差大于设定的阈值，则判断遴选结果掺入了人为因素，结果是不公平的，反之两者的偏差不超过设定的阈值，则判断遴选结果不存在人为因素，结果是公平的。
综上所述，本发明提供的随机遴选系统的公平性审查方法，首先通过仿真建模对遴选系统生成的结果处理之后建立仿真模型；接着针对建立的仿真模型进行聚类分析，形成聚类结果；最后对聚类结果进行面向泊松分布比对，审查遴选系统的公平性，同时采用面向分布式的存储系统Hadoop与分布式计算模式Map/Reduce，有效减少了计算量，大大提高了审查速度；将标准随机系统普遍遵循的泊松分布引入本方法中作为比对依据，准确可靠，有效审查了随机遴选系统的公平性。
虽然说明书中对本发明的实施方式进行了说明，但这些实施方式只是作为提示，不应限定本发明的保护范围。在不脱离本发明宗旨的范围内进行各种省略、置换和变更均应包含在本发明的保护范围内。

Claims (10)

1.一种随机遴选系统的公平性审查方法，其特征在于，包括以下步骤：
S1：仿真建模，对遴选系统生成的结果处理之后建立仿真模型；
S2：聚类分析，针对建立的仿真模型进行聚类分析，形成聚类结果；
S3：结果审查，对聚类结果进行泊松分布比对，审查遴选系统的公平性。
2.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述步骤S1中包括对遴选系统生成的结果进行抽样得到样本。
3.根据权利要求2所述的随机遴选系统的公平性审查方法，其特征在于，还包括对抽样得到的所述样本进行扫描和汇总。
4.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述步骤S1中，仿真模型在面向分布式存储平台Hadoop上建立，从而得到多个面向分布式文件结果。
5.根据权利要求4所述的随机遴选系统的公平性审查方法，其特征在于，所述面向分布式文件结果在Hadoop平台上以小于64MB的文件块分布存储。
6.根据权利要求4所述的随机遴选系统的公平性审查方法，其特征在于，所述面向分布式文件结果为中标者ID和中标次数的对应关系。
7.根据权利要求4所述的随机遴选系统的公平性审查方法，其特征在于，所述步骤S2中聚类分析具体为对所述面向分布式文件结果进行任务分配与结果聚类，最终形成聚类结果。
8.根据权利要求7所述的随机遴选系统的公平性审查方法，其特征在于，所述任务分配为Map操作。
9.根据权利要求7所述的随机遴选系统的公平性审查方法，其特征在于，所述结果聚类为Reduce操作。
10.根据权利要求1所述的随机遴选系统的公平性审查方法，其特征在于，所述泊松分布比对具体为将所述聚类结果的方差与对应泊松分布的方差进行比对，得出系统公平性结果。
CN201410814090.8A 2014-12-19 2014-12-19 一种随机遴选系统的公平性审查方法 Expired - Fee Related CN104537231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410814090.8A CN104537231B (zh) 2014-12-19 2014-12-19 一种随机遴选系统的公平性审查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410814090.8A CN104537231B (zh) 2014-12-19 2014-12-19 一种随机遴选系统的公平性审查方法

Publications (2)

Publication Number Publication Date
CN104537231A true CN104537231A (zh) 2015-04-22
CN104537231B CN104537231B (zh) 2018-06-26

Family

ID=52852758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410814090.8A Expired - Fee Related CN104537231B (zh) 2014-12-19 2014-12-19 一种随机遴选系统的公平性审查方法

Country Status (1)

Country Link
CN (1) CN104537231B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915347A (zh) * 2012-09-26 2013-02-06 中国信息安全测评中心 一种分布式数据流聚类方法及系统
CN103077253A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 Hadoop框架下高维海量数据GMM聚类方法
CN103955707A (zh) * 2014-05-04 2014-07-30 电子科技大学 一种基于深度层次特征学习的海量图像分类系统
CN103995882A (zh) * 2014-05-28 2014-08-20 南京大学 基于MapReduce的概率频繁项集挖掘方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915347A (zh) * 2012-09-26 2013-02-06 中国信息安全测评中心 一种分布式数据流聚类方法及系统
CN103077253A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 Hadoop框架下高维海量数据GMM聚类方法
CN103955707A (zh) * 2014-05-04 2014-07-30 电子科技大学 一种基于深度层次特征学习的海量图像分类系统
CN103995882A (zh) * 2014-05-28 2014-08-20 南京大学 基于MapReduce的概率频繁项集挖掘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蔡斌雷等: "基于Hadoop MapReduce的分布式数据流聚类算法研究", 《信息工程大学学报》 *
谢桂兰等: "基于Hadoop MapReduce模型的应用研究", 《微型机与应用》 *

Also Published As

Publication number Publication date
CN104537231B (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN112434169B (zh) 一种知识图谱的构建方法及其系统和计算机设备
CN105574098B (zh) 知识图谱的生成方法及装置、实体对比方法及装置
Gollmer et al. A note on second-order stochastic dominance constraints induced by mixed-integer linear recourse
US20120254183A1 (en) Method and System for Clustering Data Points
CN114398669B (zh) 基于隐私保护计算和跨组织的联合信用评分方法及装置
CN110716950B (zh) 一种口径系统建立方法、装置、设备及计算机存储介质
CN104484494A (zh) 基于建筑bim模型的结构电算自动导荷载方法
CN104484410A (zh) 应用于大数据系统的数据融合方法及系统
Singhal et al. A Scientometric analysis of computer science research in India
CN110737805A (zh) 图模型数据的处理方法、装置和终端设备
CN103761298B (zh) 一种基于分布式架构的实体匹配方法
CN104915430B (zh) 一种基于MapReduce的约束关系粗糙集规则获取方法
US20140324861A1 (en) Block Partitioning For Efficient Record Processing In Parallel Computing Environment
CN102902739B (zh) 云计算环境下面向不确定数据源的工作流视图构造方法
CN117633249A (zh) 面向SDGs空间型监测指标的基本变量构建方法及装置
CN112783989A (zh) 一种基于区块链的数据处理方法及装置
CN113157384A (zh) 用于虚拟机的动态迁移防御方法及系统
CN104123382B (zh) 一种社会媒体下的图像集摘要生成方法
CN114880690B (zh) 一种基于边缘计算的源数据时序精化方法
CN113704624B (zh) 基于用户分流的策略推荐方法、装置、设备及介质
CN116150483A (zh) 基于贝叶斯网络模型的电子证照推荐方法、设备及存储介质
CN104537231A (zh) 一种随机遴选系统的公平性审查方法
Aghajani et al. A large scale analysis of unreliable stochastic networks
CN114547228A (zh) 轨迹生成方法、装置、设备及存储介质
CN113592529A (zh) 债券产品的潜在客户推荐方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180626

Termination date: 20201219