CN112016637B - 分层抽样方法、装置和用于分层抽样的装置 - Google Patents
分层抽样方法、装置和用于分层抽样的装置 Download PDFInfo
- Publication number
- CN112016637B CN112016637B CN202011141089.5A CN202011141089A CN112016637B CN 112016637 B CN112016637 B CN 112016637B CN 202011141089 A CN202011141089 A CN 202011141089A CN 112016637 B CN112016637 B CN 112016637B
- Authority
- CN
- China
- Prior art keywords
- sample data
- class
- data set
- sampling
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分层抽样方法、装置和用于分层抽样的装置,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文。其中的方法包括:基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。本发明实施例可以提高样本数据的隐私安全。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种分层抽样方法、装置和用于分层抽样的装置。
背景技术
抽样,又称取样,是指从欲研究的全部样品中抽取一部分样品,来估计和推断全部样品的一种统计方法。抽样的基本要求是保证所抽取的样本对总体具有充分的代表性,常用的抽样方法有简单随机抽样、系统抽样、分层抽样、整群抽样等。
其中,分层抽样是指从一个可以分成不同层(分类)的总体中,按规定的比例从不同层中随机抽取样本的方法,也叫类型抽样。在不同分类的样本差异较大的情况,可以显著提高调查结果的精度。
然而,目前的分层抽样通常需要暴露分类的明文,对于关系到用户身份保密、账户安全和个人隐私的敏感信息,这些信息一旦泄露会给用户生活带来严重的危害。
发明内容
本发明实施例提供一种分层抽样方法、装置和用于分层抽样的装置,用以在分类密文的基础上,对密文数据实现分层抽样,提高分层抽样的隐私安全性。
为了解决上述问题,本发明实施例公开了一种分层抽样方法,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述方法包括:
基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;
根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
另一方面,本发明实施例公开了一种分层抽样装置,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置包括:
分类标识确定模块,拥有基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
采样标识确定模块,用于基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;
样本抽取模块,用于根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
再一方面,本发明实施例公开了一种用于分层抽样的装置,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;
根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
又一方面,本发明实施例公开了一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如前述一个或多个所述的分层抽样方法。
本发明实施例包括以下优点:
本发明实施例首先基于k分类样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;然后基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;最后根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,并且在抽样过程中,不会暴露样本数据的明文,也不会暴露样本数据所属分类的明文,可以提高样本数据的隐私安全。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种分层抽样方法实施例的步骤流程图;
图2是本发明的一种分层抽样装置实施例的结构框图;
图3是本发明的一种用于分层抽样的装置800的框图;
图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
方法实施例
参照图1,示出了本发明的一种分层抽样方法实施例的步骤流程图,所述方法用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,具体可以包括如下步骤:
步骤101、基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
步骤102、基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;
步骤103、根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
所述样本数据可以为敏感数据,如环境监控数据、用户征信数据、用户账户数据、个人健康数据等。本发明实施例提供的分层抽样方法可应用于大数据共享系统,通过对敏感数据基于密文进行分层抽样,可以在避免敏感数据存在被泄露风险的基础上,实现多方数据的融合,进而可以对多方产生的业务数据执行汇集、处理和分析等操作,解决信息孤岛,提高多个网络服务中的海量级业务数据的应用价值。通过本发明实施例,可以在对多方数据进行融合之后,对融合后的数据进行分层抽样,最终的抽样结果取决于融合后的数据,而不是取决于每一方的数据,相对于先对每一方数据进行抽样,再对每一方的抽样结果进行融合,本发明实施例的抽样结果更能够反映多方融合数据的抽样特点,能够更加准确地对多方融合数据进行分析和处理。
本发明实施例的分层抽样方法可用于对k分类的样本数据集在密文基础上抽取样本,抽样过程中不会暴露样本数据的明文,也不会暴露样本数据所属分类的明文,可以提高样本数据的隐私安全。其中,k为大于或等于2的正整数。
一个示例中,样本数据集X表示为如下数组:[a1,a2,a3,a4,a5,a6,a7,a8,a9],该样本数据集X中包含9个样本数据,且样本数据均为密文。每个样本数据对应的分类标签用于表示该样本数据所属的分类,例如,k个分类对应的分类标签可以表示为[0,1,2,…,k-1],其中每个分类标签对应k分类中的一个分类。
假设样本数据集X中的样本数据包括性别属性,性别属性包括男性和女性两个分类,假设用分类标签0表示男性,分类标签1表示女性,将样本数据集X中各样本数据对应的分类标签表示为数组label=[0,0,1,1,0,0,0,1,1]。数组label中的第一个元素为0,表示样本数据集X中第一个样本数据a1的性别属性为男性。label数组中的第二个元素为0,表示样本数据集X中第二个样本数据a2的性别属性为男性。label数组中的第三个元素为1,表示样本数据集X中第三个样本数据a3的性别属性为女性,以此类推。在该示例中,k=2,2可以为明文。label数组中的各元素(分类标签)为密文。
为了更清楚的表示样本数据集X中各样本数据与其分类标签之间的对应关系,本发明实施例将样本数据集X表示为如下矩阵:[[a1, 0], [a2, 0], [a3, 1], [a4, 1],[a5, 0], [a6, 0], [a7, 0], [a8, 1], [a9, 1]],该矩阵的第一列为样本数据,第二列为样本数据对应的分类标签。
为便于描述,本发明实施例中均以二分类(k=2)的样本数据集X为例进行说明。
本发明实施例首先基于所述样本数据集中各样本数据对应的分类标签label,计算所述各样本数据对应所述k分类中每个分类的分类标识,记为x_mask。所述分类标识用于表示某个样本数据是否属于分类x,x∈[0,1,2,…,k-1],所述分类标识为密文。
在本发明的一种可选实施例中,步骤101所述基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,包括:
步骤S11、将所述各样本数据对应的分类标签分别与所述k分类中的每个分类基于密文进行比较,得到每个分类对应的密文比较结果;
步骤S12、将所述每个分类对应的密文比较结果作为所述各样本数据对应所述k分类中每个分类的分类标识,其中,第一数值的密文比较结果对应的分类标识表示样本数据属于当前分类,第二数值的密文比较结果对应的分类标识表示样本数据不属于当前分类。
首先,基于密文计算x_mask=(label==x)。以上述样本数据集X=[[a1, 0], [a2,0], [a3, 1], [a4, 1], [a5, 0], [a6, 0], [a7, 0], [a8, 1], [a9, 1]]为例,对于分类x=0,将样本数据集X中的各样本数据对应的分类标签分别与分类x=0基于密文进行比较,得到密文比较结果。如果比较二者相等,则密文比较结果为第一数值的密文(如第一数值为1),如果比较二者不相等,则密文比较结果为第二数值的密文(如第二数值为2)。
具体地,对于分类x=0,先将样本数据集X中第一个样本数据a1对应的分类标签(label=0)与x=0基于密文进行比较,可以得到第一数值的密文比较结果。再将第二个样本数据a2对应的分类标签(label=0)与x=0基于密文进行比较,可以得到第一数值的密文比较结果。依次类推,直到将每个样本数据对应的分类标签分别与x=0基于密文比较完成,可以得到分类x=0对应的密文比较结果为[1,1,0,0,1,1,1,0,0],该密文比较结果即为样本数据集X中各样本数据对应分类x=0的分类标识,记为x0_mask= [1,1,0,0,1,1,1,0,0]。
其中,x0_mask中的第一个元素为1,表示样本数据集X中的第一个样本数据a1属于分类x=0;x0_mask中的第二个元素为1,表示样本数据集X中的第二个样本数据a2属于分类x=0;x0_mask中的第三个元素为0,表示样本数据集X中的第三个样本数据a3不属于分类x=0,依次类推。
同样地,对于分类x=1,将样本数据集X中的各样本数据对应的分类标签分别与所述分类x=1基于密文进行比较,可以得到样本数据集X中各样本数据对应分类x=1的分类标识,记为x1_mask。在上述示例中,可以计算得到x1_mask= [0,0,1,1,0,0,0,1,1]。其中,x1_mask中的第一个元素为0,表示样本数据集X中的第一个样本数据a1不属于分类x=0;x1_mask中的第二个元素为0,表示样本数据集X中的第二个样本数据a2不属于分类x=1;x1_mask中的第三个元素为1,表示样本数据集X中的第三个样本数据a3属于分类x=1,依次类推。
接下来,基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,记为数组x_selected。所述采样标识用于表示样本数据集X在相应分类下应被采样的样本数据的位置,所述采样标识为密文,也即数组x_selected中的元素为密文。
对于二分类的样本数据集X,基于预设的采样率(假设为r)以及所述样本数据集X中各样本数据对应分类x=0的分类标识x0_mask,确定所述样本数据集X对应分类x=0的采样标识,记为数组x0_selected;以及,基于预设的采样率r以及所述样本数据集X中各样本数据对应分类x=1的分类标识x1_mask,确定所述样本数据集X对应分类x=0的采样标识,记为数组x1_selected。数组x0_selected和数组x1_selected中的元素为密文。
由于数组x0_selected中包含样本数据集X在分类x=0下应被采样的样本数据的位置信息,数组x1_selected中包含样本数据集X在分类x=1下应被采样的样本数据的位置信息,因此,根据样本数据集X对应每个分类的采样标识,可以得到样本数据集X在每个分类下应被采样的样本数据的位置,进而可以根据所述样本数据集X对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
在本发明的一种可选实施例中,步骤102所述基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,包括:
步骤S21、基于所述各样本数据对应所述k分类中每个分类的分类标识,确定所述各样本数据在其所属分类中的样本排序;
步骤S22、基于所述各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数;
步骤S23、根据所述每个分类下的样本个数以及所述采样率,计算每个分类下的采样个数;
步骤S24、根据所述各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识。
在计算出所述样本数据集X中各样本数据对应所述k分类中每个分类的分类标识(x_mask)之后,可以基于所述各样本数据对应所述k分类中每个分类的分类标识(包括x0_mask和x1_mask),确定所述各样本数据在其所属分类中的样本排序,记为数组cumsum(x_mask)。所述样本排序用于表示样本数据为其所属分类的所有样本数据中的第几个样本数据。
对于分类x=0,可以基于样本数据集X中各样本数据对应分类x=0的分类标识(x0_mask),确定所述样本数据集X中属于分类x=0的样本数据的样本排序,记为数组cumsum(x0_mask)。
数组cumsum(x0_mask)可以由数组x0_mask= [1,1,0,0,1,1,1,0,0]中对应元素依次进行基于密文的累加计算所得到。具体地,将x0_mask中第1个元素作为cumsum(x0_mask)的第1个元素,以及将x0_mask中的第i-1个元素与第i个元素基于密文相加,得到的结果作为cumsum(x0_mask)的第i个元素,其中,i的取值为[2,n],n为样本数据集X中的样本数据的个数。计算得到cumsum(x0_mask)=[1,2,2,2,3,4,5,5,]。
需要说明的是,如果数组cumsum(x_mask)中存在至少两个相同数值的元素,则将所述至少两个相同数值的元素中首次出现的元素作为有效值。例如,对于数组cumsum(x0_mask)=[1,2,2,2,3,4,5,5,],该数组中的第一个元素为1的密文,表示样本数据集X的第一个样本数据a1为分类x=0的所有样本数据中的第1个样本数据。该数组中的第二个元素为2的密文,表示样本数据集X的第二个样本数据a2为分类x=0的所有样本数据中的第2个样本数据。该数组中的第三个元素和第四个元素均与第二个元素相同,因此,忽略第三个元素和第四个元素。该数组中的第五个元素为3的密文,表示样本数据集X的第五个样本数据a5为分类x=0的所有样本数据中的第3个样本数据,依次类推。
同样的方法,对于分类x=1,可以基于样本数据集X中各样本数据对应分类x=1的分类标识(x1_mask),确定所述样本数据集X中属于分类x=1的样本数据的样本排序,记为数组cumsum(x1_mask)。计算得到cumsum(x1_mask)=[0,0,1,2,2,2,2,3,4]。该数组中的第三个元素为1的密文,表示样本数据集X的第三个样本数据a3为分类x=1的所有样本数据中的第1个样本数据。该数组中的第四个元素为首次出现的2的密文,表示样本数据集X的第四个样本数据a4为分类x=1的所有样本数据中的第2个样本数据。该数组中的第八个元素为3的密文,表示样本数据集X的第八个样本数据a8为分类x=1的所有样本数据中的第3个样本数据,依次类推。
此外,对于所述k分类的样本数据集X,本发明实施例基于各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数,记为x_sum。x_sum可以通过sum(x_mask)计算得到,该式sum(x_mask)表示对每个分类的分类标识对应数组中的各元素基于密文进行求和。x_sum为密文。
对于分类x=0,基于样本数据集X中各样本数据对应分类x=0的分类标识(x0_mask),计算分类x=0下的样本个数,记为x0_sum。具体地,对x0_mask= [1,1,0,0,1,1,1,0,0]中各元素基于密文进行求和,可以得到x0_sum=5,表示分类x=0下的样本个数为5个。可以理解,x0_sum=5为密文。
同样地,对于分类x=1,基于样本数据集X中各样本数据对应分类x=1的分类标识(x1_mask),计算分类x=1下的样本个数,记为x1_sum。具体地,对x1_mask= [0,0,1,1,0,0,0,1,1]中各元素基于密文进行求和,可以得到x1_sum=4,表示分类x=1下的样本个数为4个。可以理解,x1_sum=4为密文。
接下来,根据所述每个分类下的样本个数以及预设的采样率r,可以计算每个分类下的采样个数。例如,对于分类x=0,该分类下的样本个数为5,假设预设的采样率r=0.45,则分类x=0下的采样个数为x0_sum×r=5×0.45=2.25。因此,样本数据集X中应有2个属于分类x=0的样本数据被采样。同样地,对于分类x=1,该分类下的样本个数为4,计算x1_sum×r=4×0.45=1.8。因此,样本数据集X中应有1个属于分类x=1的样本数据被采样。
本发明实施例根据所述样本数据集中各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,可以确定所述样本数据集对应每个分类的采样标识。具体地,可以通过下式确定样本数据集对应每个分类的采样标识:
x_selected=(cumsum(x_mask)< sum(x_mask)×r)×x_mask (1)
其中,cumsum(x_mask)用于计算样本数据集中各样本数据在其所属分类的所有样本数据中的样本排序。sum(x_mask)用于计算样本数据集在每个分类下的样本个数(x_sum)。sum(x_mask)×r用于计算样本数据集在每个分类下的采样个数。(cumsum(x_mask)<sum(x_mask)×r)用于计算样本数据集在每个分类下应选取该分类下的第几个样本数据。最后,(cumsum(x_mask)< sum(x_mask)×r)与x_mask基于密文相乘,得到的密文结果即为样本数据集对应每个分类的采样标识,记为数组x_selected。在数组x_selected中,用数值为1的密文表示对应数据样本应被采样。
需要说明的是,cumsum(x_mask)< sum(x_mask)×r表示对于每个分类,选取前sum(x_mask)×r个样本数据。例如,对于分类x=0,sum(x0_mask)×r= 5×0.45=2.25。cumsum(x0_mask)=[1,2,2,2,3,4,5,5,],cumsum(x0_mask)中的第一个元素为1的密文,小于2.25,因此,样本数据集X中的第一个样本数据a1可以被选取。cumsum(x0_mask)中的第二个元素为2的密文,也小于2.25,因此,样本数据集X中的第二个样本数据a2也可以被选取。由于分类x=0下的采样个数为2.25,向下取整为2,也即总共选取2个属于分类x=0的样本数据。本发明实施例选取属于分类x=0的所有样本数据中的前两个,也即选取样本数据a1和a2。
对于分类x=0,上式(1)可以表示为:
x0_selected=(cumsum(x0_mask)< sum(x0_mask)×r)×x0_mask (2)
对于分类x=1,上式(1)可以表示为:
x1_selected=(cumsum(x1_mask)< sum(x1_mask)×r)×x1_mask (3)
根据上式(2),可以计算得到上述样本数据集X对应分类x=0的采样标识x0_selected=[1,1,0,0,0,0,0,0,0],表示样本数据集X中属于分类x=0的所有样本数据的前两个样本数据应被采样,也即样本数据集X所有样本数据中的前两个样本数据应被采样。
同样地,根据上式(3),可以计算得到上述样本数据集X对应分类x=1的采样标识x1_selected。具体地,计算sum(x1_mask)×r=4×0.45=1.8,也即,样本数据集X中应有1个属于分类x=1的样本数据被采样。通过计算cumsum(x1_mask)< sum(x1_mask)×r,可以在样本数据集X中属于分类x=1的所有样本数据中选取第一个样本数据。最后计算(cumsum(x1_mask)< sum(x1_mask)×r)×x1_mask可以得到样本数据集X对应分类x=1的采样标识x1_selected。具体地,x1_selected=[0,0,1,0,0,0,0,0,0],该数组中第三个元素为1的密文,表示该位置对应的样本数据应被采样,该位置对应的样本数据a3为样本数据集X中属于分类x=1的所有样本数据的第一个样本数据,a3也是样本数据集X所有样本数据中的第三个样本数据。
由此,本发明实施例在密文基础上计算得到样本数据集对应k分类中每个分类的采样标识x_selected之后,即可根据采样标识x_selected,抽取所述样本数据集中的样本数据。
在本发明的一种可选实施例中,步骤103所述根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据,包括:
步骤S31、根据所述样本数据集对应每个分类的采样标识,确定所述样本数据集对应所述k分类中所有分类的采样标识;
步骤S32、根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引;
步骤S33、根据所述采样样本索引,抽取所述样本数据集中的样本数据。
根据样本数据集对应k分类中每个分类的采样标识,可以确定所述样本数据集对应所述k分类中所有分类的采样标识,进而可以得到样本数据集所有样本数据中应被采样的样本数据的位置,也即可以得到样本数据集中应被采样的样本数据对应的索引,本发明实施例称为采样样本索引。根据所述采样样本索引,即可抽取所述样本数据集中的样本数据。
在具体实施中,对于k分类的样本数据集,首先初始化数组selected_mask为与样本数据集长度相等的全0密文数组。数组中的元素用于表示样本数据集中应被采样的样本数据的索引。以上述二分类的样本数据集X为例,初始化selected_mask=[0,0,0,0,0,0,0,0,0]。selected_mask中的元素均为密文。
然后进行k轮迭代计算,得到每个样本数据集X对应每个分类的采样标识,并且依据每轮迭代计算得到的采样标识更新selected_mask。具体地,可以通过下式更新selected_mask:
selected_mask += x_selected (4)
在第k轮迭代完成后,可以得到最终的selected_mask,即为所述样本数据集X对应所述k分类中所有分类的采样标识。
具体地,在第一轮迭代中,计算得到样本数据集X对应分类x=0的采样标识x0_selected=[1,1,0,0,0,0,0,0,0],更新selected_mask= x0_selected+ selected_mask=[1,1,0,0,0,0,0,0,0]+ [0,0,0,0,0,0,0,0,0]= [1,1,0,0,0,0,0,0,0]。
在第二轮迭代中,计算得到样本数据集X对应分类x=1的采样标识x1_selected=[0,0,1,0,0,0,0,0,0],更新selected_mask= x1_selected+ selected_mask=[0,0,1,0,0,0,0,0,0]+ [1,1,0,0,0,0,0,0,0]= [1,1,1,0,0,0,0,0,0]。
迭代结束,得到最终的selected_mask= [1,1,1,0,0,0,0,0,0],表示所述样本数据集X对应所述k(k=2)分类中所有分类的采样标识。
需要说明的是,上述计算过程均为基于密文的计算,计算过程中不会暴露密文数据的明文,计算得到的selected_mask中的元素也是密文。
此时,对selected_mask中的元素解密,得到selected_mask中各元素的明文,即可得到样本数据集的采样样本索引。例如,对selected_mask= [1,1,1,0,0,0,0,0,0]中的各元素解密后,可以得知前三个元素的数值为1,也即样本数据集X的采样样本索引为:0、1、2,根据该采样样本索引可以抽取样本数据集X中的前三个样本数据。
然而,如果直接将selected_mask中的元素恢复为明文,会暴露抽取的样本数据在样本数据集中的位置,降低了样本数据的隐私安全。为了解决该问题,本发明实施例在确定样本数据集对应k分类中所有分类的采样标识selected_mask之后,将采样标识selected_mask和样本数据集合并在一起并打乱之后,再计算采样样本索引,由此计算得到的采样样本索引不会暴露样本数据的真实位置,可以提高样本数据的隐私安全。
在本发明的一种可选实施例中,步骤S31所述确定所述样本数据集对应所述k分类中所有分类的采样标识之后,所述方法还包括:
步骤S41、生成与所述样本数据集长度相等的第一密文索引数组;
步骤S42、对所述第一密文索引数组进行随机打乱,得到第二密文索引数组;
步骤S43、将所述样本数据集与所述样本数据集对应所述k分类中所有分类的采样标识进行合并,得到合并矩阵;
步骤S44、根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵;
步骤S45、基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
其中,第一密文索引数组用于保存样本数据集中各样本数据的索引。例如,对于上述二分类的样本数据集X,第一密文索引数组可以记为index_shuffle=[0,1,2,3,4,5,6,7,8]。其中,索引0表示样本数据集X中的第一个样本数据,索引1表示样本数据集X中的第二个样本数据,以此类推。所述第一密文索引数组中的各元素为密文。
首先,对所述第一密文索引数组index_shuffle进行随机打乱,得到第二密文索引数组。
然后,将样本数据集X与所述样本数据集X对应k(k=2)分类中所有分类的采样标识进行合并,得到合并矩阵。样本数据集X=[[a1, 0], [a2, 0], [a3, 1], [a4, 1], [a5,0], [a6, 0], [a7, 0], [a8, 1], [a9, 1]],样本数据集X对应所述k(k=2)分类中所有分类的采样标识为selected_mask= [1,1,1,0,0,0,0,0,0],将二者合并可以得到合并矩阵为samples_append=[[a1, 0, 1], [a2, 0, 1], [a3, 1, 1], [a4, 1, 0], [a5, 0, 0],[a6, 0, 0], [a7, 0, 0], [a8, 1, 0], [a9, 1, 0]]。
合并矩阵samples_append的第一列为样本数据,第二列为样本数据对应的分类标签,第三列为样本数据对应的采样标识,1表示该样本数据应被采样。以合并矩阵samples_append中的第一个元素[a1, 0, 1]为例,第一列的a1为样本数据,第二列的0为样本数据a1对应的分类标签,第三列的1为样本数据a1的采样标识,表示该样本数据a1应该被采样。其中,样本数据a1、分类标签0、以及采样标识1均为密文。
接下来,根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵。需要说明的是,根据第二密文索引数组对合并矩阵中的各样本数据进行排序,仅改变合并矩阵行间的顺序,每一行的内容并不改变。
假设对所述第一密文索引数组index_shuffle=[0,1,2,3,4,5,6,7,8]进行随机打乱,得到第二密文索引数组为index_shuffle’=[1, 5, 7, 0, 8, 4, 2, 3, 6]。根据第二密文索引数组index_shuffle’=[1, 5, 7, 0, 8, 4, 2, 3, 6],对合并矩阵samples_append=[[a1, 0, 1], [a2, 0, 1], [a3, 1, 1], [a4, 1, 0], [a5, 0, 0], [a6, 0,0], [a7, 0, 0], [a8, 1, 0], [a9, 1, 0]]中的各样本数据进行排序,得到排序后的合并矩阵为samples_append’=[[a2, 0, 1], [a6, 0, 0], [a8, 1, 0], [a1, 0, 1], [a9,1, 0], [a5, 0, 0], [a3, 1, 1], [a4, 1, 0], [a7, 0, 0]]。
最后,基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
具体地,对排序后的合并矩阵samples_append’=[[a2, 0, 1], [a6, 0, 0],[a8, 1, 0], [a1, 0, 1], [a9, 1, 0], [a5, 0, 0], [a3, 1, 1], [a4, 1, 0], [a7,0, 0]],在第三列的位置进行拆分,可以得到排序后的样本数据集为X’=[[a2, 0], [a6,0], [a8, 1], [a1, 0], [a9, 1], [a5, 0], [a3, 1], [a4, 1], [a7, 0]]和排序后的采样标识selected_mask’=[1,0,0,1,0,0,1,0,0]。排序后的采样标识对应的是排序后的样本数据集,由于排序后的样本数据集为经过随机打乱的第二密文索引数组重新排序得到,因此,排序后的采样标识不会暴露应被采样的样本数据的真实位置。
在本发明的一种可选实施例中,步骤S32所述根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引,包括:根据所述排序后的采样标识,确定所述排序后的样本数据集对应的采样样本索引;
步骤S33所述根据所述采样样本索引,抽取所述样本数据集中的样本数据,包括:根据所述排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集中的样本数据。
具体地,对排序后的采样标识selected_mask’中的元素解密,得到selected_mask’中各元素的明文,即可得到排序后的样本数据集对应的采样样本索引。根据所述排序后的样本数据集对应的采样样本索引,即可抽取所述排序后的样本数据集中的样本数据。
在上述示例中,排序后的采样标识selected_mask’=[1,0,0,1,0,0,1,0,0],恢复成明文后,根据其中数值为1的元素即可得到排序后的样本数据集对应的采样样本索引,具体包括:0、3、6。根据排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集X’=[[a2, 0], [a6, 0], [a8, 1], [a1, 0], [a9, 1], [a5, 0], [a3, 1], [a4,1], [a7, 0]]中的样本数据,抽取的样本数据为X’中的第0个、第3个、以及第6个样本数据,也即抽取的样本数据包括[[a2, 0], [a1, 0], [a3, 1]]。
由于排序后的样本数据集对应的采样样本索引不会暴露应被采样的样本数据的真实位置,因此可以提高样本数据的隐私安全。
综上,本发明实施例首先基于k分类样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;然后基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;最后根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,并且在抽样过程中,不会暴露样本数据的明文,也不会暴露样本数据所属分类的明文,可以提高样本数据的隐私安全。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图2,示出了本发明的一种分层抽样装置实施例的结构框图,所述装置用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置具体可以包括:
分类标识确定模块201,拥有基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
采样标识确定模块202,用于基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;
样本抽取模块203,用于根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
可选地,所述分类标识确定模块201,包括:
比较子模块,用于将所述各样本数据对应的分类标签分别与所述k分类中的每个分类基于密文进行比较,得到每个分类对应的密文比较结果;
分类标识确定子模块,用于将所述每个分类对应的密文比较结果作为所述各样本数据对应所述k分类中每个分类的分类标识,其中,第一数值的密文比较结果对应的分类标识表示样本数据属于当前分类,第二数值的密文比较结果对应的分类标识表示样本数据不属于当前分类。
可选地,所述采样标识确定模块202,包括:
排序确定子模块,用于基于所述各样本数据对应所述k分类中每个分类的分类标识,确定所述各样本数据在其所属分类中的样本排序;
样本个数确定子模块,用于基于所述各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数;
采样个数确定子模块,用于根据所述每个分类下的样本个数以及所述采样率,计算每个分类下的采样个数;
采样标识确定子模块,用于根据所述各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识。
可选地,所述样本抽取模块203,包括:
标识确定子模块,用于根据所述样本数据集对应每个分类的采样标识,确定所述样本数据集对应所述k分类中所有分类的采样标识;
索引确定子模块,用于根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引;
样本抽取子模块,用于根据所述采样样本索引,抽取所述样本数据集中的样本数据。
可选地,所述装置还包括:
第一数组生成模块,用于生成与所述样本数据集长度相等的第一密文索引数组;
第二数组生成模块,用于对所述第一密文索引数组进行随机打乱,得到第二密文索引数组;
合并模块,用于将所述样本数据集与所述样本数据集对应所述k分类中所有分类的采样标识进行合并,得到合并矩阵;
排序模块,用于根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵;
拆分模块,用于基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
可选地,所述索引确定子模块,具体用于根据所述排序后的采样标识,确定所述排序后的样本数据集对应的采样样本索引;
所述样本抽取子模块,具体用于根据所述排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集中的样本数据。
本发明实施例首先基于k分类样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;然后基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;最后根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,并且在抽样过程中,不会暴露样本数据的明文,也不会暴露样本数据所属分类的明文,可以提高样本数据的隐私安全。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例提供了一种用于分层抽样的装置,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
图3是根据一示例性实施例示出的一种用于分层抽样的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/ O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音信息处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/ O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频信息处理(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1所示的分层抽样方法。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行一种分层抽样方法,所述方法包括:基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文;根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上对本发明所提供的一种分层抽样方法、一种分层抽样装置和一种用于分层抽样的装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种分层抽样方法,其特征在于,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述方法包括:
基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文,所述采样标识用于表示样本数据集在相应分类下应被采样的样本数据的位置;
根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据;
所述基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,包括:
将所述各样本数据对应的分类标签分别与所述k分类中的每个分类基于密文进行比较,得到每个分类对应的密文比较结果;
将所述每个分类对应的密文比较结果作为所述各样本数据对应所述k分类中每个分类的分类标识,其中,第一数值的密文比较结果对应的分类标识表示样本数据属于当前分类,第二数值的密文比较结果对应的分类标识表示样本数据不属于当前分类。
2.根据权利要求1所述的方法,其特征在于,所述基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,包括:
基于所述各样本数据对应所述k分类中每个分类的分类标识,确定所述各样本数据在其所属分类中的样本排序;
基于所述各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数;
根据所述每个分类下的样本个数以及所述采样率,计算每个分类下的采样个数;
根据所述各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识。
3.根据权利要求1所述的方法,其特征在于,所述根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据,包括:
根据所述样本数据集对应每个分类的采样标识,确定所述样本数据集对应所述k分类中所有分类的采样标识;
根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引;
根据所述采样样本索引,抽取所述样本数据集中的样本数据。
4.根据权利要求3所述的方法,其特征在于,所述确定所述样本数据集对应所述k分类中所有分类的采样标识之后,所述方法还包括:
生成与所述样本数据集长度相等的第一密文索引数组;
对所述第一密文索引数组进行随机打乱,得到第二密文索引数组;
将所述样本数据集与所述样本数据集对应所述k分类中所有分类的采样标识进行合并,得到合并矩阵;
根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵;
基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
5.根据权利要求4所述的方法,其特征在于,所述根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引,包括:
根据所述排序后的采样标识,确定所述排序后的样本数据集对应的采样样本索引;
所述根据所述采样样本索引,抽取所述样本数据集中的样本数据,包括:
根据所述排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集中的样本数据。
6.一种分层抽样装置,其特征在于,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置包括:
分类标识确定模块,用于基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
采样标识确定模块,用于基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文,所述采样标识用于表示样本数据集在相应分类下应被采样的样本数据的位置;
样本抽取模块,用于根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据;
所述分类标识确定模块,包括:
比较子模块,用于将所述各样本数据对应的分类标签分别与所述k分类中的每个分类基于密文进行比较,得到每个分类对应的密文比较结果;
分类标识确定子模块,用于将所述每个分类对应的密文比较结果作为所述各样本数据对应所述k分类中每个分类的分类标识,其中,第一数值的密文比较结果对应的分类标识表示样本数据属于当前分类,第二数值的密文比较结果对应的分类标识表示样本数据不属于当前分类。
7.根据权利要求6所述的装置,其特征在于,所述采样标识确定模块,包括:
排序确定子模块,用于基于所述各样本数据对应所述k分类中每个分类的分类标识,确定所述各样本数据在其所属分类中的样本排序;
样本个数确定子模块,用于基于所述各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数;
采样个数确定子模块,用于根据所述每个分类下的样本个数以及所述采样率,计算每个分类下的采样个数;
采样标识确定子模块,用于根据所述各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识。
8.根据权利要求6所述的装置,其特征在于,所述样本抽取模块,包括:
标识确定子模块,用于根据所述样本数据集对应每个分类的采样标识,确定所述样本数据集对应所述k分类中所有分类的采样标识;
索引确定子模块,用于根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引;
样本抽取子模块,用于根据所述采样样本索引,抽取所述样本数据集中的样本数据。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一数组生成模块,用于生成与所述样本数据集长度相等的第一密文索引数组;
第二数组生成模块,用于对所述第一密文索引数组进行随机打乱,得到第二密文索引数组;
合并模块,用于将所述样本数据集与所述样本数据集对应所述k分类中所有分类的采样标识进行合并,得到合并矩阵;
排序模块,用于根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵;
拆分模块,用于基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
10.根据权利要求9所述的装置,其特征在于,所述索引确定子模块,具体用于根据所述排序后的采样标识,确定所述排序后的样本数据集对应的采样样本索引;
所述样本抽取子模块,具体用于根据所述排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集中的样本数据。
11.一种用于分层抽样的装置,其特征在于,用于对k分类的样本数据集在密文基础上抽取样本,其中,所述样本数据集中的样本数据以及所述样本数据对应的分类标签为密文,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,所述分类标识为密文;
基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,所述采样标识为密文,所述采样标识用于表示样本数据集在相应分类下应被采样的样本数据的位置;
根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据;
所述基于所述样本数据集中各样本数据对应的分类标签,计算所述各样本数据对应所述k分类中每个分类的分类标识,包括:
将所述各样本数据对应的分类标签分别与所述k分类中的每个分类基于密文进行比较,得到每个分类对应的密文比较结果;
将所述每个分类对应的密文比较结果作为所述各样本数据对应所述k分类中每个分类的分类标识,其中,第一数值的密文比较结果对应的分类标识表示样本数据属于当前分类,第二数值的密文比较结果对应的分类标识表示样本数据不属于当前分类。
12.根据权利要求11所述的装置,其特征在于,所述基于预设的采样率以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识,包括:
基于所述各样本数据对应所述k分类中每个分类的分类标识,确定所述各样本数据在其所属分类中的样本排序;
基于所述各样本数据对应所述k分类中每个分类的分类标识,计算每个分类下的样本个数;
根据所述每个分类下的样本个数以及所述采样率,计算每个分类下的采样个数;
根据所述各样本数据在其所属分类中的样本排序、所述每个分类下的采样个数、以及所述各样本数据对应所述k分类中每个分类的分类标识,确定所述样本数据集对应每个分类的采样标识。
13.根据权利要求11所述的装置,其特征在于,所述根据所述样本数据集对应每个分类的采样标识,抽取所述样本数据集中的样本数据,包括:
根据所述样本数据集对应每个分类的采样标识,确定所述样本数据集对应所述k分类中所有分类的采样标识;
根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引;
根据所述采样样本索引,抽取所述样本数据集中的样本数据。
14.根据权利要求13所述的装置,其特征在于,所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
生成与所述样本数据集长度相等的第一密文索引数组;
对所述第一密文索引数组进行随机打乱,得到第二密文索引数组;
将所述样本数据集与所述样本数据集对应所述k分类中所有分类的采样标识进行合并,得到合并矩阵;
根据所述第二密文索引数组,对所述合并矩阵中的各样本数据进行排序,得到排序后的合并矩阵;
基于所述合并矩阵的合并位置,对所述排序后的合并矩阵进行拆分,得到排序后的样本数据集和排序后的采样标识。
15.根据权利要求14所述的装置,其特征在于,所述根据所述样本数据集对应所述k分类中所有分类的采样标识,确定所述样本数据集的采样样本索引,包括:
根据所述排序后的采样标识,确定所述排序后的样本数据集对应的采样样本索引;
所述根据所述采样样本索引,抽取所述样本数据集中的样本数据,包括:
根据所述排序后的样本数据集对应的采样样本索引,抽取所述排序后的样本数据集中的样本数据。
16.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至5任一所述的分层抽样方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011141089.5A CN112016637B (zh) | 2020-10-22 | 2020-10-22 | 分层抽样方法、装置和用于分层抽样的装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011141089.5A CN112016637B (zh) | 2020-10-22 | 2020-10-22 | 分层抽样方法、装置和用于分层抽样的装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112016637A CN112016637A (zh) | 2020-12-01 |
CN112016637B true CN112016637B (zh) | 2021-02-05 |
Family
ID=73527854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011141089.5A Active CN112016637B (zh) | 2020-10-22 | 2020-10-22 | 分层抽样方法、装置和用于分层抽样的装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112016637B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489155A (zh) * | 2020-03-11 | 2020-08-04 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
-
2020
- 2020-10-22 CN CN202011141089.5A patent/CN112016637B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489155A (zh) * | 2020-03-11 | 2020-08-04 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
Non-Patent Citations (2)
Title |
---|
同态加密技术及其在云计算隐私保护中的应用;李宗育等;《软件学报》;20171017;第1831-1845段 * |
数据的交易流通之痛与隐私计算之道;周蕾;《https://www.leiphone.com/news/202010/wZIM99Odri7wdzVI.html》;20201019;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112016637A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210326587A1 (en) | Human face and hand association detecting method and a device, and storage medium | |
CN110569777B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110472091B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110781813B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
CN111178538A (zh) | 垂直数据的联邦学习方法及装置 | |
CN111539443A (zh) | 一种图像识别模型训练方法及装置、存储介质 | |
CN109543536B (zh) | 图像标识方法及装置、电子设备和存储介质 | |
CN114969830B (zh) | 一种隐私求交方法、系统和可读存储介质 | |
CN114840568B (zh) | 一种密文排序方法、装置和用于密文排序的装置 | |
CN112861175A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112487415B (zh) | 计算任务的安全性检测方法及装置 | |
CN114978512B (zh) | 一种隐私求交方法、装置和可读存储介质 | |
CN112269904A (zh) | 数据处理方法及装置 | |
CN111625671A (zh) | 数据处理方法及装置、电子设备及存储介质 | |
CN113032839B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN115085912A (zh) | 一种密文计算方法、装置和用于密文计算的装置 | |
CN113033717A (zh) | 一种模型生成方法、装置以及用于模型生成的装置 | |
CN113051610A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112016637B (zh) | 分层抽样方法、装置和用于分层抽样的装置 | |
CN104219360A (zh) | 信息处理方法和装置 | |
CN111797746A (zh) | 人脸识别方法、装置及计算机可读存储介质 | |
CN116401423A (zh) | 基于安全多方计算的中位数确定方法、装置、设备及介质 | |
CN116522385A (zh) | 一种联邦过采样方法、装置、电子设备及存储介质 | |
CN111275055A (zh) | 网络训练方法及装置、图像处理方法及装置 | |
CN116051263A (zh) | 一种授信模型生成方法、授信方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |