CN112598139B - 类别编码方法、装置、设备、存储介质及程序产品 - Google Patents

类别编码方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN112598139B
CN112598139B CN202011531000.6A CN202011531000A CN112598139B CN 112598139 B CN112598139 B CN 112598139B CN 202011531000 A CN202011531000 A CN 202011531000A CN 112598139 B CN112598139 B CN 112598139B
Authority
CN
China
Prior art keywords
category
node
information
classification
categories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011531000.6A
Other languages
English (en)
Other versions
CN112598139A (zh
Inventor
何恺
蒋精华
杨青友
洪爵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011531000.6A priority Critical patent/CN112598139B/zh
Publication of CN112598139A publication Critical patent/CN112598139A/zh
Application granted granted Critical
Publication of CN112598139B publication Critical patent/CN112598139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种类别编码方法、装置、设备、存储介质及程序产品,涉及深度学习技术。本申请提供的方案中,可以根据各个参与联邦学习的节点的类别信息确定出交集信息,各个节点基于确定出的交集信息对自身的类别信息中的分类类别进行编码,从而使各个节点对属于交集信息的分类类别的编码结果相同,可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。

Description

类别编码方法、装置、设备、存储介质及程序产品
技术领域
本申请涉及计算机技术中的深度学习技术,尤其涉及一种类别编码方法、装置、设备、存储介质及程序产品。
背景技术
目前,机器学习已日趋成熟,在很多应用场景中都可以采用机器学习,从而通过机器学习得到能够提供智能化服务的产品。
机器学习之所以取得较好的效果,除了相关技术的飞跃发展和硬件计算能力的快速提升,也离不开数据的爆炸式增长。利用大量的数据进行机器学习,能够得到效果较好的产品。
由于集中收集数据进行机器学习存在隐私泄露的安全隐患,因此,机器学习可以采用安全联邦学习方式。在机器学习中,需要采用对分类结果进行编码,而在联邦学习过程中,如何根据多方的分类结果进行安全高效的编码,是本领域技术人员亟需解决的技术问题。
发明内容
本申请提供了一种类别编码方法、装置、设备、存储介质及程序产品,以提供一种应用于联邦学习过程中的高效且安全的类别编码方式。
根据本申请的一方面,提供了一种类别编码方法,所述方法应用于联邦学习中的第一节点,所述第一节点和第二节点参与联邦学习,所述方法包括:
接收第二节点发送的交集信息,其中,所述交集信息是通过私密求交集协议得到的各第一节点的类别信息和所述第二节点的类别信息之间的交集,所述类别信息具有多个分类类别;
根据所述交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。
根据本申请的第二方面,提供了一种类别编码方法,所述方法应用于联邦学习中的第二节点,所述第一节点和第二节点参与联邦学习,所述方法包括:
基于私密求交集协议接收第一节点发送的类别信息;
基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息;
将所述交集信息发送给各个所述第一节点,并根据所述交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。
根据本申请的第三方面,提供了一种类别编码装置,所述装置应用于联邦学习中的第一节点,所述第一节点和第二节点参与联邦学习,所述装置包括:
接收单元,用于接收第二节点发送的交集信息,其中,所述交集信息是通过私密求交集协议得到的各第一节点的类别信息和所述第二节点的类别信息之间的交集,所述类别信息具有多个分类类别;
编码单元,用于根据所述交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。
根据本申请的第四方面,提供了一种类别编码装置,所述装置应用于联邦学习中的第二节点,所述第一节点和第二节点参与联邦学习,所述装置包括:
接收单元,用于基于私密求交集协议接收第一节点发送的类别信息;
交集确定单元,用于基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息;
发送单元,用于将所述交集信息发送给各个所述第一节点;
编码单元,用于根据所述交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。
根据本申请的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面或第二方面所述的类别编码方法。
根据本申请的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如第一方面或第二方面所述的类别编码方法。
根据本申请的第七方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如第一方面或第二方面所述的类别编码方法。
本申请提供的类别编码方法、装置、设备、存储介质及程序产品中,可以根据各个参与联邦学习的节点的类别信息确定出交集信息,各个节点基于确定出的交集信息对自身的类别信息中的分类类别进行编码,从而使各个节点对属于交集信息的分类类别的编码结果相同,可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为一种联邦学习的示意图;
图2为本申请第一示例性实施例示出的类别编码方法的流程示意图;
图3A为本申请提供的联邦学习示意图;
图3B为本申请提供的交集信息生成的流程示意图;
图4为本申请第二示例性实施例示出的类别编码方法的流程示意图;
图5A为本申请一示例性实施例示出的节点发送差集大小的示意图;
图5B为本申请一示例性实施例示出的分类类别排序的示意图;
图6为本申请第三示例性实施例示出的类别编码方法的流程示意图;
图7为本申请第四示例性实施例示出的类别编码方法的流程示意图;
图8为本申请第一示例性实施例示出的类别编码装置的结构示意图;
图9为本申请第二示例性实施例示出的类别编码装置的结构示意图;
图10为本申请第三示例性实施例示出的类别编码装置的结构示意图;
图11为本申请第四示例性实施例示出的类别编码装置的结构示意图;
图12为本申请一示例性实施例示出的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
目前,在很多应用场景中都需要采用机器学习技术。而机器学习技术需要大量的数据作为依托。
但是,若集中收集用户数据进行机器学习,则会存在用户隐私泄露的问题。因此,目前存在联邦学习的方式进行机器学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
图1为一种联邦学习的示意图。
如图1所示,联邦学习中包括多个节点11,这些节点基于大数据分别进行机器学习,并且不向其他节点暴露数据信息。最后将各个节点训练的模型进行聚合到一起,得到需要的目标模型。
在联邦学习中,各个节点都需要对训练过程中用到的类别进行编码。若各个节点仅基于自身的类别信息进行编码,则会导致编码结果存在冗余情况。比如,两个节点中都存在相同的类别,若节点分别对类别进行编码,那么会导致两个节点对相同类别的编码结果不同,进而造成数据冗余。
而为了满足用户隐私保护、数据安全,不能向其他节点暴露分类结果,因此,各个节点如何能够安全高效的对类别继续编码,又能够减少数据冗余,是本领域技术人员亟需解决的技术问题。
本申请提供一种类别编码方案,能够根据各个节点的类别信息得到交集信息,各个节点可以基于该交集信息对类别进行编码,从而降低数据冗余情况。并且,节点间通过私密求交集协议交互,能够避免节点的数据向其他节点暴露。
本申请提供一种类别编码方法、装置、设备、存储介质及程序产品,应用于计算机技术中的深度学习技术,以达到高效且安全的进行类别编码。
图2为本申请第一示例性实施例示出的类别编码方法的流程示意图。
本申请提供的类别编码方法应用于联邦学习中的第一节点,第一节点和第二节点参与联邦学习。
图3A为本申请提供的联邦学习示意图。
如图3A所示,可以由第一节点31和第二节点32参与联邦学习。例如,可以包括多个第一节点31和一个第二节点32参与联邦学习。本申请提供的方法可以由图3A所示出的任一第一节点31执行。
如图2所示,本申请提供的类别编码方法,包括:
步骤201,接收第二节点发送的交集信息,其中,交集信息是通过私密求交集协议得到的各第一节点的类别信息和第二节点的类别信息之间的交集,类别信息具有多个分类类别。
本申请提供的方法由第一节点执行,第一节点例如可以是参加联邦学习的电子设备。该电子设备例如可以是计算机。
其中,第一节点与第二节点之间通过私密求交集协议(Private SetIntersection PSI)交互。
私密求交集协议允许持有各自集合的两方来共同计算两个集合的交集运算。在协议交互的最后,一方或是两方应该得到正确的交集,而且不会得到交集以外另一方集合中的任何信息。
具体的,各个节点可以将类别信息作为私密求交集协议的输入,第二节点可以基于私密求交集协议确定这些类别信息的交集信息。得到的交集信息是各个节点的类别信息中的分类类别的交集。
比如,存在两个第一节点、一个第二节点。其中一个第一节点的类别信息是A、B、C1;另一个第一节点的类别信息是A、B、C2;第二节点的类别信息是A、B。则这三个节点的交集信息包括类别A、B。
进一步的,第二节点确定出交集信息后,可以将交集信息同步给其他各个第一节点。这种实施方式中,除了各个节点之间的交集类别,节点中的其他信息不向外暴露,从而能够保护数据不被泄露。
实际应用时,当存在多个第一节点时,第二节点还可以与其中一个第一节点通过私密求交集协议确定交集信息,第二节点再与另一个第一节点再通过私密求交集协议,确定当前的交集信息与该第一节点的类别信息确定交集信息,以此类推,能够确定出最终的交集信息。
图3B为本申请提供的交集信息生成的流程示意图。
如图3B所示,第一节点33与第二节点34分别将各自的类别信息作为私密求交集协议的输入,得到第一交集信息;第二节点34将第一交集信息作为输入,另一个第一节点35将自身的类别信息作为输入,得到第二交集信息。以此类推,直到第二节点34与最后一个第一节点36确定出目标交集信息为止。
实际应用时,第二节点确定出各个节点的交集信息之后,可以将交集信息发送给各个第一节点。交集信息用于确定类别编码。
交集信息中包括的分类类别是各个节点共有的。
步骤202,根据交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。
其中,第一节点接收到交集信息后,可以根据接收的交集信息确定自身类别信息中每一类别对应的类别编码。类别信息中包括多个分类类别,每个第一节点都可以根据交集信息确定自身类别信息中,各个分类类别的类别编码。
具体的,第一节点可以逐一对自身类别信息中的分类类别进行编码。
第一节点可以获取自身类别信息中的一个分类类别,判断其是否属于交集信息。若属于,则可以根据该分类类别在交集信息中的顺序确定类别编码。
若分类类别不属于交集信息,则第一节点可以基于自身的编码规则对分类类别进行编码。
这种实施方式中,若分类类别属于交集信息,则各个节点确定的与分类类别对应的类别编码相同,从而能够降低数据冗余量。
进一步的,在联邦学习中可以采用one-hot(一位有效编码)编码方式。
One-Hot编码,又称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码,每个状态都有他独立的寄存器位,并且在任意时候只有一位有效。编码结果的长度为N,这N位数中,只有一位数值为1,其他位数值为0。
实际应用时,若分类类别属于交集信息,则可以获取该分类类别在交集信息中的顺序n,在对该分类类别进行编码时,可以将第n位设置为有效位,也就是第n位为1,其他位是0。
本申请提供的类别编码方法,方法应用于联邦学习中的第一节点,第一节点和第二节点参与联邦学习,方法包括:接收第二节点发送的交集信息,其中,交集信息是通过私密求交集协议得到的各第一节点的类别信息和第二节点的类别信息之间的交集,类别信息具有多个分类类别;根据交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。本申请提供的类别编码方法中,各个节点对属于交集信息的分类类别的编码结果相同,从而可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。
图4为本申请第二示例性实施例示出的类别编码方法的流程示意图。
如图4所示,本申请提供的类别编码方法,包括:
步骤401,接收第二节点发送的交集信息,其中,交集信息是通过私密求交集协议得到的各第一节点的类别信息和第二节点的类别信息之间的交集,类别信息具有多个分类类别。
步骤401与步骤201的原理和实现方式类似,不再赘述。
步骤402,接收第二节点和/或其他第一节点发送的差集大小;其中,差集大小是交集信息与类别信息之间的差集的大小。
其中,参加联邦学习的各个第一节点都可以接收第二节点发送的交集信息,并可以根据接收的交集信息确定差集大小。
具体的,各个第一节点可以确定自身类别信息与接收的交集信息之间的差集。比如,一个第一节点的类别信息包括分类类别A、B、C、D,交集信息中包括分类类别A、B,则该第一节点能够确定出包括类别C、D的差集。
进一步的,差集大小是指差集中分类类别的数量。比如差集包括类别C和D,则差集大小为2。
实际应用时,第二节点在确定出交集信息后,也可以根据自身的类别信息确定出差集大小。
其中,参与联邦学习的节点可以向其他各个节点发送确定出的差集大小。
图5A为本申请一示例性实施例示出的节点发送差集大小的示意图。
如图5A所示,第二节点51将确定的差集大小分别发送给第一节点52、第一节点53、第一节点54。第一节点52将确定的差集大小分别发送给第二节点51、第一节点53、第一节点54。第一节点53将确定的差集大小分别发送给第二节点51、第一节点52、第一节点54。第一节点54将确定的差集大小分别发送给第二节点51、第一节点52、第一节点53。
用于执行本申请提供的方法的当前第一节点,也能够接收到各个其他第一节点,以及第二节点发送的差集大小。
步骤403,若分类类别存在于交集信息中,则根据分类类别在交集信息中的顺序,确定存在于交集信息中的分类类别对应的类别编码。
具体的,当前第一节点在对分类类别进行编码时,可以确定一个分类类别是否存在于交集信息中。若存在,则可以根据分类类别在交集信息中的顺序,确定该分类类别的类别编码。
进一步的,该第一节点可以获取类别总数。类别总数用于表征各第一节点和第二节点的全部的类别信息中的分类类别的总数。可以将各个第一节点和第二节点的类别信息中的分类类别进行汇总,再对汇总后的分类类别进行去重,可以得到类别总数。
实际应用时,第一节点在对属于交集信息中的分类类别进行编码时,可以依据分类类别在交集信息中的顺序、类别总数,为存在于交集信息中的分类类别构建一维向量,以得到存在于交集信息中的分类类别对应的类别编码。
其中,第一节点可以构建一个长度为类别总数的一维向量,该一维向量中,位数是分类类别在交集信息中的顺序的数值为1,其他位数值为0。
通过这种方式,能够得到与分类类别对应的One-Hot编码。并且,根据分类类别在交集信息中的顺序确定类别编码,使得各个节点确定属于交集信息中的分类类别的类别编码时,编码结果相同。
实际应用时,存在于交集信息中的分类类别对应的类别编码为ej;其中,j为分类类别在交集信息中的顺序,ej是长度为类别总数的一维向量;ej中的第j位数值是1,其余数值是0。
其中,若分类类别属于交集信息,则可以直接生成该分类类别的类别编码ej。具体可以将ej的第j位数值置为1,其他数值置为0。这种方式能够快速的为属于交集信息的分类类别构建类别编码。
步骤404,若分类类别不存在于交集信息中,则根据交集信息和各差集大小,确定不存在于交集信息中的分类类别对应的类别编码。
具体的,第一节点对自身类别信息中的分类类别进行编码时,若一个分类类别不存在于交集信息,则第一节点可以根据交集信息和各差集大小,确定该分类类别对应的类别编码。
这种实施方式中,各个节点可以针对存在于交集信息中的分类类别进行编码时,能够得到相同的编码结果,从而降低联邦学习过程中的数据冗余量。针对不存在于交集信息中的分类类别进行编码时,各个节点可以根据交集信息和各差集大小确定出与不同分类类别对应的类别编码。这种实施方式能够高效的对分类类别进行编码,且可以降低数据冗余量。
进一步的,第一节点可以获取类别总数。第一节点进行类别编码的过程中,可以只获取一次类别总数。在需要使用该类别总数时,第一节点可以直接应用此前获取的类别总数。
第一节点还可以根据交集信息、当前第一节点的类别信息确定差集。比如,第一节点可以在确定差集大小时,确定自身的差集。例如,第一节点可以确定自身类别信息中包括的分类类别与交集信息中分类类别之间的差异,从而确定差集。该差集中包括的分类类别属于第一节点的类别信息,但不属于交集信息。
第一节点在确定不存在于交集信息的分类类别的类别编码时,可以依据分类类别在差集中的顺序、类别总数、交集信息、接收的差集大小,为不存在于交集信息中的分类类别构建一维向量,以得到不存在于交集信息中的分类类别对应的类别编码。
这种实施方式中,针对不存在于交集信息中的分类类别进行编码时,各个节点可以根据该分类类别在差集中的顺序,以及类别总数、交集信息、接收的差集大小进行编码,从而确定出与不同分类类别对应的类别编码,避免不同类别的编码出现重复的情况。
实际应用时,第一节点可以获取不存在于交集信息中的分类类别在差集中的顺序,再根据该分类类别的顺序、类别总数、交集信息、接收的差集大小构建一维向量。
其中,参与联邦学习的各个第一节点以及第二节点可以具有序号。比如,第二节点的序号为1,各个第一节点的序号依次为2、3…n,其中,共有n-1个第一节点参与联邦学习。
具体的,第一节点可以根据当前第一节点的序号,在接收的各差集大小中确定目标差集大小。比如,当前第一节点的序号是si,该节点接收的差集大小是序号为1-si-1、si+1到n的节点分别发送的。第一节点可以根据si确定目标差集大小。
进一步的,将序号小于当前第一节点的序号的节点发送的差集大小,确定为目标差集大小。比如,当前第一节点的序号是si,则可以将序号是1-si-1的各节点发送的差集大小确定为目标差集大小。
这种实施方式中,不同的第一节点在对不存在于交集信息的类别进行编码时,确定的目标差集大小也不同。因此,在根据目标差集大小构建不存在于交集信息的类别的一维向量时,能够确保不同第一节点构建的一维向量也不同。第二节点在对不存在于交集信息的类别进行编码时,也可以采用这种方式,从而使各个节点在根据目标差集大小构建不存在于交集信息的类别的一维向量时,在分类类别不向外暴露的情况下,能够确保构建的一维向量也不同。
实际应用时,第一节点可以根据交集信息、确定的目标差集大小、分类类别在差集中的顺序、获取的类别总数,为不存在于交集信息中的分类类别构建一维向量。
其中,为了使各个节点对分类类别进行编码时,编码结果具有一致性,本申请提供的方法中,可以根据交集信息、目标差集大小、待编码的分类类别在差集中的顺序、类别总数,确定该待编码的分类类别的编码结果。通过这种方式,能够使不存在于交集信息的类别的编码结果不同,避免不同分类类别的编码相同,造成编码错误。
具体的,对不属于交集信息中的分类类别进行编码时,可以直接基于下式确定。
类别编码确定为ej,其中,j=O+S+k;ej是长度为类别总数的一维向量,其中第j位数值是1,其余数值是0。O为交集信息中的分类类别数量,S为目标差集大小的总和,k为分类类别在差集中的顺序。
进一步的,j为交集信息中的分类类别数量、目标差集大小的总和、分类类别在差集中的顺序之和。
这种实施方式中,可以将所有的分类类别进行排序,进而可以根据分类类别的排序结果对分类类别进行编码。可以认为j是分类类别的排序结果。
具体可以将交集信息中的分类类别排在最前端,交集类别信息中的分类类别对应的j可以为其在交集信息中的顺序。各个节点也具有序号,可以将各个节点的差集按照节点序号排序。因此,属于差集中的分类类别i对应的j,为交集信息中的分类类别数量、当前第一节点之前的其他节点的差集大小的总和、分类类别i在其所属差集中的顺序之和。
这种实施方式中,可以直接根据上式确定分类类别的编码结果,从而提高编码效率。而且,这种方式能够在数据不对外暴露的情况,对各个节点的分类类别进行大排序,从而使各个节点在对分类类别进行编码时,能够尽量减少数据冗余量,还能够避免编码结果重复。
图5B为本申请一示例性实施例示出的分类类别排序的示意图。
如图5B所示,交集信息55排在最前,其中包括n个分类类别,分类类别依次排序,各个分类类别对应的j的值为1、2…n,即为其在交集信息中的顺序。
各个节点的差集56按照节点序号依次排序,差集中的分类类别对应的j为其在多有分类类别的排序结果。比如第一个第一节点的差集中,第一个分类类别为n+1。
上述任一种实施方式中,获取类别总数,包括:
接收第二节点发送的类别总数;
或者,根据交集信息和接收的各差集大小,确定类别总数。
一种实施方式中,第二节点接收到各个第一节点发送的差集大小后,可以根据自身的差集大小与接收的差集大小,确定出类别总数。该类别总数为交集信息与各个节点的差集中的类别总数。比如,交集信息中包括5个类别,第二节点的差集中包括2个类别,两个第一节点的差集中分别包括3个类别、4个类别,则类别总数为14。
这种实施方式中,仅需要第二节点确定类别总数即可,无需参与联邦学习的节点都确定类别总数,从而降低各个节点整体的数据处理量。
另一种实施方式中,第一节点可以根据交集信息和接收的各差集大小,确定类别总数。第一节点可以根据交集信息确定交集大小,还可以根据自身的差集确定自身差集大小,第一节点可以将交集大小、自身差集大小与接收的各个差集大小之和,作为类别总数。
这种实施方式中,各个第一节点可以基于当前接收的数据确定类别总数,能够减少各个节点之间的交互次数,进一步的减小数据泄露的可能性。
图6为本申请第三示例性实施例示出的类别编码方法的流程示意图。
本申请提供的类别编码方法应用于联邦学习中的第二节点,第一节点和第二节点参与联邦学习。
联邦学习的示意图请参见图3A。
如图6所示,本申请提供的类别编码方法,包括:
步骤601,基于私密求交集协议接收第一节点发送的类别信息。
本申请提供的方法由第二节点执行,第二节点例如可以是参加联邦学习的电子设备。该电子设备例如可以是计算机。
其中,第一节点与第二节点之间通过私密求交集协议(Private SetIntersection PSI)交互。
私密求交集协议允许持有各自集合的两方来共同计算两个集合的交集运算。在协议交互的最后,一方或是两方应该得到正确的交集,而且不会得到交集以外另一方集合中的任何信息。
具体的,各个节点可以将类别信息作为私密求交集协议的输入,其中,第一节点输入的类别信息可以被发送到第二节点处。
步骤602,基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息。
第二节点可以基于私密求交集协议确定接收的这些类别信息与自身类别信息的交集信息。得到的交集信息是各个节点的类别信息中的分类类别的交集。
比如,存在两个第一节点、一个第二节点。其中一个第一节点的类别信息是A、B、C1;另一个第一节点的类别信息是A、B、C2;第二节点的类别信息是A、B。则这三个节点的交集信息包括类别A、B。
步骤603,将交集信息发送给各个第一节点,并根据交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。
进一步的,第二节点确定出交集信息后,可以将交集信息同步给其他各个第一节点。这种实施方式中,除了各个节点之间的交集类别,节点中的其他信息不向外暴露,从而能够保护数据不被泄露。
实际应用时,第二节点确定出各个节点的交集信息之后,可以将交集信息发送给各个第一节点。各个第一节点、第二节点都可以根据交集信息确定类别编码。
其中,第二节点确定出交集信息后,可以根据交集信息确定自身类别信息中每一类别对应的类别编码。类别信息中包括多个分类类别,第二节点都可以根据交集信息确定自身类别信息中,各个分类类别的类别编码。
具体的,第二节点可以逐一对自身类别信息中的分类类别进行编码。
第二节点可以获取自身类别信息中的一个分类类别,判断其是否属于交集信息。若属于,则可以根据该分类类别在交集信息中的顺序确定类别编码。
若分类类别不属于交集信息,则第二节点可以基于自身的编码规则对分类类别进行编码。
这种实施方式中,若分类类别属于交集信息,则各个节点确定的与分类类别对应的类别编码相同,从而能够降低数据冗余量。
进一步的,在联邦学习中可以采用one-hot(一位有效编码)编码方式。
One-Hot编码,又称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码,每个状态都有他独立的寄存器位,并且在任意时候只有一位有效。编码结果的长度为N,这N位数中,只有一位数值为1,其他位数值为0。
实际应用时,若分类类别属于交集信息,则可以获取该分类类别在交集信息中的顺序n,在对该分类类别进行编码时,可以将第n位设置为有效位,也就是第n位为1,其他位是0。
本申请提供的类别编码方法,应用于联邦学习中的第二节点,第一节点和第二节点参与联邦学习,方法包括:基于私密求交集协议接收第一节点发送的类别信息;基于私密求交集协议确定自身类别信息与接收的各类别信息之间的交集信息;将交集信息发送给各个第一节点,并根据交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。本申请提供的类别编码方法中,各个节点对属于交集信息的分类类别的编码结果相同,从而可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。
图7为本申请第四示例性实施例示出的类别编码方法的流程示意图。
如图7所示,本申请提供的类别编码方法,包括:
步骤701,基于私密求交集协议接收一个第一节点发送的类别信息。
步骤702,基于私密求交集协议确定接收的所述类别信息与目标信息之间交集信息。
步骤702之后,继续执行步骤701,直到接收全部的第一节点发送的所述类别信息为止。
其中,第一次确定交集信息时使用的所述目标信息为所述第二节点自身的类别信息,再次确定交集信息时使用的所述目标信息为上一次确定的交集信息。
本申请提供的方法由第二节点执行,第二节点例如可以是参加联邦学习的电子设备。该电子设备例如可以是计算机。
其中,第一节点与第二节点之间通过私密求交集协议(Private SetIntersection PSI)交互。
实际应用时,当存在多个第一节点时,第二节点还可以与其中一个第一节点通过私密求交集协议确定交集信息,第二节点再与另一个第一节点再通过私密求交集协议,确定当前的交集信息与该第一节点的类别信息确定交集信息,以此类推,能够确定出最终的交集信息。
具体的,第二节点在接收到一个节点发送的类别信息后,可以将自身的类别信息作为目标信息,并根据接收的类别信息、目标信息确定交集信息。此后,第二节点将当前确定的交集信息作为目标信息,并再次接收其他第一节点发送的类别信息,第二节点再次确定接收的类别信息与目标信息之间交集信息。直到对每个第一节点发送的类别信息都处理完为止,确定出最终的交集信息。
步骤703,将交集信息发送给各个第一节点。
步骤703与步骤603中向各个第一节点发送交集信息的方式类似,不再赘述。
步骤704,接收各个第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小。
其中,参加联邦学习的各个第一节点都可以接收第二节点发送的交集信息,并可以根据接收的交集信息确定差集大小。
具体的,各个第一节点可以确定自身类别信息与接收的交集信息之间的差集。比如,一个第一节点的类别信息包括分类类别A、B、C、D,交集信息中包括分类类别A、B,则该第一节点能够确定出包括类别C、D的差集。
进一步的,差集大小是指差集中分类类别的数量。比如差集包括类别C和D,则差集大小为2。
其中,参与联邦学习的各个第一节点可以向第二节点发送确定出的差集大小,从而使第二节点能够接收到各个第一节点发送的差集大小。
步骤705,若分类类别存在于交集信息中,则根据分类类别在交集信息中的顺序,确定存在于交集信息中的分类类别对应的类别编码。
具体的,第二节点在对分类类别进行编码时,可以确定一个分类类别是否存在于交集信息中。若存在,则可以根据分类类别在交集信息中的顺序,确定该分类类别的类别编码。
进一步的,第二节点可以获取类别总数,其中,类别总数表征各第一节点和第二节点的全部的类别信息中的分类类别的总数。可以将各个第一节点和第二节点的类别信息中的分类类别进行汇总,再对汇总后的分类类别进行去重,可以得到类别总数。
实际应用时,第二节点在对属于交集信息中的分类类别进行编码时,可以依据分类类别在交集信息中的顺序、类别总数,为存在于交集信息中的分类类别构建一维向量,以得到存在于交集信息中的分类类别对应的类别编码。
其中,第二节点可以构建一个长度为类别总数的一维向量,该一维向量中,位数是分类类别在交集信息中的顺序的数值为1,其他位数值为0。
通过这种方式,能够得到与分类类别对应的One-Hot编码。并且,根据分类类别在交集信息中的顺序确定类别编码,使得各个节点确定属于交集信息中的分类类别的类别编码时,编码结果相同。
其中,存在于交集信息中的分类类别对应的类别编码为ej;其中,j为分类类别在交集信息中的顺序,ej是长度为类别总数的一维向量;ej中的第j位数值是1,其余数值是0。
其中,若分类类别属于交集信息,则可以直接生成该分类类别的类别编码ej。具体可以将ej的第j位数值置为1,其他数值置为0。这种方式能够快速的为属于交集信息的分类类别构建类别编码。
步骤706,若分类类别不存在于交集信息中,则根据交集信息和各差集大小,确定不存在于交集信息中的分类类别对应的类别编码。
具体的,第二节点对自身类别信息中的分类类别进行编码时,若一个分类类别不存在于交集信息,则第二节点可以根据交集信息和各差集大小,确定该分类类别对应的类别编码。
这种实施方式中,各个节点可以针对存在于交集信息中的分类类别进行编码时,能够得到相同的编码结果,从而降低联邦学习过程中的数据冗余量。针对不存在于交集信息中的分类类别进行编码时,各个节点可以根据交集信息和各差集大小确定出与不同分类类别对应的类别编码。这种实施方式能够高效的对分类类别进行编码,且可以降低数据冗余量。
进一步的,第二节点可以获取类别总数。第二节点进行类别编码的过程中,可以只获取一次类别总数。在需要使用该类别总数时,第二节点可以直接应用此前获取的类别总数。
第二节点还可以根据交集信息、第二节点的类别信息确定差集。比如,第二节点可以在确定差集大小时,确定自身的差集。例如,第二节点可以确定自身类别信息中包括的分类类别与交集信息中分类类别之间的差异,从而确定差集。该差集中包括的分类类别属于第二节点的类别信息,但不属于交集信息。
第二节点在确定不存在于交集信息的分类类别的类别编码时,可以依据分类类别在差集中的顺序、类别总数、交集信息、接收的差集大小,为不存在于交集信息中的分类类别构建一维向量,以得到不存在于交集信息中的分类类别对应的类别编码。
这种实施方式中,针对不存在于交集信息中的分类类别进行编码时,各个节点可以根据该分类类别在差集中的顺序,以及类别总数、交集信息、接收的差集大小进行编码,从而确定出与不同分类类别对应的类别编码,避免不同类别的编码出现重复的情况。
实际应用时,第二节点可以获取不存在于交集信息中的分类类别在差集中的顺序,再根据该分类类别的顺序、类别总数、交集信息、接收的差集大小构建一维向量。
其中,参与联邦学习的各个第一节点、第二节点可以具有序号。比如,第二节点的序号为si,各个第一节点的序号依次为1、2…si…n,其中,共有n-1个第一节点参与联邦学习。
具体的,第二节点可以根据第二节点的序号,在接收的各差集大小中确定目标差集大小。比如,第二节点的序号是si,该节点接收的差集大小是序号为1-si-1、si+1到n的节点分别发送的。第一节点可以根据si确定目标差集大小。
进一步的,将序号小于第二节点的序号的节点发送的差集大小,确定为目标差集大小。比如,第二节点的序号是si,则可以将序号是1-si-1的各第一节点发送的差集大小确定为目标差集大小。
第一节点在对不存在于交集信息的类别进行编码时,也可以采用这种方式。这种实施方式中,各个节点在对不存在于交集信息的类别进行编码时,确定的目标差集大小也不同。因此,在根据目标差集大小构建不存在于交集信息的类别的一维向量时,能够确保不同节点构建的一维向量也不同,从而使各个节点在根据目标差集大小构建不存在于交集信息的类别的一维向量时,在分类类别不向外暴露的情况下,能够确保构建的一维向量也不同。
实际应用时,第二节点可以根据交集信息、目标差集大小、分类类别在差集中的顺序、类别总数,为不存在于交集信息中的分类类别构建一维向量。
其中,为了使各个节点对分类类别进行编码时,编码结果具有一致性,本申请提供的方法中,可以根据交集信息、目标差集大小、待编码的分类类别在差集中的顺序、类别总数,确定该待编码的分类类别的编码结果。通过这种方式,能够使不存在于交集信息的类别的编码结果不同,避免不同分类类别的编码相同,造成编码错误。
具体的,对不属于交集信息中的分类类别进行编码时,可以直接基于下式确定。
类别的类别编码确定为ej,其中,j=O+S+k;ej是长度为类别总数的一维向量,其中第j位数值是1,其余数值是0;O为交集信息中的分类类别数量,S为目标差集大小的总和,k为分类类别在差集中的顺序。
进一步的,j为交集信息中的分类类别数量、目标差集大小的总和、分类类别在差集中的顺序之和。
这种实施方式中,可以将所有的分类类别进行排序,进而可以根据分类类别的排序结果对分类类别进行编码。可以认为j是分类类别的排序结果。
具体可以将交集信息中的分类类别排在最前端,交集类别信息中的分类类别对应的j可以为其在交集信息中的顺序。各个节点也具有序号,可以将各个节点的差集按照节点序号排序。因此,属于差集中的分类类别i对应的j,为交集信息中的分类类别数量、第二节点之前的其他节点的差集大小的总和、分类类别i在其所属差集中的顺序之和。
这种实施方式中,可以直接根据上式确定分类类别的编码结果,从而提高编码效率。而且,这种方式能够在数据不对外暴露的情况,对各个节点的分类类别进行大排序,从而使各个节点在对分类类别进行编码时,能够尽量减少数据冗余量,还能够避免编码结果重复。
上述任一种实施方式中,所述获取类别总数,包括:
根据所述交集信息和接收的各所述差集大小,确定所述类别总数
第二节点可以根据交集信息确定交集大小,还可以根据自身的差集确定自身差集大小,第二节点可以将交集大小、自身差集大小与接收的各个差集大小之和,作为类别总数。
图8为本申请第一示例性实施例示出的类别编码装置的结构示意图。
如图8所示,本申请提供的类别编码装置800,所述装置800应用于联邦学习中的第一节点,所述第一节点和第二节点参与联邦学习,所述装置800包括:
接收单元810,用于接收第二节点发送的交集信息,其中,所述交集信息是通过私密求交集协议得到的各第一节点的类别信息和所述第二节点的类别信息之间的交集,所述类别信息具有多个分类类别;
编码单元820,用于根据所述交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。
本申请提供的类别编码装置,装置应用于联邦学习中的第一节点,第一节点和第二节点参与联邦学习,装置包括:接收单元,用于接收第二节点发送的交集信息,其中,交集信息是通过私密求交集协议得到的各第一节点的类别信息和第二节点的类别信息之间的交集,类别信息具有多个分类类别;编码单元,用于根据交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码。本申请提供的类别编码装置中,各个节点对属于交集信息的分类类别的编码结果相同,从而可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。
本申请提供的装置与图2所示出的方法的实现原理、方式类似,不再赘述。
图9为本申请第二示例性实施例示出的类别编码装置的结构示意图。
如图9所示,在图8所示的实施例的基础上,本申请提供的装置900,其中,编码单元820,包括:第一编码模块821、第二编码模块822;
所述第一编码模块821用于若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述接收单元810还用于:接收所述第二节点和/或其他第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
所述第二编码模块822用于根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,所述第一编码模块821,包括:
第一获取子模块8211,用于获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
第一编码子模块8212,用于依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,存在于所述交集信息中的分类类别对应的类别编码为ej
其中,j为分类类别在所述交集信息中的顺序,ej是长度为所述类别总数的一维向量;ej中的第j位数值是1,其余数值是0。
在一种可选的实施方式中,其中,第二编码模块822,包括:
第二获取子模块8221,用于获取类别总数;
差集子模块8222,用于根据所述交集信息、当前第一节点的类别信息确定差集;
第二编码子模块8223,用于依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,所述第一节点、所述第二节点具有序号;
所述第二编码子模块8223具体用于:
根据当前第一节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
在一种可选的实施方式中,其中,所述第二编码子模块8223具体用于:
将序号小于当前第一节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
在一种可选的实施方式中,其中,所述类别的类别编码确定为ej,其中,j=O+S+k;ej是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
在一种可选的实施方式中,其中,所述第一获取子模块8211或第二获取子模块8221具体用于:
接收所述第二节点发送的所述类别总数;
或者,根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
图10为本申请第三示例性实施例示出的类别编码装置的结构示意图。
如图10所示,本申请提供的类别编码装置1000,应用于联邦学习中的第二节点,所述第一节点和第二节点参与联邦学习,所述装置1000包括:
接收单元1010,用于基于私密求交集协议接收第一节点发送的类别信息;
交集确定单元1020,用于基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息;
发送单元1030,用于将所述交集信息发送给各个所述第一节点;
编码单元1040,用于根据所述交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。
本申请提供的类别编码装置应用于联邦学习中的第二节点,第一节点和第二节点参与联邦学习,装置包括:接收单元,用于基于私密求交集协议接收第一节点发送的类别信息;交集确定单元,用于基于私密求交集协议确定自身类别信息与接收的各类别信息之间的交集信息;发送单元,用于将交集信息发送给各个第一节点;编码单元,用于根据交集信息确定第二节点的类别信息中每一分类类别对应的类别编码。本申请提供的类别编码装置中,各个节点对属于交集信息的分类类别的编码结果相同,从而可以在不对外暴露类别信息的情况下,降低联邦学习中类别编码的数据冗余。
本申请提供的装置与图4所示出的方法的实现原理、方式类似,不再赘述。
图11为本申请第四示例性实施例示出的类别编码装置的结构示意图。
如图11所示,在上述实施例基础上,本申请提供的装置1100,其中,所述接收单元1010具体用于基于私密求交集协议接收一个第一节点发送的类别信息;
所述交集确定单元1020具体用于基于私密求交集协议确定接收的所述类别信息与目标信息之间交集信息;
所述接收单元1010继续执行接收第一节点发送的类别信息的步骤,直到接收全部的第一节点发送的所述类别信息为止;其中,第一次确定交集信息时使用的所述目标信息为所述第二节点自身的类别信息,再次确定交集信息时使用的所述目标信息为上一次确定的交集信息。
在一种可选的实施方式中,其中,编码单元1040包括第一编码模块1041、第二编码模块1042;
所述第一编码模块1041用于若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述接收单元1010还用于接收各个第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
所述第二编码模块1042用于根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,所述第一编码模块1041,包括:
第一获取子模块10411,用于获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
第一编码子模块10412,用于依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,存在于所述交集信息中的分类类别对应的类别编码为ej
其中,j为分类类别在所述交集信息中的顺序,ej是长度为所述类别总数的一维向量;ej中的第j位数值是1,其余数值是0。
在一种可选的实施方式中,其中,所述第二编码模块1042,包括:
第二获取子模块10421,用于获取类别总数;
差集子模块10422,用于根据所述交集信息、第二节点的类别信息确定差集;
第二编码子模块10423,用于依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
在一种可选的实施方式中,其中,所述第一节点、所述第二节点具有序号;
所述第二编码子模块10423具体用于:
根据第二节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
在一种可选的实施方式中,其中,所述第二编码子模块10423具体用于:
将序号小于第二节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
在一种可选的实施方式中,其中,所述类别的类别编码确定为ej,其中,j=O+S+k;ej是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
在一种可选的实施方式中,其中,所述第一获取子模块10411和/或第二获取子模块10421,具体用于:
根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
一种可选的实施方式中,本申请还提供一种计算机程序产品,包括计算机程序,计算机程序储存在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图12所示,是根据本申请实施例的类别编码方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示,该电子设备1200包括:一个或多个处理器1201、存储器1202,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器1201为例。
存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的类别编码方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的类别编码方法。
存储器1202作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的类别编码方法对应的程序指令/模块(例如,附图8所示的接收单元810、编码单元820,再例如图10中的接收单元1010、交集确定单元1020、发送单元1030、编码单元1040)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的类别编码方法。
存储器1202可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据类别编码电子设备1200的使用所创建的数据等。此外,存储器1202可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1202可选包括相对于处理器1201远程设置的存储器,这些远程存储器可以通过网络连接至类别编码电子设备1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
类别编码的电子设备1200还可以包括:输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接,图12中以通过总线连接为例。
输入装置1203可接收输入的数字或字符信息,以及产生与类别编码的电子设备1200的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (36)

1.一种类别编码方法,所述方法应用于联邦学习中的第一节点,所述第一节点和第二节点参与联邦学习,所述方法包括:
接收第二节点发送的交集信息,其中,所述交集信息是通过私密求交集协议得到的各第一节点的类别信息和所述第二节点的类别信息之间的交集,所述类别信息具有多个分类类别;
若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述方法还包括:接收所述第二节点和/或其他第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
2.根据权利要求1所述的方法,其中,根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码,包括:
获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
3.根据权利要求2所述的方法,其中,存在于所述交集信息中的分类类别对应的类别编码为
其中,j为分类类别在所述交集信息中的顺序,是长度为所述类别总数的一维向量;中的第j位数值是1,其余数值是0。
4.根据权利要求1所述的方法,其中,根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码,包括:
获取类别总数;
根据所述交集信息、当前第一节点的类别信息确定差集;
依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
5.根据权利要求4所述的方法,其中,所述第一节点、所述第二节点具有序号;
所述依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,包括:
根据当前第一节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
6.根据权利要求5所述的方法,其中,根据当前第一节点的序号,在所述差集大小中确定目标差集大小,包括:
将序号小于当前第一节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
7.根据权利要求5所述的方法,其中,
所述类别的类别编码确定为,其中,/>;/>是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
8.根据权利要求2或4所述的方法,其中,所述获取类别总数,包括:
接收所述第二节点发送的所述类别总数;
或者,根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
9.一种类别编码方法,所述方法应用于联邦学习中的第二节点,所述第二节点和第一节点参与联邦学习,所述方法包括:
基于私密求交集协议接收第一节点发送的类别信息;
基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息,所述类别信息具有多个分类类别;
将所述交集信息发送给各个所述第一节点;
若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述方法还包括:接收各个第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
10.根据权利要求9所述的方法,其中,基于私密求交集协议接收第一节点发送的类别信息;基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息,包括:
基于私密求交集协议接收一个第一节点发送的类别信息;
基于私密求交集协议确定接收的所述类别信息与目标信息之间交集信息;
继续执行接收第一节点发送的类别信息的步骤,直到接收全部的第一节点发送的所述类别信息为止;其中,第一次确定交集信息时使用的所述目标信息为所述第二节点自身的类别信息,再次确定交集信息时使用的所述目标信息为上一次确定的交集信息。
11.根据权利要求9所述的方法,其中,根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码,包括:
获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
12.根据权利要求11所述的方法,其中,存在于所述交集信息中的分类类别对应的类别编码为
其中,j为分类类别在所述交集信息中的顺序,是长度为所述类别总数的一维向量;中的第j位数值是1,其余数值是0。
13.根据权利要求10所述的方法,其中,根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码,包括:
获取类别总数;
根据所述交集信息、第二节点的类别信息确定差集;
依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
14.根据权利要求13所述的方法,其中,所述第一节点、所述第二节点具有序号;
所述依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,包括:
根据第二节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
15.根据权利要求14所述的方法,其中,根据第二节点的序号,在所述差集大小中确定目标差集大小,包括:
将序号小于第二节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
16.根据权利要求14所述的方法,其中,
所述类别的类别编码确定为,其中,/>;/>是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
17.根据权利要求11或13所述的方法,其中,所述获取类别总数,包括:
根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
18.一种类别编码装置,所述装置应用于联邦学习中的第一节点,所述第一节点和第二节点参与联邦学习,所述装置包括:
接收单元,用于接收第二节点发送的交集信息,其中,所述交集信息是通过私密求交集协议得到的各第一节点的类别信息和所述第二节点的类别信息之间的交集,所述类别信息具有多个分类类别;
编码单元,用于根据所述交集信息,确定当前第一节点的类别信息中每一分类类别对应的类别编码;
其中,编码单元,包括:第一编码模块、第二编码模块;
所述第一编码模块用于若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述接收单元还用于:接收所述第二节点和/或其他第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
所述第二编码模块用于根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
19.根据权利要求18所述的装置,其中,所述第一编码模块,包括:
第一获取子模块,用于获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
第一编码子模块,用于依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
20.根据权利要求19所述的装置,其中,存在于所述交集信息中的分类类别对应的类别编码为
其中,j为分类类别在所述交集信息中的顺序,是长度为所述类别总数的一维向量;中的第j位数值是1,其余数值是0。
21.根据权利要求18所述的装置,其中,第二编码模块,包括:
第二获取子模块,用于获取类别总数;
差集子模块,用于根据所述交集信息、当前第一节点的类别信息确定差集;
第二编码子模块,用于依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
22.根据权利要求21所述的装置,其中,所述第一节点、所述第二节点具有序号;
所述第二编码子模块具体用于:
根据当前第一节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
23.根据权利要求22所述的装置,其中,所述第二编码子模块具体用于:
将序号小于当前第一节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
24.根据权利要求22所述的装置,其中,
所述类别的类别编码确定为,其中,/>;/>是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
25.根据权利要求19或21所述的装置,其中,所述获取类别总数,包括:
接收所述第二节点发送的所述类别总数;
或者,根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
26.一种类别编码装置,所述装置应用于联邦学习中的第二节点,所述第二节点和第一节点参与联邦学习,所述装置包括:
接收单元,用于基于私密求交集协议接收第一节点发送的类别信息;
交集确定单元,用于基于私密求交集协议确定自身类别信息与接收的各所述类别信息之间的交集信息;
发送单元,用于将所述交集信息发送给各个所述第一节点;
编码单元,用于根据所述交集信息确定第二节点的类别信息中每一分类类别对应的类别编码;
其中,编码单元包括第一编码模块、第二编码模块;
所述第一编码模块用于若分类类别存在于所述交集信息中,则根据分类类别在所述交集信息中的顺序,确定存在于所述交集信息中的分类类别对应的类别编码;
若分类类别不存在于所述交集信息中,则所述接收单元还用于接收各个第一节点发送的差集大小;其中,所述差集大小是所述交集信息与类别信息之间的差集的大小;
所述第二编码模块用于根据所述交集信息和各所述差集大小,确定不存在于所述交集信息中的分类类别对应的类别编码。
27.根据权利要求26所述的装置,其中,所述接收单元具体用于基于私密求交集协议接收一个第一节点发送的类别信息;
所述交集确定单元具体用于基于私密求交集协议确定接收的所述类别信息与目标信息之间交集信息;
所述接收单元继续执行接收第一节点发送的类别信息的步骤,直到接收全部的第一节点发送的所述类别信息为止;其中,第一次确定交集信息时使用的所述目标信息为所述第二节点自身的类别信息,再次确定交集信息时使用的所述目标信息为上一次确定的交集信息。
28.根据权利要求26所述的装置,其中,所述第一编码模块,包括:
第一获取子模块,用于获取类别总数,其中,所述类别总数表征各第一节点和所述第二节点的全部的类别信息中的分类类别的总数;
第一编码子模块,用于依据分类类别在所述交集信息中的顺序、所述类别总数,为存在于所述交集信息中的分类类别构建一维向量,以得到存在于所述交集信息中的分类类别对应的类别编码。
29.根据权利要求28所述的装置,其中,存在于所述交集信息中的分类类别对应的类别编码为
其中,j为分类类别在所述交集信息中的顺序,是长度为所述类别总数的一维向量;中的第j位数值是1,其余数值是0。
30.根据权利要求26所述的装置,其中,所述第二编码模块,包括:
第二获取子模块,用于获取类别总数;
差集子模块,用于根据所述交集信息、第二节点的类别信息确定差集;
第二编码子模块,用于依据分类类别在所述差集中的顺序、所述类别总数、所述交集信息、接收的所述差集大小,为不存在于所述交集信息中的分类类别构建一维向量,以得到不存在于所述交集信息中的分类类别对应的类别编码。
31.根据权利要求30所述的装置,其中,所述第一节点、所述第二节点具有序号;
所述第二编码子模块具体用于:
根据第二节点的序号,在所述差集大小中确定目标差集大小;
根据所述交集信息、所述目标差集大小、所述分类类别在所述差集中的顺序、所述类别总数,为不存在于所述交集信息中的分类类别构建一维向量。
32.根据权利要求31所述的装置,其中,所述第二编码子模块具体用于:
将序号小于第二节点的序号的节点发送的所述差集大小,确定为所述目标差集大小。
33.根据权利要求31所述的装置,其中,
所述类别的类别编码确定为,其中,/>;/>是长度为所述类别总数的一维向量,其中第j位数值是1,其余数值是0;
O为所述交集信息中的分类类别数量,S为所述目标差集大小的总和,k为所述分类类别在所述差集中的顺序。
34.根据权利要求28或30所述的装置,其中,所述获取类别总数,包括:
根据所述交集信息和接收的各所述差集大小,确定所述类别总数。
35. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8或9-17中任一项所述的方法。
36.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-8或9-17中任一项所述的方法。
CN202011531000.6A 2020-12-22 2020-12-22 类别编码方法、装置、设备、存储介质及程序产品 Active CN112598139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011531000.6A CN112598139B (zh) 2020-12-22 2020-12-22 类别编码方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011531000.6A CN112598139B (zh) 2020-12-22 2020-12-22 类别编码方法、装置、设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN112598139A CN112598139A (zh) 2021-04-02
CN112598139B true CN112598139B (zh) 2023-08-18

Family

ID=75200679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011531000.6A Active CN112598139B (zh) 2020-12-22 2020-12-22 类别编码方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN112598139B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117424765B (zh) * 2023-12-19 2024-03-22 天津医康互联科技有限公司 分布式独热编码方法、装置、电子设备及计算机存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815992A (zh) * 2007-08-17 2010-08-25 开放界面北美公司 编码和/或解码数字内容
CN108345943A (zh) * 2018-02-08 2018-07-31 重庆理工大学 一种基于嵌入编码与对比学习的机器学习识别方法
CN109657846A (zh) * 2018-12-04 2019-04-19 国网浙江省电力有限公司经济技术研究院 电网交叉补贴规模影响因子筛选方法
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术(上海)有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
WO2020022639A1 (ko) * 2018-07-18 2020-01-30 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치
CN111241285A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 问题回答类型的识别方法、装置、设备及存储介质
CN111259443A (zh) * 2020-01-16 2020-06-09 百融云创科技股份有限公司 一种基于psi技术保护联邦学习预测阶段隐私的方法
CN111582645A (zh) * 2020-04-09 2020-08-25 上海淇毓信息科技有限公司 基于因子分解机的app风险评估方法、装置和电子设备
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技(深圳)有限公司 联邦学习方法、装置、设备和存储介质
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3784139A4 (en) * 2018-04-27 2021-12-29 Delphinus Medical Technologies, Inc. System and method for feature extraction and classification on ultrasound tomography images
US11070575B2 (en) * 2019-03-06 2021-07-20 Cisco Technology, Inc. Verifying accuracy of ML pipelines using third party co-ordination

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815992A (zh) * 2007-08-17 2010-08-25 开放界面北美公司 编码和/或解码数字内容
CN108345943A (zh) * 2018-02-08 2018-07-31 重庆理工大学 一种基于嵌入编码与对比学习的机器学习识别方法
WO2020022639A1 (ko) * 2018-07-18 2020-01-30 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치
CN109657846A (zh) * 2018-12-04 2019-04-19 国网浙江省电力有限公司经济技术研究院 电网交叉补贴规模影响因子筛选方法
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术(上海)有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN111241285A (zh) * 2020-01-15 2020-06-05 北京百度网讯科技有限公司 问题回答类型的识别方法、装置、设备及存储介质
CN111259443A (zh) * 2020-01-16 2020-06-09 百融云创科技股份有限公司 一种基于psi技术保护联邦学习预测阶段隐私的方法
CN111582645A (zh) * 2020-04-09 2020-08-25 上海淇毓信息科技有限公司 基于因子分解机的app风险评估方法、装置和电子设备
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技(深圳)有限公司 联邦学习方法、装置、设备和存储介质
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习编码模型的图像分类方法;赵永威;李婷;蔺博宇;;工程科学与技术(第01期);第213-220页 *

Also Published As

Publication number Publication date
CN112598139A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
EP3869403A2 (en) Image recognition method, apparatus, electronic device, storage medium and program product
KR102528748B1 (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
CN111523001B (zh) 用于存储数据的方法、装置、设备以及存储介质
US20210209417A1 (en) Method and apparatus for generating shared encoder
CN111861955A (zh) 构建图像编辑模型的方法以及装置
CN111967297B (zh) 图像的语义分割方法、装置、电子设备及介质
CN111767321B (zh) 节点关系网络的确定方法、装置、电子设备和存储介质
CN111695517A (zh) 图像的表格提取方法、装置、电子设备及存储介质
CN113762328B (zh) 基于联邦学习的模型训练方法、装置、设备以及存储介质
CN112598139B (zh) 类别编码方法、装置、设备、存储介质及程序产品
CN112529180A (zh) 模型蒸馏的方法和装置
CN111680597A (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质
CN111832070B (zh) 数据的掩码方法、装置、电子设备和存储介质
CN111950272B (zh) 文本相似度的生成方法、装置及电子设备
CN113037489A (zh) 数据处理方法、装置、设备和存储介质
CN111177479A (zh) 获取关系网络图中节点的特征向量的方法以及装置
CN114417856B (zh) 文本的稀疏编码方法、装置及电子设备
US11632552B2 (en) Method and apparatus for coding video, device and medium
CN112559497B (zh) 一种数据处理方法、一种信息传输方法、装置及电子设备
CN114359015A (zh) 数据传输方法、装置和图形处理服务器
CN111125362B (zh) 一种异常文本确定方法、装置、电子设备和介质
CN115186738A (zh) 模型训练方法、装置和存储介质
CN111737404A (zh) 数据处理方法、装置、设备和计算机存储介质
US11954449B2 (en) Method for generating conversation reply information using a set of historical conversations, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant