CN113704256B - 数据识别方法、装置、电子设备及存储介质 - Google Patents
数据识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113704256B CN113704256B CN202110897839.XA CN202110897839A CN113704256B CN 113704256 B CN113704256 B CN 113704256B CN 202110897839 A CN202110897839 A CN 202110897839A CN 113704256 B CN113704256 B CN 113704256B
- Authority
- CN
- China
- Prior art keywords
- data
- candidate
- features
- nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据识别方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及云计算、大数据处理等人工智能技术领域。具体实现方案为:获取参考数据,并获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系,从多个数据查找树之中,识别出与参考数据对应的目标数据查找树,以及将目标数据查找树中的多个候选数据作为数据识别结果,能够有效降低数据识别的时间复杂度,有效地提升数据识别效率,有效地提升数据识别效果。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及云计算、大数据处理等人工智能技术领域,具体涉及一种数据识别方法、装置、电子设备及存储介质。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术,以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
相关技术中,通常是以大数据为依托,采用人工方式对具有关联关系的数据进行追踪梳理,并通过主动汇报的方式识别具有关联关系的数据。
发明内容
本公开提供了一种数据识别方法、装置、电子设备、存储介质以及计算机程序产品。
根据本公开的第一方面,提供了一种数据识别方法,包括:获取参考数据;获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系;从多个数据查找树之中,识别出与参考数据对应的目标数据查找树;以及将目标数据查找树中的多个候选数据作为数据识别结果。
根据本公开的第二方面,提供了一种数据识别装置,包括:第一获取模块,用于获取参考数据;第二获取模块,用于获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系;识别模块,用于从多个数据查找树之中,识别出与参考数据对应的目标数据查找树;以及处理模块,用于将目标数据查找树中的多个候选数据作为数据识别结果。
根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开实施例的数据识别方法。
根据本公开的第四方面,提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本公开实施例公开的数据识别方法。
根据本公开的第五方面,提出了一种计算机程序产品,包括计算机程序,当计算机程序由处理器执行时实现本公开实施例公开的数据识别方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是本公开实施例中加权的并查集quick-union算法的示意图;
图4是本公开实施例中构建数据查找树的流程示意图;
图5是根据本公开第三实施例的示意图;
图6是根据本公开第四实施例的示意图;
图7是根据本公开第五实施例的示意图;
图8示出了可以用来实施本公开的实施例的数据识别方法的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开第一实施例的示意图。
其中,需要说明的是,本实施例的数据识别方法的执行主体为数据识别装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
本公开实施例涉及云计算、大数据处理等人工智能技术领域。
其中,人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
云计算(Cloud Computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
而大数据处理,是指采用人工智能的方式对规模巨大的数据进行分析以及处理的过程,而大数据可以概括为5个V,数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。
如图1所示,该数据识别方法包括:
S101:获取参考数据。
本公开实施例的应用场景可以例如为:从海量数据中,识别出与参考数据具有关联关系的数据,该关联关系,可以具体例如是数据之间的特征维度的关联关系,或者是数据所属的主体之间的关联关系,或者,是数据包含的语义维度的关联关系,或者也可以是数据所表征的二维平面或者三维空间中位置信息之间的关联关系,或者,也可以是数据在其所属社会网络中与其它数据之间的社交关联关系,也可以是其它任意可能形式的关联关系,对此不做限制。
其中,当前待识别与其存在关联关系数据的待识别数据,可以被称为参考数据,参考数据可以具体例如为人脸数据、定位数据、移动轨迹等,对此不做限制。
其中,当参考数据是人脸数据、定位数据、移动轨迹时,其获取均是在符合相关法律、法规的情况下获取的,例如前述数据可以是来自于公开数据集处,还可以是经过相关用户授权后从相关用户处获取的。
需要说明的是,上述人脸数据、定位数据、移动轨迹并不是针对某一特定用户获取的数据,并不能反映出某一特定用户的个人信息。
其中,参考数据的数量可以为一个或者多个,对此不做限制。
本公开在获取参考数据时,可以从已授权获取的第三方的数据存储平台获取参考数据,或者,也可以从其它任意已授权获取的云平台,获取参考数据,对此不做限制。
S102:获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系。
上述在获取参考数据后,可以获取数据查找森林,数据查找森林可以辅助用于识别与参考数据存在一定关联关系(该一定关联关系,即可以是上述示例中的任一种关联关系)的数据。
其中,数据查找森林包括:多个数据查找树,多个查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系(该设定关联关系,即可以是上述示例中的任一种关联关系)。
该设定关联关系,可以是预先配置的,具体可以根据数据识别方法所实际应用的场景自适应配置,对此不做限制。
一些实施例中,获取数据查找森林,可以是将多个候选数据分别存储到对应的多个结点中,通过分析结点中存储的候选数据之间是否具有设定关联关系,而后,根据具有该设定关联关系的部分候选数据来构建一个或者多个的数据查找树,并由多个数据查找树构成数据查找森林。
当然,也可以采用其它任意可能的方式获取数据查找森林,例如数学运算的方式,模型预测的方式等,对此不做限制。
S103:从多个数据查找树之中,识别出与参考数据对应的目标数据查找树。
上述在获取数据查找树后,可以从多个数据查找树之中,识别出与参考数据对应的数据查找树,该数据查找树即可以被称为目标数据查找树。
一些实施例中,从多个数据查找树中,识别出与参考数据对应的目标数据查找树,可以是从多个数据查找树的多个结点中,识别出用于存储参考数据的结点,通过确定用于存储参考数据的结点所属的数据查找树,并将其作为目标查找树,或者,也可以采用其它任意可能的方法从多个数据查找树中,识别出与参考数据对应的目标数据查找树,比如,可以确定出与参考数据的语义特征相似的数据查找树作为目标数据查找树,对此不做限制。
举例而言,有两个数据查找树分别为数据查找树a,数据查找树b,数据查找树a由结点1、结点2、结点3、结点4组成,数据查找树b由结点1、结点2、结点4、结点5组成,如果确定用于存储参考数据的结点为结点3,则可以确定结点3所属的数据查找树a,并将数据查找树a作为目标查找树。
S104:将目标数据查找树中的多个候选数据作为数据识别结果。
上述在从多个数据查找树中,识别出与参考数据对应的目标数据查找树后,可以直接将目标数据查找树中的多个候选数据作为数据识别结果。
也即是说,在从多个数据查找树中,识别出与参考数据对应的目标数据查找树后,可以确定目标数据查找树对应的多个结点所存储的多个候选数据,并将前述多个候选数据作为数据识别结果。
举例而言,如果目标数据查找树由结点1、结点2、结点3、结点4组成,其中,用于存储参考数据的结点为结点3,用于存储候选数据的结点为结点1、结点2、结点4,则可以确定结点1、结点2、结点4分别存储的多个候选数据,并将其作为数据识别结果。
本实施例中,通过获取参考数据,并获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系,从多个数据查找树之中,识别出与参考数据对应的目标数据查找树,以及将目标数据查找树中的多个候选数据作为数据识别结果,能够有效降低数据识别的时间复杂度,有效地提升数据识别效率,有效地提升数据识别效果。
图2是根据本公开第二实施例的示意图。
如图2所示,该数据识别方法,包括:
S201:获取多个候选数据,多个候选数据分别具有对应的多个候选标识。
其中,用于构建数据查找树的数据,即可以被称为候选数据,该候选数据,可以是与参考数据具有设定关联关系的数据,或者,也可以是与参考数据不具有设定关联关系的数据,该候选数据的数量可以是海量的,对此不做限制。
其中,用于描述候选数据的标识,可以被称为候选数据标识,该候选数据标识,可以例如候选数据对应的数字编号,对此不做限制。
一些实施例中,获取多个候选数据,可以是对其它机构提供的数据(例如:人脸数据,互联网软件的定位数据,运营商定位数据等),进行收集汇总,以得到多个候选数据。
其中,上述人脸数据,互联网软件的定位数据,运营商定位数据,其获取均是在符合相关法律、法规的情况下获取的,例如前述数据可以是来自于公开数据集处,还可以是经过相关机构授权后从已授权机构处获取的。
需要说明的是,上述人脸数据,互联网软件的定位数据,运营商定位数据并不是针对某一特定用户获取的数据,并不能反映出某一特定用户的个人信息。
本实施例中,在获取多个候选数据后,可以对多个候选数据进行归一化处理,例如,可以对上述获取得到的人脸数据,互联网软件定位数据,运营商定位数据等多个候选数据进行归一化处理,以消除候选数据来源不同可能对数据识别造成的影响,提升数据识别效果。
本实施例中,在获取多个候选数据,并对多个候选数据进行归一化处理后,可以对多个候选数据进行从0开始的自增唯一化编号,该编号即可以被作为候选数据对应的候选数据标识,该候选数据标识可以被用于在后续数据识别过程中,辅助对相应的候选数据进行身份标识。
其中,对候选数据进行从0开始的自增唯一化编号,可以是采用弗林克Flink等流式大数据处理方式来进行,或者也可以采用其它任意可能的方式,实现对候选数据进行从0开始的自增唯一化编号,对此不做限制。
S202:对多个候选数据分别进行特征解析,以得到对应的多个候选特征。
上述在获取多个候选数据后,可以对多个候选数据分别进行特征解析,以得到对应的多个候选特征。
其中,候选特征可以用于表征候选数据的语义特征,或者,也可以用于表征其它任意的特征,例如,候选数据所属的主体的特征,候选数据所表征的二维平面或者三维空间中位置特征,候选数据在其所属社会网络中的社交属性特征等等,对此不做限制。
一些实施例中,对多个候选数据分别进行特征解析,可以是将多个候选数据输入预先训练好的特征解析模型之中,以得到特征解析模型输出的多个候选特征,当然,也可以采用其它任意可能的方式实现对多个候选数据分别进行特征解析,以得到对应的多个候选特征的步骤,对此不做限制。
S203:根据多个候选特征构建数据查找树。
上述在对多个候选数据分别进行特征解析,以得到对应的多个候选特征后,可以根据多个候选特征构建数据查找树。
举例而言,上述在解析得到候选数据的语义特征,或者,候选数据所属的主体的特征,候选数据所表征的二维平面或者三维空间中位置特征,候选数据在其所属社会网络中的社交属性特征之后,可以基于前述特征分析候选数据之间是否具有设定关联关系,并根据具有设定关联关系的候选数据构建数据查找树。
可选地,一些实施例中,所述根据多个候选特征构建数据查找树,可以是确定与所述多个候选特征分别对应的多个参考权重值,所述参考权重值,描述对应所述候选特征与其它特征之间的关联程度,所述其它特征属于所述多个候选特征,将所述多个候选特征存储至对应的多个结点中,并根据所述多个参考权重值分别确定所述多个结点之间的结点父子关系,根据所述多个结点和所述结点父子关系,生成所述数据查找树,也即是说,本公开示例中支持参考候选特征和其它特征之间的关联程度来辅助构建数据查找树,使得数据查找树不仅能够反映出候选数据之间的关联关系,还能够反映出候选数据之间的关联程度,从而在有效地辅助降低数据识别方法的操作复杂度的同时,能够更为准确地确定多个结点之间的结点父子关系,从而可以根据该结点父子关系提升数据查找树的构建效果,使得所构建的数据查找树在辅助执行数据识别任务时,能够具有更高的参考价值,能够更符合实际数据的分布情况。
其中,参考权重值可以用于描述候选特征和其它特征之间的关联程度,参考权重值越大,则表明候选特征和其它特征之间的关联程度越强,反之,参考权重值越小,则表明候选特征和其它特征之间的关联程度越弱。
本实施例中,如图3所示,图3是本公开实施例中加权的并查集quick-union算法的示意图,可以采用如3图所示加权的并查集quick-union算法,结合实际数据识别场景中的数据识别规则,确定与多个候选特征分别对应的多个参考权重值,由此可以将数据识别的时间复杂度控制在对数(lgN)级别,有效地提升数据识别的效率。
举例而言,在识别社会网络中不同数据之间的社交关联关系的应用场景中,可以采用上述加权的并查集quick-union算法,结合该应用场景下的社交关联关系规则(例如:不同数据对应的社交位置之间相距不超过5米),确定多个候选特征分别对应的多个参考权重值,对此不做限制。
其中,多个候选特征可以存储至对应的多个结点中,可以通过分析多个候选特征分别对应的参考权重值,确定多个结点之间的结点父子关系,并根据多个结点和结点父子关系,生成数据查找树。
其中,多个结点之间的顺序连接关系,即可以被你称为结点父子关系,例如:结点1、结点2、结点3之间依次相联,则可以确定结点1和结点2之间的结点父子关系a,结点2和结点3之间相应的结点父子关系b,相应地,在结点父子关系a中,结点1可以被称为父结点,结点2可以被称为子结点,在结点父子关系b中,结点2可以被称为父结点,结点3可以被称为子结点。
上述在确定多个结点之间的父子关系后,可以根据多个结点和结点父子关系,生成数据查找树。
举例而言,如图4所示,图4是本公开实施例中构建数据查找树的流程示意图,如图4所示,可以多个候选数据中编号为0-9的候选数据为例,即可以通过加权的并查集quick-union算法,确定与候选数据的数据特征对应的多个参考权重值,确定多个结点之间的结点父子关系(例如:可以确定结点4和结点3的结点父子关系,结点4和结点8的结点父子关系等,其它结点父子关系如图4所示,在此不做详尽描述),可以根据上述确定的结点父子关系,建立父子结点的上下位父子连接关系,由此构建多个数据查找树,如图4所示,结点4、结点3、结点8、结点9可以构成一个数据查找树,结点6、结点0、结点2、结点5、结点1、结点7可以构成一个数据查找树。
S204:采用候选标识标记数据查找树之中相应的结点,相应的结点存储候选标识所对应的候选数据。
上述在根据多个候选特征构建数据查找树后,可以采用候选标识标记数据查找树之中相应的结点。
也即是说,在构建数据查找树后,可以采用结点中所存储的候选数据的候选标识对结点进行标记,即可以采用候选数据的从0开始的自增唯一化编号,对对应结点进行标记,由此可以使得候选数据和存储候选数据的相应结点具有相同的唯一编号,从而可以在后续数据识别进程中,根据该唯一化编号,在数据查找树中,确定唯一结点,进而确定结点中存储的候选数据。
由此,通过获取多个候选数据,多个候选数据分别具有对应的多个候选标识,对多个候选数据分别进行特征解析,以得到对应的多个候选特征,根据多个候选特征构建数据查找树,以及采用候选标识标记数据查找树之中相应的结点,相应的结点存储候选标识所对应的候选数据,由于是根据候选数据的候选特征构建数据查找树,从而能够使数据查找树准确地对各个候选数据进行表征,使得构建得到的数据查找树可以有效地满足实际数据识别场景中的个性化数据识别需求。
S205:获取参考数据。
S206:获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系。
S205-S206的描述可以具体参见上述实施例,在此不再赘述。
S207:从多个数据查找树中识别出存储参考数据的参考结点,参考结点属于多个结点。
其中,上述多个结点中,用于存储参考数据的结点即可以被称为参考结点。
也即是说,上述在获取数据查找森林后,可以从数据查找森林的多个数据查找树的多个结点中,识别出用于存储参考数据的结点,并将其作为参考结点。
S208:将参考结点所属的数据查找树作为目标数据查找树。
上述在从多个数据查找树中识别出用于存储参考数据的参考结点后,可以将参考结点所属的数据查找树作为目标数据查找树,由此能够快速准确地从多个数据查找树中确定目标数据查找树,从而能够有效地辅助提升数据识别的效率。
也即是说,可以从多个数据查找树的多个结点中,识别出用于存储参考数据的参考结点,并确定参考结点所属的数据查找树,将其作为目标数据查找树,由此,能够更为准确地从多个数据查找树中识别出目标数据查找树,从而能够有效地辅助执行数据识别任务。
举例而言,可以一并结合上述图4对本实施例作举例说明,如图4所示建立了由结点4、结点3、结点8、结点9构成的数据查找树a,和由结点6、结点0、结点2、结点5、结点1、结点7构成的数据查找树b,如果确定了参考结点3,则可以将数据查找树a作为目标数据查找树。
S209:将目标数据查找树中的多个候选数据作为数据识别结果。
举例而言,可以一并结合上述图4对本实施例作举例说明,如图4所示,如果确定目标查找树为由结点4、结点3、结点8、结点9构成的数据查找树a,参考结点为结点3,则可以将数据查找树a中除结点3外的其它结点中存储的多个候选数据作为数据识别结果。
相应地,在识别社会网络中不同数据之间的社交关联关系的应用场景中,上述图4所示的数据查找树a和数据查找树b中的候选数据,都可以被视为互相之间满足一定的社交关联关系,如果某一数据查找树的某一结点对应的候选数据被作为参考数据,则该数据查找树中的候选数据均可以被视为与参考数据具备一定社交关联关系的数据。
本实施例中,通过获取参考数据,并获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系,从多个数据查找树之中,识别出与参考数据对应的目标数据查找树,以及将目标数据查找树中的多个候选数据作为数据识别结果,能够有效降低数据识别的时间复杂度,有效地提升数据识别效率,有效地提升数据识别效果。支持参考候选特征和其它特征之间的关联程度来辅助构建数据查找树,使得数据查找树不仅能够反映出候选数据之间的关联关系,还能够反映出候选数据之间的关联程度,从而在有效地辅助降低数据识别方法的操作复杂度的同时,能够更为准确地确定多个结点之间的结点父子关系,从而可以根据该结点父子关系提升数据查找树的构建效果,使得所构建的数据查找树在辅助执行数据识别任务时,能够具有更高的参考价值,能够更符合实际数据的分布情况。
图5是根据本公开第三实施例的示意图。
如图5所示,该数据识别方法,包括:
S501:获取参考数据。
S502:获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系。
S501-S502的描述说明可以具体参见上述实施例,在此不做赘述。
S503:确定参考数据的参考特征。
上述在获取参考数据后,可以确定与参考数据对应的参考特征。
其中,参考特征可以用于表征参考数据的语义特征,参考特征可以用于从多个结点中匹配出参考结点,以辅助实现本公开实施例描述的数据识别方法。
参考特征还可以用于表征其它任意的特征,例如,候选数据所属的主体的特征,候选数据所表征的二维平面或者三维空间中位置特征,候选数据在其所属社会网络中的社交属性特征等等,对此不做限制。
一些实施例中,确定参考数据的参考特征,可以是将参考数据输入至预先训练好的特征提取模型中,以得到特征提取模型输出参考特征,当然,也可以采用其它任意可能的方式确定参考数据的参考特征,对此不做限制。
S504:从多个候选特征之中,确定出与参考特征匹配的候选特征,将匹配的候选特征的候选标识作为待匹配标识。
上述在确定参考数据的参考特征后,可以从多个候选特征之中,确定出与参考特征匹配的候选特征,并将匹配的候选特征的候选标识作为待匹配标识。
一些实施例中,从多个候选特征之中,确定出与参考特征匹配的候选特征,可以是分别计算参考特征和多个候选特征之间的多个角度关系值,并将计算得到的多个角度关系值,与预先设定的角度关系阈值进行比对,如果参考特征和候选特征之间的角度关系值和角度关系阈值满足设定条件(例如:角度关系值小于等于角度关系阈值),则可以将该候选特征,确定为与参考特征匹配的候选特征,或者,也可以采用其它任意可能的方式,从多个候选特征之中,确定出与参考特征匹配的候选特征,对此不做限制。
上述在从多个候选特征之中,确定出于参考特征匹配的候选特征后,可以将匹配的候选特征的候选标识作为待匹配标识,待匹配标识可以用于在后续数据识别方法中,从多个数据查找树中匹配出与其对应的参考结点。
S505:将多个数据查找树中与待匹配标识对应的参考标识所标记的结点作为参考结点。
上述在确定待匹配标识后,可以根据待匹配标识从多个数据查找树的多个结点中,确定与待匹配标识对应的参考标识,并将参考标识标记的结点作为参考结点。
本实施例中,由于多个结点具有与之对应的唯一标识,相应地,待匹配标识可以对应唯一结点,由此可以确定与待匹配标识对应的参考标识,并将参考标识对应的唯一结点作为参考结点。
从而本实施例中,通过确定所述参考数据的参考特征,从所述多个候选特征之中,确定出与所述参考特征匹配的候选特征,将所述匹配的候选特征的候选标识作为待匹配标识,以及将所述多个数据查找树中与所述待匹配标识对应的参考标识所标记的结点作为所述参考结点,能够快速准确地从多个数据查找树中确定出参考结点,从而能够进一步辅助提升数据识别结果的可靠性,较大程度地提升目标数据查找树的识别效率。
S506:将参考结点所属的数据查找树作为目标数据查找树。
S507:将目标数据查找树中的多个候选数据作为数据识别结果。
S506-S507的描述说明可以具体参见上述实施例,在此不再赘述。
本实施例中,通过获取参考数据,并获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系,通过确定所述参考数据的参考特征,从所述多个候选特征之中,确定出与所述参考特征匹配的候选特征,将所述匹配的候选特征的候选标识作为待匹配标识,以及将所述多个数据查找树中与所述待匹配标识对应的参考标识所标记的结点作为所述参考结点,能够快速准确地从多个数据查找树中确定出参考结点,从而能够进一步辅助提升数据识别结果的可靠性,较大程度地提升目标数据查找树的识别效率,有效地提升数据识别效果。
图6是根据本公开第四实施例的示意图。
如图6所示,该数据识别装置60,包括:
第一获取模块601,用于获取参考数据;
第二获取模块602,用于获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系;
识别模块603,用于从多个数据查找树之中,识别出与参考数据对应的目标数据查找树;以及
处理模块604,用于将目标数据查找树中的多个候选数据作为数据识别结果。
在本公开的一些实施例中,如图7所示,图7是根据本公开第五实施例的示意图,该数据识别装置70,包括:第一获取模块701、第二获取模块702、识别模块703、处理模块704,其中,识别模块703,包括:
识别子模块7031,用于从多个数据查找树中识别出存储参考数据的参考结点,参考结点属于多个结点;
处理子模块7032,用于将参考结点所属的数据查找树作为目标数据查找树。
在本公开的一些实施例中,数据识别装置70,还包括:
第三获取模块705,用于在获取参考数据之前,获取多个候选数据,多个候选数据分别具有对应的多个候选标识;
解析模块706,用于对多个候选数据分别进行特征解析,以得到对应的多个候选特征;
构建模块707,用于根据多个候选特征构建数据查找树;以及
标记模块708,用于采用候选标识标记数据查找树之中相应的结点,相应的结点存储候选标识所对应的候选数据。
在本公开的一些实施例中,其中,构建模块707,具体用于:
确定与多个候选特征分别对应的多个参考权重值,参考权重值,描述对应候选特征与其它特征之间的关联程度,其它特征属于多个候选特征;
将多个候选特征存储至对应的多个结点中,并根据多个参考权重值分别确定多个结点之间的结点父子关系;
根据多个结点和结点父子关系,生成数据查找树。
在本公开的一些实施例中,其中,识别子模块7031,具体用于:
确定参考数据的参考特征;
从多个候选特征之中,确定出与参考特征匹配的候选特征,将匹配的候选特征的候选标识作为待匹配标识;以及
将多个数据查找树中与待匹配标识对应的参考标识所标记的结点作为参考结点。
可以理解的是,本实施例附图7中的数据识别装置70与上述实施例中的数据识别装置60,第一获取模块701与上述实施例中的第一获取模块601,第二获取模块702与上述实施例中的第二获取模块602,识别模块703与上述实施例中的识别模块603,处理模块704与上述实施例中的处理模块604,可以具有相同的功能和结构
需要说明的是,前述对数据识别方法的解释说明也适用于本实施例的数据识别装置,此处不再赘述。
本实施例中,通过获取参考数据,并获取数据查找森林,数据查找森林包括:多个数据查找树,数据查找树包括:多个结点,多个结点分别用于存储对应的多个候选数据,多个候选数据之间满足设定关联关系,从多个数据查找树之中,识别出与参考数据对应的目标数据查找树,以及将目标数据查找树中的多个候选数据作为数据识别结果,能够有效降低数据识别的时间复杂度,有效地提升数据识别效率,有效地提升数据识别效果。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的数据识别方法的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如数据识别方法。例如,在一些实施例中,数据识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的数据识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据识别装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (8)
1.一种数据识别方法,应用于从海量数据中,识别出与社会网络中的参考数据具有社交关联关系的数据,包括:
获取所述参考数据,所述参考数据包括人脸数据、定位数据、移动轨迹;
获取数据查找森林,所述数据查找森林用于识别与所述参考数据存在社交关联关系的数据,所述数据查找森林包括:多个数据查找树,所述数据查找树包括:多个结点,所述多个结点分别用于存储对应的多个候选数据,所述多个候选数据之间满足设定社交关联关系,所述多个候选数据包括人脸数据、互联网软件定位数据、运营商定位数据;
从所述多个数据查找树之中,识别出与所述参考数据对应的目标数据查找树;以及
将所述目标数据查找树中的多个候选数据作为数据识别结果,所述数据识别结果包含与所述参考数据具有社交关联关系的人脸数据、定位数据;
其中,在所述获取参考数据之前,还包括:
获取所述多个候选数据,对所述多个候选数据中的人脸数据、互联网软件定位数据、运营商定位数据进行归一化处理,所述多个候选数据分别具有对应的多个候选标识;所述多个候选标识是对对多个候选数据进行自增唯一化编号所得到的;
将所述多个候选数据输入预先训练好的特征解析模型,以得到所述特征解析模型输出的多个候选特征;所述多个候选特征用于表征所述候选数据的语义特征,包括所述多个候选数据所属的主体的特征,候选数据所表征的二维平面或者三维空间中位置特征,候选数据在其所属社会网络中的社交属性特征;
根据所述多个候选特征构建所述数据查找树;以及
采用所述候选标识标记所述数据查找树之中相应的结点,所述相应的结点存储所述候选标识所对应的候选数据;
所述根据所述多个候选特征构建所述数据查找树,包括:
采用加权的并查集算法,结合社交关联关系规则确定与所述多个候选特征分别对应的多个参考权重值,所述参考权重值,描述对应所述候选特征与其它特征之间的关联程度,所述其它特征属于所述多个候选特征;
将所述多个候选特征存储至对应的多个结点中,并根据所述多个参考权重值分别确定所述多个结点之间的结点父子关系;
根据所述多个结点和所述结点父子关系,生成所述数据查找树。
2.根据权利要求1所述的方法,其中,所述从所述多个数据查找树之中,识别出与所述参考数据对应的目标数据查找树,包括:
从所述多个数据查找树中识别出存储所述参考数据的参考结点,所述参考结点属于所述多个结点;
将所述参考结点所属的数据查找树作为所述目标数据查找树。
3.根据权利要求1所述的方法,其中,所述从所述多个数据查找树中识别出存储所述参考数据的参考结点,包括:
确定所述参考数据的参考特征;
从所述多个候选特征之中,确定出与所述参考特征匹配的候选特征,将所述匹配的候选特征的候选标识作为待匹配标识;以及
将所述多个数据查找树中与所述待匹配标识对应的参考标识所标记的结点作为所述参考结点。
4.一种数据识别装置,应用于从海量数据中,识别出与社会网络中的参考数据具有社交关联关系的数据,包括:
第一获取模块,用于获取所述参考数据,所述参考数据包括人脸数据、定位数据、移动轨迹;
第二获取模块,用于获取数据查找森林,所述数据查找森林用于识别与所述参考数据存在社交关联关系的数据,所述数据查找森林包括:多个数据查找树,所述数据查找树包括:多个结点,所述多个结点分别用于存储对应的多个候选数据,所述多个候选数据之间满足设定社交关联关系,所述多个候选数据包括人脸数据、互联网软件定位数据、运营商定位数据;
识别模块,用于从所述多个数据查找树之中,识别出与所述参考数据对应的目标数据查找树;以及
处理模块,用于将所述目标数据查找树中的多个候选数据作为数据识别结果,所述数据识别结果包含与所述参考数据具有社交关联关系的人脸数据、定位数据;
第三获取模块,用于在所述获取参考数据之前,获取所述多个候选数据,对所述多个候选数据中的人脸数据、互联网软件定位数据、运营商定位数据进行归一化处理,所述多个候选数据分别具有对应的多个候选标识;所述多个候选标识是对对多个候选数据进行自增唯一化编号所得到的;
解析模块,用于将所述多个候选数据输入预先训练好的特征解析模型,以得到所述特征解析模型输出的多个候选特征;所述多个候选特征用于表征所述候选数据的语义特征,包括所述多个候选数据所属的主体的特征,候选数据所表征的二维平面或者三维空间中位置特征,候选数据在其所属社会网络中的社交属性特征;
构建模块,用于根据所述多个候选特征构建所述数据查找树;以及
标记模块,用于采用所述候选标识标记所述数据查找树之中相应的结点,所述相应的结点存储所述候选标识所对应的候选数据;
其中,所述构建模块,具体用于:
采用加权的并查集算法,结合社交关联关系规则确定与所述多个候选特征分别对应的多个参考权重值,所述参考权重值,描述对应所述候选特征与其它特征之间的关联程度,所述其它特征属于所述多个候选特征;
将所述多个候选特征存储至对应的多个结点中,并根据所述多个参考权重值分别确定所述多个结点之间的结点父子关系;
根据所述多个结点和所述结点父子关系,生成所述数据查找树。
5.根据权利要求4所述的装置,其中,所述识别模块,包括:
识别子模块,用于从所述多个数据查找树中识别出存储所述参考数据的参考结点,所述参考结点属于所述多个结点;
处理子模块,用于将所述参考结点所属的数据查找树作为所述目标数据查找树。
6.根据权利要求5所述的装置,其中,所述识别子模块,具体用于:
确定所述参考数据的参考特征;
从所述多个候选特征之中,确定出与所述参考特征匹配的候选特征,将所述匹配的候选特征的候选标识作为待匹配标识;以及
将所述多个数据查找树中与所述待匹配标识对应的参考标识所标记的结点作为所述参考结点。
7. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110897839.XA CN113704256B (zh) | 2021-08-05 | 2021-08-05 | 数据识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110897839.XA CN113704256B (zh) | 2021-08-05 | 2021-08-05 | 数据识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704256A CN113704256A (zh) | 2021-11-26 |
CN113704256B true CN113704256B (zh) | 2023-05-23 |
Family
ID=78651700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110897839.XA Active CN113704256B (zh) | 2021-08-05 | 2021-08-05 | 数据识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704256B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116522105B (zh) * | 2023-02-01 | 2023-09-22 | 深圳中汇能科技有限公司 | 基于云计算的数据一体化搭建的方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108831561A (zh) * | 2018-05-31 | 2018-11-16 | 平安科技(深圳)有限公司 | 流感预测模型的生成方法、装置及计算机可读存储介质 |
WO2020092637A1 (en) * | 2018-11-02 | 2020-05-07 | C3.Ai, Inc. | Systems and methods for full history dynamic network analysis |
CN111767321A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 节点关系网络的确定方法、装置、电子设备和存储介质 |
-
2021
- 2021-08-05 CN CN202110897839.XA patent/CN113704256B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108831561A (zh) * | 2018-05-31 | 2018-11-16 | 平安科技(深圳)有限公司 | 流感预测模型的生成方法、装置及计算机可读存储介质 |
WO2020092637A1 (en) * | 2018-11-02 | 2020-05-07 | C3.Ai, Inc. | Systems and methods for full history dynamic network analysis |
CN111767321A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 节点关系网络的确定方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
Location-based Top-k query method for social network service;XIA Ying et al.;《Journal of Chongqing University of Posts and Telecommunication (Natural Science Edition)》;第644-650页 * |
基于语义的网络大数据组织与搜索;吴纯青;任沛阁;王小峰;;计算机学报(01);第1-17页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113704256A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113657289B (zh) | 阈值估计模型的训练方法、装置和电子设备 | |
CN113360580B (zh) | 基于知识图谱的异常事件检测方法、装置、设备及介质 | |
CN113963110B (zh) | 纹理图生成方法、装置、电子设备及存储介质 | |
CN112861885A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN114494776A (zh) | 一种模型训练方法、装置、设备以及存储介质 | |
CN112559631A (zh) | 分布式图数据库的数据处理方法、装置以及电子设备 | |
CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
CN115631381A (zh) | 分类模型训练方法、图像分类方法、装置及电子设备 | |
CN114861059A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
CN113704256B (zh) | 数据识别方法、装置、电子设备及存储介质 | |
CN112560480B (zh) | 任务社区发现方法、装置、设备和存储介质 | |
CN114417118A (zh) | 一种异常数据处理方法、装置、设备以及存储介质 | |
CN112632251B (zh) | 回复内容的生成方法、装置、设备和存储介质 | |
CN113641829A (zh) | 图神经网络的训练与知识图谱的补全方法、装置 | |
CN114490965B (zh) | 问题处理方法、装置、电子设备和存储介质 | |
CN115840867A (zh) | 数学解题模型的生成方法、装置、电子设备和存储介质 | |
CN114969444A (zh) | 数据的处理方法、装置、电子设备和存储介质 | |
CN113590774A (zh) | 事件查询方法、装置以及存储介质 | |
CN114118937A (zh) | 基于任务的信息推荐方法、装置、电子设备及存储介质 | |
CN113963011A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN112817463A (zh) | 输入法获取音频数据的方法、设备和存储介质 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN113361363A (zh) | 人脸图像识别模型的训练方法、装置、设备及存储介质 | |
CN113572679B (zh) | 账户亲密度的生成方法、装置、电子设备和存储介质 | |
CN113220997B (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |