CN112036502B - 图像数据比对方法、装置及系统 - Google Patents
图像数据比对方法、装置及系统 Download PDFInfo
- Publication number
- CN112036502B CN112036502B CN202010929152.5A CN202010929152A CN112036502B CN 112036502 B CN112036502 B CN 112036502B CN 202010929152 A CN202010929152 A CN 202010929152A CN 112036502 B CN112036502 B CN 112036502B
- Authority
- CN
- China
- Prior art keywords
- analysis
- data
- node
- characteristic data
- sample characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例提供了图像数据比对方法、装置及系统，应用于图像处理技术领域，在图像数据的比对过程中，每个分析节点仅加载全量样本特征数据中的部分样本特征数据，理论上可以通过增加分析节点的数量来达到样本特征数据的无限量扩充，能够增加图像数据比对过程中的样本特征数据的数据量，从而增大图像数据比对规模，增加图像数据比对结果的可信度。并且实现了多个分析节点同时针对一个待比对图像数据进行比对，每个分析节点仅比对全量样本特征数据中的部分样本特征数据，能够提升针对单一待比对图像数据的比对速度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及图像数据比对方法、装置及系统。
背景技术
随着计算机视觉技术的发展，特别是神经网络的出现，使得基于计算机的图像数据比对成为可能。图像数据比对是指将待识别图像与样本图像进行比对，从而确定待识别图像中包含的人脸或车辆等目标的身份信息，例如，将待识别人脸、车辆图像与样本人脸、车辆图像进行比对，从而确定待识别人脸、车辆图像包含的人脸、车辆的身份信息。图像数据比对技术广泛应用于安防及图像搜索等领域。
相关图像数据比对系统中，将样本特征数据存储在比对库(也可以称为名单库)中，样本特征数据为预先获取的身份信息已知的特征数据，可以经过分析节点(通常为GPU)对图像数据分析后得到的模型数据的特征值集合。在系统初始化的过程中，各分析节点分别加载比对库中的全量样本特征数据，全量样本特征数据为所有样本特征数据的总称，例如图1所示，每个待比对图像数据仅由一个分析节点负责与全量样本特征数据进行比对，各分析节点之间可以并行执行不同待比对图像数据的比对任务。
然而受每个分析节点自身内存的限制，每个分析节点能够加载的样本特征数据的数据量是有限的。在大型应用场景下比对库中的全量样本特征数据的数据量很大，这时仅靠增加分析节点内存的方式，已经不足以缓存全量样本特征数据，能够用于图像数据比对的样本特征数据的数据量受限，从而导致待比对图像数据仅能与部分样本特征数据进行比对，严重影响图像数据比对结果的可信度。
发明内容
本申请实施例的目的在于提供一种图像数据比对方法、装置及系统，以实现增加图像数据比对过程中的样本特征数据的数据量，从而增加图像数据比对结果的可信度。具体技术方案如下：
第一方面，本申请实施例提供了一种图像数据比对方法，所述方法包括：
获取用于执行比对任务的各分析节点的最大存储量及所述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；
根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，其中，各所述分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述分析节点分配的样本特征数据的总和包括所述全量样本特征数据；
根据为各所述分析节点分配的样本特征数据，分别生成各所述分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据；
分别向各所述分析节点发送对应的数据加载指令，以使各所述分析节点分别加载自身所分配的样本特征数据，并使各所述分析节点分别将待比对图像数据与各所述分析节点自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果。
第二方面，本申请实施例提供了一种图像数据比对系统，所述系统包括：
管理节点及多个分析节点；
所述管理节点用于：确定用于执行一比对任务的各分析节点，作为各第一分析节点，获取各所述第一分析节点的最大存储量及所述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析节点，该第一分析节点的最大存储量为该第一分析节点能够加载的样本特征数据的最大数据量；根据各所述第一分析节点的最大存储量及所述总数据量，为各所述第一分析节点分配样本特征数据，其中，各所述第一分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述第一分析节点分配的样本特征数据的总和包括所述全量样本特征数据；根据为各所述第一分析节点分配的样本特征数据，分别生成各所述第一分析节点对应的数据加载指令，其中，针对任一第一分析节点，该第一分析节点对应的数据加载指令表示分配给该第一分析节点的样本特征数据；分别向各所述第一分析节点发送对应的数据加载指令；
所述分析节点用于，根据接收到的数据加载指令，加载所述管理节点分配给自身的样本特征数据；获取待比对图像数据，将所述待比对图像数据与自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果。
第三方面，本申请实施例提供了一种图像数据比对装置，所述装置包括：
最大存储量获取模块，用于获取用于执行比对任务的各分析节点的最大存储量及所述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；
样本特征数据分配模块，用于根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，其中，各所述分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述分析节点分配的样本特征数据的总和包括所述全量样本特征数据；
加载指令生成模块，用于根据为各所述分析节点分配的样本特征数据，分别生成各所述分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据；
加载指令发送模块，用于分别向各所述分析节点发送对应的数据加载指令，以使各所述分析节点分别加载自身所分配的样本特征数据，并使各所述分析节点分别将待比对图像数据与各所述分析节点自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的图像数据比对方法。
第五方面，本申请实施例提供了一种图像数据比对装置，所述装置包括：
管理模块和多个分析模块；
所述管理模块用于：确定用于执行一比对任务的各分析模块，作为各第一分析模块，获取各所述第一分析模块的最大存储量及所述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析模块，该第一分析模块的最大存储量为该第一分析模块能够加载的样本特征数据的最大数据量；根据各所述第一分析模块的最大存储量及所述总数据量，为各所述第一分析模块分配样本特征数据，其中，各所述第一分析模块分别分配所述全量样本特征数据的部分样本特征数据，且各所述第一分析模块分配的样本特征数据的总和包括所述全量样本特征数据；根据为各所述第一分析模块分配的样本特征数据，分别生成各所述第一分析模块对应的数据加载指令，其中，针对任一第一分析模块，该第一分析模块对应的数据加载指令表示分配给该第一分析模块的样本特征数据；分别向各所述第一分析模块发送对应的数据加载指令；
所述分析模块用于，根据接收到的数据加载指令，加载所述管理模块分配给自身的样本特征数据；获取待比对图像数据，将所述待比对图像数据与自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果。
本申请实施例提供的图像数据比对方法、装置及系统，获取用于执行比对任务的各分析节点的最大存储量及比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；根据各分析节点的最大存储量及总数据量，为各分析节点分配样本特征数据，其中，各分析节点分别分配全量样本特征数据的部分样本特征数据，且各分析节点分配的样本特征数据的总和包括全量样本特征数据；根据为各分析节点分配的样本特征数据，分别生成各分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据；分别向各分析节点发送对应的数据加载指令，以使各分析节点分别加载自身所分配的样本特征数据，并使各分析节点分别将待比对图像数据与各分析节点自身加载的样本特征数据进行比对，得到待比对图像数据的比对结果。在本申请实施例中，在图像数据的比对过程中，每个分析节点仅加载全量样本特征数据中的部分样本特征数据，理论上可以通过增加分析节点的数量来达到样本特征数据的无限量扩充，能够增加图像数据比对过程中的样本特征数据的数据量，从而增大图像数据比对规模，增加图像数据比对结果的可信度。并且实现了多个分析节点同时针对一个待比对图像数据进行比对，每个分析节点仅比对全量样本特征数据中的部分样本特征数据，能够提升针对单一待比对图像数据的比对速度。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术中图像数据比对方法的一种示意图；
图2为本申请实施例的图像数据比对方法的第一种示意图；
图3为本申请实施例的图像数据比对方法的第二种示意图；
图4为本申请实施例的图像数据比对方法的第三种示意图；
图5a为本申请实施例的图像数据比对方法中样本特征数据分配的第一种示意图；
图5b为本申请实施例的图像数据比对方法中样本特征数据分配的第二种示意图；
图5c为本申请实施例的图像数据比对方法中样本特征数据分配的第三种示意图；
图6为本申请实施例的图像数据比对方法的第四种示意图；
图7a为本申请实施例的图像数据比对系统的第一种示意图；
图7b为本申请实施例的图像数据比对系统的第二种示意图；
图8为本申请实施例的图像数据比对系统的第三种示意图；
图9为本申请实施例的样本特征数据分配的一种示意图
图10为本申请实施例的图像数据比对装置的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关图像数据比对方法中，如图1所示，每个分析节点中均加载有全量样本特征数据，各分析节点负责不同待比对图像数据的比对，多个分析节点之间可以同时并行执行多个待比对图像数据的比对。但是采用上述方法，由于每个分析节点自身内存的限制，使得每个分析节点加载的全量样本特征数据的数据量受限。在全量样本特征数据的总数据量不断增加的情况下，导致能够用于图像数据比对的样本特征数据的数据量受限，从而使得待比对图像数据仅能与部分样本特征数据进行比对，严重影响图像数据比对结果的可信度。
有鉴于此，本申请实施例提供了一种图像数据比对方法，参见图2，该方法包括：
S11，获取用于执行比对任务的各分析节点的最大存储量及上述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量。
本申请实施例的图像数据比对方法可以通过图像数据比对系统实现，该图像数据比对系统中包括多个分析节点，分析节点可以为CPU、GPU(Graphics Processing Unit，图形处理器)、APU(Accelerated Processing Unit，加速处理器)、TPU(Tensor ProcessingUnit，张量处理单元)、FPGA(Field Programmable Gate Array，现场可编程门阵列)或嵌入式处理芯片等具备计算能力的器件，具体类型不做限定。
比对任务为任意相关的图像数据比对任务，例如人脸图像比对、车辆图像比对或以图搜图等。用于执行比对任务的分析节点可以为多个，获取这些分析节点中每个分析节点的最大存储量，一般情况下分析节点的最大存储量由该分析节点的内存容量来决定。
比对任务对应有样本特征数据，样本特征数据可以为预先获取的已知信息特征数据，例如经过人工智能算法建模后人脸的特征值数据，人体的特征值数据，车辆的特征值数据等。将执行比对任务需要比对的所有样本特征数据，称为全量样本特征数据，获取全量样本特征数据的总数据量。
S12，根据各上述分析节点的最大存储量及上述总数据量，为各上述分析节点分配样本特征数据，其中，各上述分析节点分别分配上述全量样本特征数据的部分样本特征数据，且各上述分析节点分配的样本特征数据的总和包括上述全量样本特征数据。
每个分析节点分配的样本特征数据均为全量样本特征数据中的一部分。一般情况下，各分析节点的最大存储量的和是大于上述总数据量的，此时各分析节点分配的样本特征数据的总和是包括全量样本特征数据的。在一种可能的实施方式中，为了提高图像数据比对效率，各分析节点分配的样本特征数据不存在交集。
S13，根据为各上述分析节点分配的样本特征数据，分别生成各上述分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据。
针对每一分析节点，生成该分析节点的数据加载指令，该分析节点的数据加载指令表示分配给该分析节点的样本特征数据。
S14，分别向各上述分析节点发送对应的数据加载指令，以使各上述分析节点分别加载自身所分配的样本特征数据，并使各上述分析节点分别将待比对图像数据与各上述分析节点自身加载的样本特征数据进行比对，得到上述待比对图像数据的比对结果。
待比对图像数据为需要进行比对的图像数据。例如图3所示，加载样本特征数据后的各分析节点，并行执行待比对图像数据与自身加载的样本特征数据的比对，多个分析节点同时针对一个待比对图像数据的比对，从而得到待比对图像数据的比对结果。
在本申请实施例中，在图像数据的比对过程中，每个分析节点仅加载全量样本特征数据中的部分样本特征数据，理论上可以通过增加分析节点的数量来达到样本特征数据的无限量扩充，能够增加图像数据比对过程中的样本特征数据的数据量，从而增大图像数据比对规模，增加图像数据比对结果的可信度。并且实现了多个分析节点同时针对一个待比对图像数据进行比对，每个分析节点仅比对全量样本特征数据中的部分样本特征数据，能够提升针对单一待比对图像数据的比对速度。
一般情况下，各分析节点的最大存储量的和是大于全量样本特征数据的总数据量的，当各分析节点的最大存储量的和小于全量样本特征数据的总数据量时，可以向用户展示表示需要增加分析节点的提示消息。若在各分析节点的最大存储量的和小于全量样本特征数据的总数据量的情况下，用户仍要执行图像数据比对，在一种可能的实施方式中，参见图4，在上述获取用于执行比对任务的各分析节点的最大存储量及上述比对任务对应的全量样本特征数据的总数据量之后，上述方法还包括：
S15，计算各上述分析节点的最大存储量的和，得到第一数据量；若上述第一数据量小于上述总数据量，在上述全量样本特征数据中删除部分样本特征数据，使得删除后的上述全量样本特征数据的总数据量不大于上述第一数据量。
可以利用当前全量样本特征数据的总数据量减去第一数据量，得到第二数据量，在全量样本特征数据中删除第二数据量大小的样本特征数据，将剩余的全量样本特征数据作为更新后的全量样本特征数据，并更新当前全量样本特征数据的总数据量。此处可以采用随机删除的方式，也可以选取最近一段时间内比对成功次数最少的样本特征数据进行删除，或按照用户定义的重要度进行删除等，本申请实施例中不对删除的具体方法进行限定。本申请实施例中的删除并不是指在比对库中将部分数据真实的物理去除掉，而是在比对库中临时标记不加载到分析节点的部分数据，经过标记的部分数据不再加载到分析节点。
理想状态下更新后的全量样本特征数据的总数据量应当为第一数据量，但是因为每个样本特征数据均有相应的大小，实际删除过程中可以为当删除第N个样本特征数据后，当前全量样本特征数据的总数据量刚好不大于第一数据量，即删除第N个样本特征数据前，当前全量样本特征数据的总数据量大于第一数据量，而在删除第N个样本特征数据后当前全量样本特征数据的总数据量不大于第一数据量。
在为各分析节点分配样本特征数据的过程中，可以为每个分析节点平均分配样本特征数据，也可以按照各分析节点的实际存储能力，为各分析节点分配样本特征数据。在一种可能的实施方式中，上述根据各分析节点的最大存储量及上述总数据量，为各上述分析节点分配样本特征数据，包括：
步骤一，获取各上述分析节点的最大存储量的和，得到第一数据量。
步骤二，计算各上述分析节点的最大存储量与上述第一数据量的比值，得到各上述分析节点的数据量占比。
步骤三，根据各上述分析节点的数据量占比及上述总数据量，得到各上述分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的数据量占比正相关。
步骤四，针对任一分析节点，为该分析节点分配该分析节点待分配数据量大小的样本特征数据，其中，各上述分析节点分配的样本特征数据不存在交集。
假设有K个分析节点，第i个分析节点的最大存储量为hi，i∈[1,K]，则第一数据量第i个分析节点的数据量占比为/>第i个分析节点的待分配数据量为bi×W，其中，W为全量样本特征数据的总数据量。
按照各分析节点的待分配数据量，在全量样本特征数据中分别为各分析节点选取相应待分配数据量大小的样本特征数据，作为各分析节点分配的样本特征数据，各分析节点分配的样本特征数据不存在交集，能够避免针对同一样本特征数据的重复比对，提高图像数据的比对效率。并且在样本特征数据的比对过程中，充分考虑利用了各分析节点的存储空间。
为了进一步增加图像数据的比对速度，在分配样本特征数据的过程中，还可以考虑各分析节点的数据处理能力。在一种可能的实施方式中，参见图5a，上述根据各分析节点的最大存储量及上述总数据量，为各上述分析节点分配样本特征数据，包括：
S121，获取各上述分析节点的分析能力系数，其中，上述分析能力系数表示分析节点的数据处理能力。
分析节点的分析能力系数表示该分析节点的数据处理能力，分析节点的数据处理能力越高分析节点的分析能力系数越大。
S122，基于上述总数据量、各上述分析节点的分析能力系数及各上述分析节点的最大存储量，为各上述分析节点分配样本特征数据，其中，针对任一分析节点，该分析节点分配的样本特征数据的数据量与该分析节点的分析能力系数正相关，且该分析节点分配的样本特征数据的数据量不大于该分析节点的最大存储量。
分析节点分配的样本特征数据的数据量与该分析节点的分析能力系数正相关，该分析节点的分析能力系数越大，该分析节点分配的样本特征数据的数据量越大，但是分析节点分配的样本特征数据的数据量不大于该分析节点的最大存储量。各分析节点分配的样本特征数据的总量应当不小于上述总数据量，即全量样本特征数据的总数据量，也即各分析节点分配的样本特征数据包括全量样本特征数据。
在本申请实施例中，在为分析节点分配样本特征数据时，还考虑了分析节点的数据处理能力，能够充分利用各分析节点的计算资源，从而增加图像数据比对的速度。
在一种可能的实施方式中，参见图5b，上述基于上述总数据量、各上述分析节点的分析能力系数及各上述分析节点的最大存储量，为各上述分析节点分配样本特征数据，包括：
S1221，计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与上述系数和的比值，分别得到各未分配节点的分析能力占比，其中，上述未分配节点为尚未分配样本特征数据的分析节点。
S1222，根据各未分配节点的分析能力占比及上述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关。
例如，可以利用各未分配节点的分析能力占比乘以上述总数据量，分别得到各未分配节点的待分配数据量。
S1223，若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各上述分析节点分配的样本特征数据不存在交集。
S1224，若存在目标分析节点，针对任一目标分析节点，在上述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤S1221继续执行，其中，上述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的分析节点。
具体的，假设有K个未分配样本特征数据的分析节点，第i个未分配样本特征数据的分析节点(以下简称为第i个分析节点)的分析能力系数可以表示为ci，i∈[1,K]。则未分配样本特征数据的分析节点的分析能力系数的系数和可以表示为：第i个分析节点的分析能力占比可以表示为/>第i个分析节点的待分配数据量为mi＝i×W，其中，W为当前的总数据量，即当前全量样本特征数据中未分配的样本特征数据的数据量。
当获取到第i个分析节点的待分配数据量mi后，比较mi与第i个分析节点的最大存储量hi的大小，若针对i∈[1,K]，均满足mi≤hi，则若针对i∈[1,K]，在未分配的全量样本特征数据中选取mi大小的特征数据，分配给第i个分析节点，其中，各分析节点分配的样本特征数据不存在交集。
若存在mi＞hi，将mi＞hi的未分配样本特征数据的分析节点称为目标分析节点，针对任一目标分析节点，在未分配的全量样本特征数据中选取该目标分析节点最大存储量hi大小的样本特征数据分配给该目标分析节点，从而完成所有目标分析节点的样本特征数据的分配。并将总数据量的值更新当前未分配的全量样本特征数据的数据量的值，返回步骤S1221继续执行。
在本申请实施例中，在为分析节点分配样本特征数据时，还考虑了分析节点的数据处理能力，能够充分利用各分析节点的计算资源，从而增加图像数据比对的速度。
为了方便分析节点的分析能力系数及最大存储量的管理，可以将分析节点分为不同的种类，每一种类下可以包含一个或多个分析节点。例如，可以根据生产厂家，将属于同一生产厂家的分析节点划分到同一种类中，还可以根据物理形态，将同一物理形态的分析节点划分到同一种类中，本申请实施例中对分析节点种类的具体划分规则不做限定。在一种可能的实施方式中，对于某一智能算法而言，同一种类下的各分析节点具有相同的分析能力系数，即相同的数据处理能力，可选的，同一种类的分析节点的最大存储量相同。其中，分析节点的分析能力系数越大，表示该分析节点的数据处理能力越强，针对智能算法的运行速度越快。
在一种可能的实施方式中，一个上述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同；参见图5c，上述基于上述总数据量、各上述分析节点的分析能力系数及各上述分析节点的最大存储量，为各上述分析节点分配样本特征数据，包括：
S1225，计算各未分配节点的分析能力系数的系数和，其中，上述未分配节点为尚未分配样本特征数据的分析节点。
S1226，针对任一未分配种类，计算该种类中单个分析节点的分析能力系数与上述系数和的比值，得到该种类中单个分析节点的分析能力占比，其中，上述未分配种类为尚未分配样本特征数据的分析节点所属种类。
S1227，针对任一未分配种类，根据该种类中单个分析节点的分析能力占比及上述总数据量，得到该种类中单个分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的分析能力占比正相关。
例如，针对任一未分配种类，利用该种类中单个分析节点的分析能力占比乘以上述总数据量，得到该种类中单个分析节点的待分配数据量。
S1228，若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的分析节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该分析节点自身待分配数据量大小的样本特征数据，分配给该分析节点，其中，各上述分析节点分配的样本特征数据不存在交集。
S1229，若存在目标种类，针对任一目标种类，在上述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤S1225继续执行，其中，上述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
种类对应的待分配数据量为该种类中单个分析节点的待分配数据量，种类对应的最大存储量为该种类中单个分析节点的最大存储量。
具体的，各分析节点分为p种，第i种类(i∈[1,p])中分析节点的个数为qi，第i种类中单个分析节点分析能力系数为ci，第i种类中单个分析节点的最大存储量为hi，全量样本特征数据中未分配的样本特征数据的数量为W。则各分析节点的分析能力系数的系数和为：第i种类中单个分析节点在该智能单元组内的分析能力占比为：各分析节点的最大存储量的总和为：/>分配到第i种类的单个分析节点的样本特征数据的分配数据量为：mi＝ri×W。
在一种可能的实施方式中，本申请实施例的样本特征数据的分配方法包括：
步骤1，计算各分析节点的最大存储量的总和S，获取全量样本特征数据的数据量W，若S不小于W，则继续执行步骤2，若S小于W，则将全量样本特征数据的数据量W调整为不大于S。
步骤2，将所有的分析节点标记为未完成分配。
步骤3，计算标记为未完成分配的各分析节点的分析能力系数的系数和C。
步骤4，计算标记为未完成分配的各分析节点的分析能力占比ri。
步骤5，根据未完成分配的各分析节点的分析能力占比ri，对未完成分配的各分析节点进行排序，例如，可以按照ri从大到小的顺序进行排序，即分析比对能力强的分析节点排在前，分析比对能力弱的分析节点排在后。
步骤6，根据全量样本特征数据中未分配的样本特征数据的数据量，按照排序和对应的ri进行拆分，计算得到应该分配给第i种类中单个分析节点的分配数据量mi，i∈[1,p]。
步骤7，将mi与第i种类中每一个分析节点的最大存储量hi进行比较。如果各hi均不小于mi，按照mi的大小分配给第i种类中每个分析节点mi大小的样本特征数据，将第i种类中各分析节点标记为已经完成分配，继续执行步骤8。如果存在hi小于mi，分配给第i种类中每个分析节点各自的hi大小的样本特征数据，将第i种类中各分析节点标记为已经完成分配，将W更新为未全量样本特征数据中未分配的样本特征数据的数据量，返回步骤3继续执行。
步骤8，利用各分析节点分别加载步骤7中自身分配的样本特征数据。
本申请实施例中，按照种类对各分析节点进行样本特征数据的分配，相比于针对每个智能分析处理单进行单独分配，能够减少样本特征数据的分配的计算量，提高样本特征数据的分配效率。
本申请实施例中可以同时利用多个分析节点执行针对一个对待比对图像数据的比对，在一种可能的实施方式中，参见图6，上述各上述分析节点分别将待比对图像数据与各上述分析节点自身加载的样本特征数据进行比对，得到上述待比对图像数据的比对结果，包括：
S151，各上述分析节点并行将上述待比对图像数据与各上述分析节点自身加载的样本特征数据进行比对。
此处的待比对图像数据具体可以为一个待比对图像数据，即各分析节点每次仅针对一个待比对图像数据进行比对处理。当有多个待比对图像数据时，可以分别执行本申请实施例中的操作，从而得到各待比对图像数据的比对结果。
例如图3所示，各分析节点分别将自身加载的样本特征数据与待比对图像数据进行比对，实现多个分析节点并行执行一个对待比对图像数据的比对。
S152，当任一上述分析节点比对得到置信度大于预设置信度阈值的比对结果时，结束各上述分析节点针对上述待比对图像数据的比对，将置信度大于预设置信度阈值的比对结果作为上述待比对图像数据的比对结果。
置信度表示比对结果的真实程度，具体的置信度可以为待比对图像数据与样本特征数据的相似度。当任一分析节点比对得到的比对结果的置信度大于预设置信度阈值时，结束各分析节点针对当前待比对图像数据的比对，并将置信度大于预设置信度阈值的比对结果作为当前待比对图像数据的比对结果。若各分析节点中的样本特征数据均比对完成后，仍未得到置信度大于预设置信度阈值的比对结果，则表示当前待比对图像数据比对失败。
在本申请实施例中，同时利用多个分析节点执行针对一个对待比对图像数据的比对，能够提升针对单一待比对图像数据的比对速度。并且在任一分析节点比对得到置信度大于预设置信度阈值的比对结果时，结束各分析节点针对待比对图像数据的比对，能够减少分析节点无用比对的情况，从而节约计算资源，提高图像数据的比对效率。
本申请实施例还提供了一种图像数据比对系统，参见图7a，该系统包括：
管理节点101及多个分析节点1021；
上述管理节点用于：确定用于执行一比对任务的各分析节点，作为各第一分析节点，获取各上述第一分析节点的最大存储量及上述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析节点，该第一分析节点的最大存储量为该第一分析节点能够加载的样本特征数据的最大数据量；根据各上述第一分析节点的最大存储量及上述总数据量，为各上述第一分析节点分配样本特征数据，其中，各上述第一分析节点分别分配上述全量样本特征数据的部分样本特征数据，且各上述第一分析节点分配的样本特征数据的总和包括上述全量样本特征数据；根据为各上述第一分析节点分配的样本特征数据，分别生成各上述第一分析节点对应的数据加载指令，其中，针对任一第一分析节点，该第一分析节点对应的数据加载指令表示分配给该第一分析节点的样本特征数据；分别向各上述第一分析节点发送对应的数据加载指令；
上述分析节点用于，根据接收到的数据加载指令，加载上述管理节点分配给自身的样本特征数据；获取待比对图像数据，将上述待比对图像数据与自身加载的样本特征数据进行比对，得到上述待比对图像数据的比对结果。
管理节点可以为分析节点，也可以为区别于分析节点的其他硬件。分析节点可以为CPU、GPU、APU、TPU、FPGA或嵌入式处理芯片等智能分析处理硬件，多个分析节点可以在同一台设备中，也可以分布在多个不同的设备中，本申请实施例中不做具体限定。
在一种可能的实施方式中，参见图7b，执行同一比对任务的多个分析节点1021逻辑上组成一个智能单元组102，一个智能单元组102对应一个比对库103。
比对库(也可以称为名单库)是一类目标物体所组成的集合，比对库中包含输入的图片经过智能分析建模后样本特征数据和辅助信息。例如，以人脸比对库为例，人脸比对库可以是一类人员所组成的集合，例如高危人员，会员客户等。人脸比对库中的样本特征数据通常是人脸特征值数据，辅助信息通常包括：人员的身份信息和人脸图片等；身份信息通常可以为身份证号码，姓名，性别等信息，用于协助报警提示的操作。
多个分析节点逻辑上组成一个智能单元组，智能单元组通常按照实际应用业务进行划分，智能单元组之间可以实现相同的业务，也可以实现不同的业务，本申请实施例中不做具体限定。例如智能单元组1实现的是高危人员(逃犯)的分析比对报警，智能单元组2实现的是会员人员的分析比对提醒。智能单元组可以是用户自定义划分的，例如，在进行分析比对之前，由工作人员人工选择若干个智能单元来组成智能单元组。智能单元组也可以为按照预设规则自动划分的，例如将同一型号或同一批次的多个分析节点划分为一个智能单元组等。
图像数据比对系统可以包括一个或多个智能单元组，例如图8所示，每个智能单元组可以对应一个图片队列(或一个图片队列集群)及多个图片输入通道。图片输入通道可以为从高清监控视频画面中提取的目标图片的通道，例如人脸图像或车辆图像，将图像接入到图片队列中，图片输入通道可以为多个。通常情况下，每个图片输入通道至少对应一个监控点位。图片队列用于接收图片输入通道输入的图像，对接收到的输入图像进行排序，排序规则不做具体限定。通常按照图像的输入时间进行排序，也可以根据其他条件进行排序，例如，按照报警重要程度进行排序等。
管理节点101可以分别针对每个智能单元组进行样本特征数据的分配。具体的，在针对一个智能单元组102(为了方便描述，以下称为第一智能单元组)进行样本特征数据分配时，管理节点101获取第一智能单元组的各分析节点(为了方便描述，以下称为各第一分析节点)的最大存储量及第一智能单元组对应的比对库中全量样本特征数据(为了方便描述，以下称为第一全量样本特征数据)的总数据量。
一般情况下，各第一分析节点的最大存储量的和是大于第一全量样本特征数据的总数据量的，当各第一智分析节点的最大存储量的和小于第一全量样本特征数据的总数据量时，可以向用户展示表示需要增加第一分析节点的提示消息。若在各第一分析节点的最大存储量的和小于第一全量样本特征数据的总数据量的情况下，用户仍要执行图像数据比对，在一种可能的实施方式中，上述管理节点101还用于：针对同一智能单元组，计算该智能单元组各分析节点的最大存储量的和，得到第一数据量；若上述第一数据量小于上述总数据量，在该智能单元组的全量样本特征数据中删除部分样本特征数据，使得该智能单元组的更新后的全量样本特征数据的总数据量不大于上述第一数据量。
管理节点101根据各第一分析节点的最大存储量及第一全量样本特征数据的总数据量，为各第一分析节点分配样本特征数据，其中，各第一分析节点分别分配第一全量样本特征数据中的部分样本特征数据，且各第一分析节点分配的样本特征数据的总和包括第一全量样本特征数据。
各分析节点1021分别加载管理节点101分配给自身的样本特征数据；获取待比对图像数据，将待比对图像数据与自身加载的样本特征数据进行比对，得到待比对图像数据的比对结果。在一种可能的实施方式中，上述分析节点1021具体用于：获取待比对图像数据；将上述待比对图像数据与自身加载的样本特征数据进行比对；当待比对图像数据与任一样本特征数据的比对结果的置信度大于预设置信度阈值时，发送针对上述待比对图像数据的比对结束消息，并将置信度大于预设置信度阈值的比对结果作为上述待比对图像数据的比对结果。
分析节点1021可以直接向同一智能单元组内的各分析节点1021组播针对待比对图像数据的比对结束消息，当然也可以向管理节点101发送针对待比对图像数据的比对结束消息，由管理节点101向同一智能单元组内的各分析节点1021转发针对待比对图像数据的比对结束消息。在一种可能的实施方式中，上述分析节点1021还用于：在接收到针对上述待比对图像数据的比对结束消息时，结束针对上述待比对图像数据的比对任务。
在为各分析节点分配样本特征数据的过程中，可以为每个分析节点平均分配样本特征数据，也可以按照各分析节点的实际存储能力，为各分析节点分配样本特征数据。在一种可能的实施方式中，上述管理节点具体101用于：计算各上述第一分析节点的最大存储量的和，得到第一数据量；计算各上述第一分析节点的最大存储量与上述第一数据量的比值，得到各上述第一分析节点的数据量占比；根据各上述第一分析节点的数据量占比及上述总数据量，得到各上述第一分析节点的待分配数据量，其中，针对任一第一分析节点，该第一分析节点的待分配数据量与该第一分析节点的数据量占比正相关；针对任一第一分析节点，为该第一分析节点分配该第一分析节点待分配数据量大小的样本特征数据，其中，各上述第一分析节点分配的样本特征数据不存在交集。
为了进一步提高图像数据的比对速度，在分配样本特征数据的过程中，还可以考虑各分析节点的数据处理能力。在一种可能的实施方式中，上述管理节点101具体用于：获取各上述第一分析节点的分析能力系数，其中，上述分析能力系数表示第一分析节点的数据处理能力；基于上述总数据量、各上述第一分析节点的分析能力系数及各上述第一分析节点的最大存储量，为各上述第一分析节点分配样本特征数据，其中，针对任一第一分析节点，该第一分析节点分配的样本特征数据的数据量与该第一分析节点的分析能力系数正相关，且该第一分析节点分配的样本特征数据的数据量不大于该第一分析节点的最大存储量。
在一种可能的实施方式中，上述管理节点101具体用于：
步骤A，计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与上述系数和的比值，分别得到各未分配节点的分析能力占比，其中，上述未分配节点为尚未分配样本特征数据的第一分析节点；
步骤B，根据各未分配节点的分析能力占比及上述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关；
步骤C，若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各上述第一分析节点分配的样本特征数据不存在交集；
步骤D，若存在目标分析节点，针对任一目标分析节点，在上述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤A继续执行，其中，上述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的第一分析节点。
步骤A-步骤D均为针对同一智能单元组中的各分析节点执行的操作，即一次循环过程中步骤A-步骤D中提及的各分析节点均为同一智能单元组中分析节点，全量样本特征数据为该智能单元组对应的比对库的全量样本特征数据。
为了方便分析节点的分析能力系数及最大存储量的管理，可以将同一智能单元组中的分析节点分为不同的种类，每一种类可以包含一个或多个分析节点，同一种类中的各分析节点的分析能力系数及最大存储量相同。在一种可能的实施方式中，一个上述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同，上述管理节点101具体用于：
步骤a，计算各未分配节点的分析能力系数的系数和，其中，上述未分配节点为尚未分配样本特征数据的第一分析节点；
步骤b，针对任一未分配种类，计算该种类中单个第一分析节点的分析能力系数与上述系数和的比值，得到该种类中单个第一分析节点的分析能力占比，上述未分配种类为尚未分配样本特征数据的第一分析节点所属种类；
步骤c，针对任一未分配种类，根据该种类中单个第一分析节点的分析能力占比及上述总数据量，得到该种类中单个第一分析节点的待分配数据量，其中，针对任一第一分析节点，该第一分析节点的待分配数据量与该第一分析节点的分析能力占比正相关；
步骤d，若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的第一分析节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该第一分析节点自身待分配数据量大小的样本特征数据，分配给该第一分析节点，其中，各上述第一分析节点分配的样本特征数据不存在交集；
步骤e，若存在目标种类，针对任一目标种类，在上述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各第一分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各第一分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤a继续执行，其中，上述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
步骤a-步骤e均为针对同一智能单元组中的各分析节点执行的操作，即一次循环过程中步骤a-步骤e中提及的各分析节点均为同一智能单元组中分析节点，全量样本特征数据为该智能单元组对应的比对库的全量样本特征数据。
具体的，以一个智能单元组为例进行说明：智能单元组中各分析节点为p种，第i种(i∈[1,p])中分析节点的个数为qi，第i种中单个分析节点分析能力系数为ci，第i种中单个分析节点的最大存储量为hi，该智能单元组对应的全量样本特征数据中未分配的样本特征数据的数量为W。则该智能单元组内各分析节点的分析能力系数的系数和为：第i种中单个分析节点在该智能单元组内的分析能力占比为：/>该智能单元组内各分析节点的最大存储量的总和为：/>分配到第i种的单个分析节点的样本特征数据的分配数据量为：mi＝ri×W。
以一个智能单元组为例，管理节点101用于：
步骤1，计算该智能单元组中各分析节点的最大存储量的总和S，获取该智能单元组对应的全量样本特征数据的数据量W，若S不小于W，则继续执行步骤2，若S小于W，则将全量样本特征数据的数据量W调整为不大于S。
步骤2，将该智能单元组中所有的分析节点标记为未完成分配。
步骤3，计算该智能单元组中标记为未完成分配的各分析节点的分析能力系数的系数和C。
步骤4，计算该智能单元组内标记为未完成分配的各分析节点的分析能力占比ri。
步骤5，根据各分析节点的分析能力占比ri，对各分析节点进行排序，例如，可以按照ri从大到小的顺序进行排序，即分析比对能力强的分析节点排在前，分析比对能力弱的分析节点排在后。
步骤6，根据全量样本特征数据中未分配的样本特征数据的数据量，按照排序和对应的ri进行拆分，计算得到应该分配给第i种中单个分析节点的分配数据量mi。
步骤7，将mi与第i种中每一个分析节点的最大存储量hi进行比较。如果各hi均不小于mi，分配给第i种中每个分析节点mi大小的样本特征数据，将第i种中各分析节点标记为已经完成分配，继续执行步骤8。如果存在hi小于mi，分配给第i种中每个分析节点各自的hi大小的样本特征数据，将第i种中各分析节点标记为已经完成分配，将W更新为未全量样本特征数据中未分配的样本特征数据的数据量，返回步骤3继续执行。
步骤8，利用各分析节点分别加载步骤7中自身分配的样本特征数据。
除了系统初始化时需要对各分析节点进行样本特征数据的分配，在一种可能的实施方式中，上述管理节点101还用于：当一个智能单元组中新增分析节点和/或上述一个智能单元组中新增样本特征数据时，触发针对上述一个智能单元组的样本特征数据的分配。
以在指定智能单元组中同时新增分析节点及新增样本特征数据为例，管理节点101还用于：
步骤一，当增加新的分析节点到指定智能单元组内时，识别新增的分析节点的种类，并修改指定智能单元组内的种类和相应种类对应的分析节点的个数。
步骤二，重新计算得到指定智能单元组中各分析节点的最大存储量的总和S，获取指定智能单元组对应的比对库中新增的样本特征数据的数据量V，比对库中原有的样本特征数据的数据量为W，则指定智能单元组对应的比对库中当前的全量样本特征数据的总数据量为W+V，若S不小于W+V，则继续执行步骤三，若S小于W+V，则将全量样本特征数据的数据量W+V调整为不大于S。
步骤三，将该指定智能单元组中所有的分析节点标记为未完成分配。
步骤四，计算该指定智能单元组中标记为未完成分配的各分析节点的分析能力系数的系数和C；
步骤五，计算该指定智能单元组内标记为未完成分配的各分析节点的分析能力占比ri。
步骤六，根据该指定智能单元组中各分析节点的分析能力占比ri，对各分析节点进行排序，例如，可以按照ri从大到小的顺序进行排序，即分析比对能力强的分析节点排在前，分析比对能力弱的分析节点排在后。
步骤七，根据全量样本特征数据中未分配的样本特征数据的数据量，按照排序和对应的ri进行拆分，计算得到应该分配给第i种中单个分析节点的分配数据量mi。
步骤八，将mi与第i种中每一个分析节点的最大存储量hi进行比较。如果各分析节点的hi均不小于mi，分配给第i种中每个分析节点mi大小的样本特征数据，将第i种中各分析节点标记为已经完成分配，继续执行步骤九。如果存在hi小于mi，分配给第i种中每个分析节点各自的hi大小的样本特征数据，将第i种中各分析节点标记为已经完成分配，将W更新为未全量样本特征数据中未分配的样本特征数据的数据量，返回步骤四继续执行；
步骤九，利用各分析节点分别加载步骤八中自身分配的样本特征数据。
其中，指定智能单元组内各分析节点加载总数据量为W+V的全量样本特征数据的示意图如图9所示。
在一种可能的实施方式中，执行同一比对任务的各分析节点为一个智能单元组，同一智能单元组中同一时刻下各分析节点并行执行针对同一图像数据的比对；
上述分析节点具体用于：获取待比对图像数据；将上述待比对图像数据与自身加载的样本特征数据进行比对；当待比对图像数据与任一样本特征数据的比对结果的置信度大于预设置信度阈值时，向目的端发送针对上述待比对图像数据的比对结束消息，并将置信度大于预设置信度阈值的比对结果作为上述待比对图像数据的比对结果，其中，上述目的端为上述管理节点或上述分析节点自身所属的智能单元组中的各分析节点。
在一分析节点将待比对图像数据与自身加载的样本特征数据比对的过程中，当待比对图像数据与任一样本特征数据的比对结果的置信度大于预设置信度阈值时，该分析节点向管理节点发送针对待比对图像数据的比对结束消息；管理节点再向执行对待比对图像数据的比对的各分析节点转发该比对结束消息。
或在一分析节点将待比对图像数据与自身加载的样本特征数据比对的过程中，当待比对图像数据与任一样本特征数据的比对结果的置信度大于预设置信度阈值时，该分析节点向该分析节点所属的智能单元组中的各分析节点发送针对待比对图像数据的比对结束消息。
在一种可能的实施方式中，上述分析节点还用于：在接收到针对上述待比对图像数据的比对结束消息时，结束针对上述待比对图像数据的比对任务。
本申请实施例还提供了一种图像数据比对装置，该装置包括：
管理模块和多个分析模块。
上述管理模块用于：确定用于执行一比对任务的各分析模块，作为各第一分析模块，获取各上述第一分析模块的最大存储量及上述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析模块，该第一分析模块的最大存储量为该第一分析模块能够加载的样本特征数据的最大数据量；根据各上述第一分析模块的最大存储量及上述总数据量，为各上述第一分析模块分配样本特征数据，其中，各上述第一分析模块分别分配上述全量样本特征数据的部分样本特征数据，且各上述第一分析模块分配的样本特征数据的总和包括上述全量样本特征数据；根据为各上述第一分析模块分配的样本特征数据，分别生成各上述第一分析模块对应的数据加载指令，其中，针对任一第一分析模块，该第一分析模块对应的数据加载指令表示分配给该第一分析模块的样本特征数据；分别向各上述第一分析模块发送对应的数据加载指令。
上述分析模块用于，根据接收到的数据加载指令，加载上述管理模块分配给自身的样本特征数据；获取待比对图像数据，将上述待比对图像数据与自身加载的样本特征数据进行比对，得到上述待比对图像数据的比对结果。
可选的，管理模块与分析模块的功能及数据交互，可以参见上述图像数据比对系统中管理节点与分析节点的功能及数据交互。与上述图像数据比对系统中管理节点针对分析节点执行的样本特征数据分配的流程类似，本申请实施例中的管理模块针对分析模块可以执行相同的样本特征数据分配的流程。可选的，与上述图像数据比对系统中分析节点执行图像比对的流程类似，本申请实施例中分析模块可以执行相同的图像比对的流程。
本申请实施例还提供了一种图像数据比对装置，参见图10，该装置包括：
最大存储量获取模块201，用于获取用于执行比对任务的各分析节点的最大存储量及上述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；
样本特征数据分配模块202，用于根据各上述分析节点的最大存储量及上述总数据量，为各上述分析节点分配样本特征数据，其中，各上述分析节点分别分配上述全量样本特征数据的部分样本特征数据，且各上述分析节点分配的样本特征数据的总和包括上述全量样本特征数据；
加载指令生成模块203，用于根据为各上述分析节点分配的样本特征数据，分别生成各上述分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据；
加载指令发送模块204，用于分别向各上述分析节点发送对应的数据加载指令，以使各上述分析节点分别加载自身所分配的样本特征数据，并使各上述分析节点分别将待比对图像数据与各上述分析节点自身加载的样本特征数据进行比对，得到上述待比对图像数据的比对结果。
在一种可能的实施方式中，上述样本特征数据分配模块202，包括：
分析能力系数获取子模块，用于获取各上述分析节点的分析能力系数，其中，上述分析能力系数表示分析节点的数据处理能力；
数据量计算子模块，用于基于上述总数据量、各上述分析节点的分析能力系数及各上述分析节点的最大存储量，为各上述分析节点分配样本特征数据，其中，针对任一分析节点，该分析节点分配的样本特征数据的数据量与该分析节点的分析能力系数正相关，且该分析节点分配的样本特征数据的数据量不大于该分析节点的最大存储量。
在一种可能的实施方式中，上述数据量计算子模块，包括：
分析能力占比计算单元，用于计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与上述系数和的比值，分别得到各未分配节点的分析能力占比，其中，上述未分配节点为尚未分配样本特征数据的分析节点；
待分配数据量计算单元，用于根据各未分配节点的分析能力占比及上述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关；
第一数据分配单元，用于若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各上述分析节点分配的样本特征数据不存在交集；
第二数据分配单元，若存在目标分析节点，针对任一目标分析节点，在上述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述分析能力占比计算单元继续执行，其中，上述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的分析节点。
在一种可能的实施方式中，一个上述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同；上述数据量计算子模块，包括：
系数和计算单元，用于计算各未分配节点的分析能力系数的系数和，其中，上述未分配节点为尚未分配样本特征数据的分析节点；
第一计算单元，用于针对任一未分配种类，计算该种类中单个分析节点的分析能力系数与上述系数和的比值，得到该种类中单个分析节点的分析能力占比，其中，上述未分配种类为尚未分配样本特征数据的分析节点所属种类；
第二计算单元，用于针对任一未分配种类，根据该种类中单个分析节点的分析能力占比及上述总数据量，得到该种类中单个分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的分析能力占比正相关；
第一分配单元，用于若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的分析节点，在上述全量样本特征数据的未分配的样本特征数据中，选取该分析节点自身待分配数据量大小的样本特征数据，分配给该分析节点，其中，各上述分析节点分配的样本特征数据不存在交集；
第二分配单元，用于若存在目标种类，针对任一目标种类，在上述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各分析节点，将上述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述系数和计算单元继续执行，其中，上述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
在一种可能的实施方式中，上述样本特征数据分配模块202，具体用于：获取各上述分析节点的最大存储量的和，得到第一数据量；计算各上述分析节点的最大存储量与上述第一数据量的比值，得到各上述分析节点的数据量占比；根据各上述分析节点的数据量占比及上述总数据量，得到各上述分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的数据量占比正相关；针对任一分析节点，为该分析节点分配该分析节点待分配数据量大小的样本特征数据，其中，各上述分析节点分配的样本特征数据不存在交集。
在一种可能的实施方式中，上述图像数据比对模块204，具体用于：分别向各上述分析节点发送对应的数据加载指令，以使各上述分析节点分别加载自身所分配的样本特征数据，并使各上述分析节点并行将上述待比对图像数据与各上述分析节点自身加载的样本特征数据进行比对；当任一上述分析节点比对得到置信度大于预设置信度阈值的比对结果时，结束各上述分析节点针对上述待比对图像数据的比对，将置信度大于预设置信度阈值的比对结果作为上述待比对图像数据的比对结果。
在一种可能的实施方式中，上述装置还包括：
全量样本特征数据更新模块，用于计算各上述分析节点的最大存储量的和，得到第一数据量；若上述第一数据量小于上述总数据量，在上述全量样本特征数据中删除部分样本特征数据，使得删除后的上述全量样本特征数据的总数据量不大于上述第一数据量。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一图像数据比对方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像数据比对方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (12)
1.一种图像数据比对方法，其特征在于，所述方法包括：
获取用于执行比对任务的各分析节点的最大存储量及所述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；
根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，其中，各所述分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述分析节点分配的样本特征数据的总和包括所述全量样本特征数据；
根据为各所述分析节点分配的样本特征数据，分别生成各所述分析节点对应的数据加载指令，其中，针对任一分析节点，该分析节点对应的数据加载指令表示分配给该分析节点的样本特征数据；
分别向各所述分析节点发送对应的数据加载指令，以使各所述分析节点分别加载自身所分配的样本特征数据，并使各所述分析节点分别将待比对图像数据与各所述分析节点自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果；
所述根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，包括：
获取各所述分析节点的分析能力系数，其中，所述分析能力系数表示分析节点的数据处理能力；
基于所述总数据量、各所述分析节点的分析能力系数及各所述分析节点的最大存储量，为各所述分析节点分配样本特征数据，其中，针对任一分析节点，该分析节点分配的样本特征数据的数据量与该分析节点的分析能力系数正相关，且该分析节点分配的样本特征数据的数据量不大于该分析节点的最大存储量；
所述基于所述总数据量、各所述分析节点的分析能力系数及各所述分析节点的最大存储量，为各所述分析节点分配样本特征数据，包括：
步骤A，计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与所述系数和的比值，分别得到各未分配节点的分析能力占比，其中，所述未分配节点为尚未分配样本特征数据的分析节点；
步骤B，根据各未分配节点的分析能力占比及所述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关；
步骤C，若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各所述分析节点分配的样本特征数据不存在交集；
步骤D，若存在目标分析节点，针对任一目标分析节点，在所述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤A继续执行，其中，所述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的分析节点
或
一个所述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同；
所述基于所述总数据量、各所述分析节点的分析能力系数及各所述分析节点的最大存储量，为各所述分析节点分配样本特征数据，包括：
步骤a，计算各未分配节点的分析能力系数的系数和，其中，所述未分配节点为尚未分配样本特征数据的分析节点；
步骤b，针对任一未分配种类，计算该种类中单个分析节点的分析能力系数与所述系数和的比值，得到该种类中单个分析节点的分析能力占比，其中，所述未分配种类为尚未分配样本特征数据的分析节点所属种类；
步骤c，针对任一未分配种类，根据该种类中单个分析节点的分析能力占比及所述总数据量，得到该种类中单个分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的分析能力占比正相关；
步骤d，若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的分析节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该分析节点自身待分配数据量大小的样本特征数据，分配给该分析节点，其中，各所述分析节点分配的样本特征数据不存在交集；
步骤e，若存在目标种类，针对任一目标种类，在所述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤a继续执行，其中，所述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，包括：
获取各所述分析节点的最大存储量的和，得到第一数据量；
计算各所述分析节点的最大存储量与所述第一数据量的比值，得到各所述分析节点的数据量占比；
根据各所述分析节点的数据量占比及所述总数据量，得到各所述分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的数据量占比正相关；
针对任一分析节点，为该分析节点分配该分析节点待分配数据量大小的样本特征数据，其中，各所述分析节点分配的样本特征数据不存在交集。
3.根据权利要求1所述的方法，其特征在于，所述各所述分析节点分别将待比对图像数据与各所述分析节点自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果，包括：
各所述分析节点并行将所述待比对图像数据与各所述分析节点自身加载的样本特征数据进行比对；
当任一所述分析节点比对得到置信度大于预设置信度阈值的比对结果时，结束各所述分析节点针对所述待比对图像数据的比对，将置信度大于预设置信度阈值的比对结果作为所述待比对图像数据的比对结果。
4.根据权利要求1所述的方法，其特征在于，在所述获取用于执行比对任务的各分析节点的最大存储量及所述比对任务对应的全量样本特征数据的总数据量之后，所述方法还包括：
计算各所述分析节点的最大存储量的和，得到第一数据量；
若所述第一数据量小于所述总数据量，在所述全量样本特征数据中删除部分样本特征数据，使得删除后的所述全量样本特征数据的总数据量不大于所述第一数据量。
5.一种图像数据比对系统，其特征在于，所述系统包括：
管理节点及多个分析节点；
所述管理节点用于：确定用于执行一比对任务的各分析节点，作为各第一分析节点，获取各所述第一分析节点的最大存储量及所述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析节点，该第一分析节点的最大存储量为该第一分析节点能够加载的样本特征数据的最大数据量；根据各所述第一分析节点的最大存储量及所述总数据量，为各所述第一分析节点分配样本特征数据，其中，各所述第一分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述第一分析节点分配的样本特征数据的总和包括所述全量样本特征数据；根据为各所述第一分析节点分配的样本特征数据，分别生成各所述第一分析节点对应的数据加载指令，其中，针对任一第一分析节点，该第一分析节点对应的数据加载指令表示分配给该第一分析节点的样本特征数据；分别向各所述第一分析节点发送对应的数据加载指令；
所述分析节点用于，根据接收到的数据加载指令，加载所述管理节点分配给自身的样本特征数据；获取待比对图像数据，将所述待比对图像数据与自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果；
所述管理节点具体用于：获取各所述第一分析节点的分析能力系数，其中，所述分析能力系数表示第一分析节点的数据处理能力；基于所述总数据量、各所述第一分析节点的分析能力系数及各所述第一分析节点的最大存储量，为各所述第一分析节点分配样本特征数据，其中，针对任一第一分析节点，该第一分析节点分配的样本特征数据的数据量与该第一分析节点的分析能力系数正相关，且该第一分析节点分配的样本特征数据的数据量不大于该第一分析节点的最大存储量；
所述管理节点具体用于：
步骤A，计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与所述系数和的比值，分别得到各未分配节点的分析能力占比，其中，所述未分配节点为尚未分配样本特征数据的第一分析节点；
步骤B，根据各未分配节点的分析能力占比及所述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关；
步骤C，若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各所述第一分析节点分配的样本特征数据不存在交集；
步骤D，若存在目标分析节点，针对任一目标分析节点，在所述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤A继续执行，其中，所述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的第一分析节点；
或
一个所述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同，所述管理节点具体用于：
步骤a，计算各未分配节点的分析能力系数的系数和，其中，所述未分配节点为尚未分配样本特征数据的第一分析节点；
步骤b，针对任一未分配种类，计算该种类中单个第一分析节点的分析能力系数与所述系数和的比值，得到该种类中单个第一分析节点的分析能力占比，所述未分配种类为尚未分配样本特征数据的第一分析节点所属种类；
步骤c，针对任一未分配种类，根据该种类中单个第一分析节点的分析能力占比及所述总数据量，得到该种类中单个第一分析节点的待分配数据量，其中，针对任一第一分析节点，该第一分析节点的待分配数据量与该第一分析节点的分析能力占比正相关；
步骤d，若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的第一分析节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该第一分析节点自身待分配数据量大小的样本特征数据，分配给该第一分析节点，其中，各所述第一分析节点分配的样本特征数据不存在交集；
步骤e，若存在目标种类，针对任一目标种类，在所述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各第一分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各第一分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回上述步骤a继续执行，其中，所述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
6.根据权利要求5所述的系统，其特征在于，所述管理节点具体用于：计算各所述第一分析节点的最大存储量的和，得到第一数据量；计算各所述第一分析节点的最大存储量与所述第一数据量的比值，得到各所述第一分析节点的数据量占比；根据各所述第一分析节点的数据量占比及所述总数据量，得到各所述第一分析节点的待分配数据量，其中，针对任一第一分析节点，该第一分析节点的待分配数据量与该第一分析节点的数据量占比正相关；针对任一第一分析节点，为该第一分析节点分配该第一分析节点待分配数据量大小的样本特征数据，其中，各所述第一分析节点分配的样本特征数据不存在交集。
7.根据权利要求5所述的系统，其特征在于，执行同一比对任务的各分析节点为一个智能单元组，同一智能单元组中同一时刻下各分析节点并行执行针对同一图像数据的比对；
所述分析节点具体用于：获取待比对图像数据；将所述待比对图像数据与自身加载的样本特征数据进行比对；当待比对图像数据与任一样本特征数据的比对结果的置信度大于预设置信度阈值时，向目的端发送针对所述待比对图像数据的比对结束消息，并将置信度大于预设置信度阈值的比对结果作为所述待比对图像数据的比对结果，其中，所述目的端为所述管理节点或所述分析节点自身所属的智能单元组中的各分析节点。
8.根据权利要求7所述的系统，其特征在于，所述分析节点还用于：在接收到针对所述待比对图像数据的比对结束消息时，结束针对所述待比对图像数据的比对任务。
9.根据权利要求7所述的系统，其特征在于，所述管理节点还用于：当一个智能单元组中新增分析节点和/或所述一个智能单元组中新增样本特征数据时，触发针对所述一个智能单元组的样本特征数据的分配。
10.根据权利要求5所述的系统，其特征在于，所述管理节点还用于：计算各所述第一分析节点的最大存储量的和，得到第一数据量；若所述第一数据量小于所述总数据量，在所述全量样本特征数据中删除部分样本特征数据，使得删除后的所述全量样本特征数据的总数据量不大于所述第一数据量。
11.一种图像数据比对装置，其特征在于，所述装置包括：
管理模块和多个分析模块；
所述管理模块用于：确定用于执行一比对任务的各分析模块，作为各第一分析模块，获取各所述第一分析模块的最大存储量及所述一比对任务对应的全量样本特征数据的总数据量，其中，针对任一第一分析模块，该第一分析模块的最大存储量为该第一分析模块能够加载的样本特征数据的最大数据量；根据各所述第一分析模块的最大存储量及所述总数据量，为各所述第一分析模块分配样本特征数据，其中，各所述第一分析模块分别分配所述全量样本特征数据的部分样本特征数据，且各所述第一分析模块分配的样本特征数据的总和包括所述全量样本特征数据；根据为各所述第一分析模块分配的样本特征数据，分别生成各所述第一分析模块对应的数据加载指令，其中，针对任一第一分析模块，该第一分析模块对应的数据加载指令表示分配给该第一分析模块的样本特征数据；分别向各所述第一分析模块发送对应的数据加载指令；
所述分析模块用于，根据接收到的数据加载指令，加载所述管理模块分配给自身的样本特征数据；获取待比对图像数据，将所述待比对图像数据与自身加载的样本特征数据进行比对，得到所述待比对图像数据的比对结果；最大存储量获取模块，用于获取用于执行比对任务的各分析节点的最大存储量及所述比对任务对应的全量样本特征数据的总数据量，其中，针对任一分析节点，该分析节点的最大存储量为该分析节点能够加载的样本特征数据的最大数据量；
样本特征数据分配模块，用于根据各所述分析节点的最大存储量及所述总数据量，为各所述分析节点分配样本特征数据，其中，各所述分析节点分别分配所述全量样本特征数据的部分样本特征数据，且各所述分析节点分配的样本特征数据的总和包括所述全量样本特征数据；
所述样本特征数据分配模块，包括：分析能力系数获取子模块和数据量计算子模块；
所述分析能力系数获取子模块，用于获取各所述分析节点的分析能力系数，其中，所述分析能力系数表示分析节点的数据处理能力；
所述数据量计算子模块，用于基于所述总数据量、各所述分析节点的分析能力系数及各所述分析节点的最大存储量，为各所述分析节点分配样本特征数据，其中，针对任一分析节点，该分析节点分配的样本特征数据的数据量与该分析节点的分析能力系数正相关，且该分析节点分配的样本特征数据的数据量不大于该分析节点的最大存储量；
所述数据量计算子模块，包括：分析能力占比计算单元、待分配数据量计算单元、第一数据分配单元、第二数据分配单元；
所述分析能力占比计算单元，用于计算各未分配节点的分析能力系数的系数和，并计算各未分配节点的分析能力系数与所述系数和的比值，分别得到各未分配节点的分析能力占比，其中，所述未分配节点为尚未分配样本特征数据的分析节点；
所述待分配数据量计算单元，用于根据各未分配节点的分析能力占比及所述总数据量，分别得到各未分配节点的待分配数据量，其中，针对任一未分配节点，该未分配节点的待分配数据量与该未分配节点的分析能力占比正相关；
所述第一数据分配单元，用于若各未分配节点的待分配数据量均不大于自身的最大存储量，针对任一未分配节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该未分配节点自身待分配数据量大小的样本特征数据，分配给该未分配节点，其中，各所述分析节点分配的样本特征数据不存在交集；
所述第二数据分配单元，若存在目标分析节点，针对任一目标分析节点，在所述全量样本特征数据的未分配的特征数据中，选取该目标分析节点最大存储量大小的特征数据，分配给该目标分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回所述分析能力占比计算单元继续执行，其中，所述目标分析节点为待分配数据量大于自身的最大存储量的未分配样本特征数据的分析节点；
或
一个所述分析节点属于一个种类，同一种类中的各分析节点的分析能力系数及最大存储量相同；所述数据量计算子模块，包括：
系数和计算单元，用于计算各未分配节点的分析能力系数的系数和，其中，所述未分配节点为尚未分配样本特征数据的分析节点；
第一计算单元，用于针对任一未分配种类，计算该种类中单个分析节点的分析能力系数与所述系数和的比值，得到该种类中单个分析节点的分析能力占比，其中，所述未分配种类为尚未分配样本特征数据的分析节点所属种类；
第二计算单元，用于针对任一未分配种类，根据该种类中单个分析节点的分析能力占比及所述总数据量，得到该种类中单个分析节点的待分配数据量，其中，针对任一分析节点，该分析节点的待分配数据量与该分析节点的分析能力占比正相关；
第一分配单元，用于若各未分配种类对应的待分配数据量均不大于自身种类对应的最大存储量，针对任一未分配样本特征数据的分析节点，在所述全量样本特征数据的未分配的样本特征数据中，选取该分析节点自身待分配数据量大小的样本特征数据，分配给该分析节点，其中，各所述分析节点分配的样本特征数据不存在交集；
第二分配单元，用于若存在目标种类，针对任一目标种类，在所述全量样本特征数据的未分配的特征数据中，分别为该目标种类中的各分析节点选取该目标种类对应的最大存储量大小的特征数据，分配给该目标种类中的各分析节点，将所述总数据量的大小更新为当前全量样本特征数据中未分配的特征数据的数据量大小，返回所述系数和计算单元继续执行，其中，所述目标种类为对应的待分配数据量大于自身对应的最大存储量的未分配样本特征数据的种类。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929152.5A CN112036502B (zh) | 2020-09-07 | 2020-09-07 | 图像数据比对方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929152.5A CN112036502B (zh) | 2020-09-07 | 2020-09-07 | 图像数据比对方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036502A CN112036502A (zh) | 2020-12-04 |
| CN112036502B true CN112036502B (zh) | 2023-08-08 |
Family
ID=73584951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010929152.5A Active CN112036502B (zh) | 2020-09-07 | 2020-09-07 | 图像数据比对方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036502B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940891A (zh) * | 2005-09-29 | 2007-04-04 | 国际商业机器公司 | 多节点计算机中存储器分配的方法和装置 |
| WO2010109645A1 (ja) * | 2009-03-27 | 2010-09-30 | グローリー株式会社 | 被写体識別方法、被写体識別プログラムおよび被写体識別装置 |
| JP2011145833A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi High-Technologies Corp | データ分散管理システム及びデータ分散管理方法 |
| CN103716381A (zh) * | 2013-12-12 | 2014-04-09 | 华为技术有限公司 | 一种分布式系统的控制方法，及管理节点 |
| CN109101325A (zh) * | 2017-06-21 | 2018-12-28 | 杭州海康威视数字技术股份有限公司 | 一种任务调度方法、装置、系统及电子设备 |
| CN109711228A (zh) * | 2017-10-25 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 一种实现图像识别的图像处理方法及装置、电子设备 |
| CN109829376A (zh) * | 2018-12-28 | 2019-05-31 | 深兰盛视科技（苏州）有限公司 | 生物信息识别方法、装置、系统及计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2010135495A (ru) * | 2010-08-24 | 2012-02-27 | ЭлЭсАй Корпорейшн (US) | Видеотранскодер с гибким управлением качеством и сложностью |
| US9155320B2 (en) * | 2011-07-06 | 2015-10-13 | International Business Machines Corporation | Prefix-based leaf node storage for database system |
| US10922118B2 (en) * | 2018-05-11 | 2021-02-16 | International Business Machines Corporation | Distributed container image repository service |
-
2020
- 2020-09-07 CN CN202010929152.5A patent/CN112036502B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940891A (zh) * | 2005-09-29 | 2007-04-04 | 国际商业机器公司 | 多节点计算机中存储器分配的方法和装置 |
| WO2010109645A1 (ja) * | 2009-03-27 | 2010-09-30 | グローリー株式会社 | 被写体識別方法、被写体識別プログラムおよび被写体識別装置 |
| JP2011145833A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi High-Technologies Corp | データ分散管理システム及びデータ分散管理方法 |
| CN103716381A (zh) * | 2013-12-12 | 2014-04-09 | 华为技术有限公司 | 一种分布式系统的控制方法，及管理节点 |
| CN109101325A (zh) * | 2017-06-21 | 2018-12-28 | 杭州海康威视数字技术股份有限公司 | 一种任务调度方法、装置、系统及电子设备 |
| CN109711228A (zh) * | 2017-10-25 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 一种实现图像识别的图像处理方法及装置、电子设备 |
| CN109829376A (zh) * | 2018-12-28 | 2019-05-31 | 深兰盛视科技（苏州）有限公司 | 生物信息识别方法、装置、系统及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 分层式大数据存储系统缓存调度策略与性能优化研究;舒鹏;南京大学;第1-80页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036502A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10778707B1 (en) | Outlier detection for streaming data using locality sensitive hashing | |
| US8434085B2 (en) | Scalable scheduling of tasks in heterogeneous systems | |
| CN108182633B (zh) | 贷款数据处理方法、装置、计算机设备和存储介质 | |
| CN112700180A (zh) | 一种拣货方法和拣货装置 | |
| CN109062683B (zh) | 主机资源分配的方法、装置及计算机可读存储介质 | |
| CN115794341A (zh) | 基于人工智能的任务调度方法、装置、设备及存储介质 | |
| CN116909751B (zh) | 一种云计算系统中的资源分配方法 | |
| CN112036502B (zh) | 图像数据比对方法、装置及系统 | |
| CN110781247B (zh) | 向量聚类方法、装置及存储介质 | |
| CN111667018A (zh) | 一种对象聚类的方法、装置、计算机可读介质及电子设备 | |
| CN112215655A (zh) | 一种客户画像的标签管理方法及系统 | |
| US20140172874A1 (en) | Intelligent analysis queue construction | |
| CN108830302B (zh) | 一种图像分类方法、训练方法、分类预测方法及相关装置 | |
| CN114553717B (zh) | 一种网络节点划分方法、装置、设备及存储介质 | |
| CN111091391B (zh) | 用于识别作弊用户的方法、装置和电子设备 | |
| CN111738539A (zh) | 一种拣货任务分配方法、装置、设备及介质 | |
| CN116187895B (zh) | 一种智能仓储货流规划方法、系统及电子设备 | |
| CN110457122B (zh) | 任务处理方法、任务处理装置和计算机系统 | |
| CN117056089B (zh) | 一种服务动态分配系统及方法 | |
| CN111178375B (zh) | 用于生成信息的方法和装置 | |
| CN114862606B (zh) | 一种基于云服务的保险信息处理方法、装置 | |
| CN115774800B (zh) | 基于numa架构的时变图处理方法、电子设备、介质 | |
| CN113726785B (zh) | 网络入侵检测方法、装置、计算机设备以及存储介质 | |
| CN113822301B (zh) | 分拣中心的分类方法及装置、存储介质、电子设备 | |
| CN113392138B (zh) | 一种隐私数据的统计分析方法、装置、服务器和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |