CN109359516A - 数据处理方法、数据处理装置以及电子设备 - Google Patents

数据处理方法、数据处理装置以及电子设备 Download PDF

Info

Publication number
CN109359516A
CN109359516A CN201811007980.2A CN201811007980A CN109359516A CN 109359516 A CN109359516 A CN 109359516A CN 201811007980 A CN201811007980 A CN 201811007980A CN 109359516 A CN109359516 A CN 109359516A
Authority
CN
China
Prior art keywords
data
matrix
value
data collection
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811007980.2A
Other languages
English (en)
Inventor
孙黎
白涛
马熠东
步衍浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing suneng Technology Co.,Ltd.
Original Assignee
Feng Feng Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feng Feng Technology (beijing) Co Ltd filed Critical Feng Feng Technology (beijing) Co Ltd
Priority to CN201811007980.2A priority Critical patent/CN109359516A/zh
Publication of CN109359516A publication Critical patent/CN109359516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提出一种数据处理方法、数据处理装置以及电子设备；其中，数据处理方法包含：获取第一矩阵数据集；对该第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；对该第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；根据该第一矩阵数据集与该第三矩阵数据集获得第四矩阵数据集；将该第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；将该特征数据集中的数据与对应的目标特征数据进行对比；输出对比结果。通过本申请的数据处理方法，在大规模库的庞大计算量的人脸检索对比的情况下，提高了计算速度的同时保持了计算精度的不变。

Description

数据处理方法、数据处理装置以及电子设备
技术领域
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、数据处理装置以及电子设备。
背景技术
人脸检索1：N人脸识别中用于从库中检索目标的最后一步。具体做法是在使用深度神经网络获得人脸的特征之后，使用这个特征在特征库中对比匹配找到最相似的人。目前人脸检索的直接对比法是指用提取的人脸特征和库中的特征一一对比，该方法的缺点是计算量很大，不适合大规模的库。
发明内容
本申请实施例提出一种数据处理方法、数据处理装置以及电子设备，用以解决现有技术中人脸检索的直接对比法中计算量大，不适合大规模库的问题。
根据本申请的一方面，提出一种数据处理方法、数据处理装置以及电子设备。其中，该数据处理方法应用于图形处理器，该数据处理方法包括：获取第一矩阵数据集；对该第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；对该第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；根据该第一矩阵数据集与该第三矩阵数据集获得第四矩阵数据集；将该第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；将该特征数据集中的数据与对应的目标特征数据进行对比；输出对比结果。
在一些实施例中，该第一矩阵数据集具有第一矩阵维度值，该第三矩阵数据集具有第二矩阵维度值，该第二矩阵维度值小于该第一矩阵维度值。在一些实施例中，该第二矩阵维度值的取值满足第一预设条件：该第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为该第二矩阵维度值的取值。
在一些实施例中，如果满足该第一预设条件的该第二矩阵维度值的取值多于一个，则该第二矩阵维度值的取值为多个满足该第一预设条件的第二矩阵维度值的取值的中间值。
在一些实施例中，将该第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：将该第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；将该第一特征数据集进一步量化到第三特定值域，得到第二特征数据集；
在一些实施例中，该第二特定值域的取值满足第二预设条件：特定比例的该第四矩阵数据集的特征数据在该第二特定值域内。
在一些实施例中，将该特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据进行对比；
在一些实施例中，将该第二特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，使用整数运算指令依次进行该向量乘法。
在一些实施例中，该第三矩阵数据集与该第四矩阵数据集具有相同的矩阵维度值。
根据本申请的另一方面，提出一种数据处理装置。该数据处理装置包含至少一个图形处理器，其特征在于，该数据处理装置包含：数据获取模块，用于获取第一矩阵数据集；第一数据处理模块，用于对该第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；第二数据处理模块，用于对该第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；第三数据处理模块，用于根据该第一矩阵数据集与该第三矩阵数据集获得第四矩阵数据集；数据量化模块，用于将该第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；数据对比模块，用于将该特征数据集中的数据与对应的目标特征数据进行对比；数据输出模块，用于输出对比结果。
在一些实施例中，该第一矩阵数据集具有第一矩阵维度值，该第三矩阵数据集具有第二矩阵维度值，该第二矩阵维度值小于该第一矩阵维度值。在一些实施例中，该第二矩阵维度值的取值满足第一预设条件：该第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为该第二矩阵维度值的取值。
在一些实施例中，如果满足该第一预设条件的该第二矩阵维度值的取值多于一个，则该第二矩阵维度值的取值为多个满足该第一预设条件的第二矩阵维度值的取值的中间值。
在一些实施例中，数据量化模块将该第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：将该第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；将该第一特征数据集进一步量化到第三特定值域，得到第二特征数据集；
在一些实施例中，该第二特定值域的取值满足第二预设条件：特定比例的该第四矩阵数据集的特征数据在该第二特定值域内。
在一些实施例中，将该特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据进行对比；
在一些实施例中，将该第二特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，使用整数运算指令依次进行所述向量乘法。
在一些实施例中，该第三矩阵数据集与该第四矩阵数据集具有相同的矩阵维度值。
根据本申请的另一方面，提出一种电子设备。其中，该电子设备包括：至少一个图形处理器；以及与该至少一个图形处理器连接的存储器；其中，该存储器存储有可被该至少一个图形处理器执行的指令，该指令被至少一个图形处理器执行时，使该至少一个图形处理器执行上述的数据处理方法。
本申请的实施例所揭示的数据处理方法，相对于现有技术节约了内存，并且在大规模库的庞大计算量的人脸检索对比的情况下，提高了计算速度的同时保持了计算精度的不变。
参照后文的说明和附图，详细申请了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
一个或多个实施例通过与之对应的附图进行实例性说明，这些实例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，附图不构成比例限制，并且其中：
图1是根据本申请的实施例提供的数据处理方法的整体流程图；
图2是根据本申请的实施例提供的数据处理装置的整体结构示意图；
图3是根据本申请的实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本领域技术技术人员知道，本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本申请可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
图1是根据本申请的实施例提供的数据处理方法的整体流程图；图1中所示的数据处理方法应用于图形处理器。如图1所示，本实施例中的数据处理方法执行步骤S11，即获取第一矩阵数据集，第一矩阵数据集是从外部的宿主存储器(Host Memory)中获取，该第一矩阵数据集也可以从诸如云端服务器等的云端获取，本实施例对此不做限制，在本申请的实施例中，第一矩阵数据集中的数据为库中所有人脸浮点数类型的深度特征数据。获取第一矩阵数据集之后，执行步骤S12，即对该第一矩阵数据集进行第一维度处理，获得第二矩阵数据集。
在本实施例中，假设在库中所有人脸浮点数类型的深度特征组成的第一矩阵数据集为一个n*k的矩阵A，即矩阵A总共有n行k列数据，其中n代表库中的n个人脸，k代表每个人脸中的各个人脸特征数据，例如鼻子、耳朵、眼睛等等，其中矩阵A中的每个数据的格式都为浮点数数据格式。对第一矩阵数据集进行的第一维度处理包括如下过程：
(1)将第一矩阵数据集A的n行中的每一行进行零均值化：即求出每一行的k个数据值的均值，用k个数据值分别减去均值，得到每一行都进行零均值化的矩阵A’；
(2)求出第(1)步中每一行都进行完零均值化的矩阵A’的协方差矩阵，记此均值协方差矩阵为B，矩阵B的大小k*k。
在本实施例中，零均值化矩阵A’的均值协方差矩阵B为即第二矩阵数据集，均值协方差矩阵B中的每个数据的格式都为浮点数数据格式。
获得第二矩阵数据集后，执行步骤S13，即对该第二矩阵数据集进行第二维度处理，获得第三矩阵数据集。其中，第一矩阵数据集具有第一矩阵维度值，第三矩阵数据集具有第二矩阵维度值，第二矩阵维度值小于该第一矩阵维度值。
第二矩阵维度值的取值满足第一预设条件：第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为该第二矩阵维度值的取值。
在本实施例中，在步骤S12中获得均值协方差矩阵B后，对均值协方差矩阵B进行如下处理：计算均值协方差矩阵的每一行的特征值和特征向量，并将特征向量按对应特征值大小从上到下按行排列成矩阵，由于矩阵B的大小为k*k，则矩阵B总共具有k个特征值与k个特征向量；计算第1个特征值到第k个特征值相对于1到k个特征值总和的比例，如果1到k中的前m个特征值的累加值在一特定区间内，例如，在本实施例中，特定区间为(0.9～0.95),且m能够被一特定值整除，例如，在本实施例中，特定值为16，则将m作为第二矩阵维度值的取值，即m为降维之后的矩阵的维度值的取值，在这里应当注意的是，本实施例中特定区间以及特定值的取值只是示意性的，本领域的普通技术人员可以根据实际情况，例如根据人脸库的大小对本实施例中的特定区间和特定值取不同的值。其中特定区间的取值可以为0到1之间的任意区间，特定值的取值可以为大于零的任意自然数，由于特定区间为一个小于1的区间，因此本实施例中的m<k,实现矩阵降维。
在一些实施例中，如果满足第一预设条件的该第二矩阵维度值的取值多于一个，则第二矩阵维度值的取值为多个满足所该第一预设条件的第二矩阵维度值的取值的中间值。
以上述实施例中的特定值为16对本实施例进行说明，如果均值协方差矩阵B的前32、48、64个特征值的累加值都处在特定区间(0.9～0.95)内，且这三个值都能够被特定值16整除，则第二矩阵维度值的取值m为32、48、64的中间值，即m的取值为48。
得到第二矩阵维度值m之后，仅保留均值协方差B的前m行的数据，即均值协方差矩阵B由大小k*k变为矩阵B’,矩阵B’的大小为k*m。这里的矩阵B’即为第三矩阵数据集。第三矩阵数据集中的每个数据格式都为浮点数数据格式。
得到第三矩阵数据集后，如图1所示，执行步骤S14：根据该第一矩阵数据集与该第三矩阵数据集获得第四矩阵数据集。在本实施例中，将第一矩阵数据集的矩阵A乘以第三矩阵数据集的矩阵B’，得到第四矩阵数据集，将此矩阵记为低维矩阵C，低维矩阵C的大小为n*m。因此，第三矩阵数据集所对应的矩阵B’与第四矩阵数据集对应的低维矩阵C具有相同的维度m。获得低维矩阵C之后，对低维矩阵C中的数据进行归一化处理，具体的归一化方法为本领域的公知常识，在此不做赘述。低维矩阵C中的每个数据的数据格式为浮点数数据格式。
获得第四矩阵数据集之后，如图1所示，执行步骤S15，即将第四矩阵数据集的特征值量化到特定区域，获得特征值集。
在一些实施例中，将该第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：将该第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；将该第一特征数据集进一步量化到第三特定值域，得到第二特征数据集；
在一些实施例中，该第二特定值域的取值满足第二预设条件：特定比例的该第四矩阵数据集的特征数据在该第二特定值域内。
获得低维矩阵C之后，将低维矩阵C的所有特征数据量化到第二特定值域，得到第一特征数据集。第二特定值域的取值满足第二预设条件：特定比例的该第四矩阵数据集的特征数据在该第二特定值域内。在本实施例中，第二特定值域的取值在以下四个值域中选择；(-1,1)；(-1/2,1/2)；(-1/4,1/4)以及(-1/8,1/8)。并且选择出来的值域要满足特定比例的低维矩阵C的所有特征数据在该值域内，在本实施例中，特定比例的取值为95％，也就是说95％的低维矩阵C的所有特征数据在选择出来的值域当中，第一特征数据集中的数据的数据格式为浮点数数据格式。
获得将低维矩阵C的所有特征数据量化到上述第二特定值域的第一特征数据集之后，进一步将第一特征数据集量化到第三特定值域，得到第二特征数据集；在本实施例中，第三特定值域的取值为(-127～127)，具体量化的方法为：将上述步骤中被选择的第二特定值域记为(-x,x)，将第一特征数据集中的所有特征值乘以(1/x)再乘以128，然后对乘积结果的小数部分进行四舍五入，对超过127的值限制到127，对超过-127的值限制到-127。这样就将第一特征数据集中的所有浮点数格式的特征数据的取值范围限制到了整数数据格式的范围之内。
获得第二特征数据集之后，执行步骤S16，即将该特征数据集中的数据与对应的目标特征数据进行对比，在一些实施例中，将特征数据集中的数据与对应的目标特征数据进行对比，包括：将第二特征数据集中的数据与对应的目标特征数据进行对比；
在一些实施例中，将第二特征数据集中的数据与对应的目标特征数据进行对比，包括：将第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，使用整数运算指令依次进行该向量乘法。
其中，在本实施例中，由于在上述步骤中已经将所有浮点数格式的特征值的取值范围限制到了整数数据格式的范围之内，因此可以使用图形处理器中的整数格式的乘加指令来执行步骤S16，从而完成依次进行的向量乘法。这相对于浮点数格式的运算指令，可以获得多倍的加速比。
最终执行步骤S17，即输出对比结果，输出乘积结果最大的前K个值。
本申请的上述实施例所揭示的数据处理方法，相对于现有技术节约了内存，并且在大规模库的庞大计算量的人脸检索对比的情况下，将原本的浮点数数据格式变为整数数据格式，提高了计算速度的同时保持了计算精度的不变。
根据本申请的另一方面，本申请的实施例还提供了一种数据处理装置，该装置的实施可以参见上述方法实施，重复之处不在赘述。以下所使用的术语“模块”和“单元”，可以是实现预定功能的软件和/或硬件。尽管以下实施例所描述的模块较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。
本申请的实施例提供的数据处理装置，其结构如图2所示，图2是根据本申请的实施例提供的数据处理装置的整体结构示意图；数据处理装置1包含：数据获取模块10，用于获取第一矩阵数据集；第一数据处理模块11，用于对该第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；第二数据处理模块12，用于对该第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；第三数据处理模块13，用于根据该第一矩阵数据集与该第三矩阵数据集获得第四矩阵数据集；数据量化模块14，用于将该第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；数据对比模块15，用于将该特征数据集中的数据与对应的目标特征数据进行对比；数据输出模块16，用于输出对比结果。
在一些实施例中，该第一矩阵数据集具有第一矩阵维度值，该第三矩阵数据集具有第二矩阵维度值，该第二矩阵维度值小于该第一矩阵维度值。在一些实施例中，该第二矩阵维度值的取值满足第一预设条件：该第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为该第二矩阵维度值的取值。
在一些实施例中，如果满足该第一预设条件的该第二矩阵维度值的取值多于一个，则该第二矩阵维度值的取值为多个满足该第一预设条件的第二矩阵维度值的取值的中间值。
在一些实施例中，数据量化模块14将该第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：将该第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；将该第一特征数据集进一步量化到第三特定值域，得到第二特征数据集；
在一些实施例中，该第二特定值域的取值满足第二预设条件：特定比例的该第四矩阵数据集的特征数据在该第二特定值域内。
在一些实施例中，数据对比模块15将该特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据进行对比；
在一些实施例中，数据对比模块15将该第二特征数据集中的数据与对应的目标特征数据进行对比，包括：将该第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，使用整数运算指令依次进行所述向量乘法。
在一些实施例中，该第三矩阵数据集与该第四矩阵数据集具有相同的矩阵维度值。
本申请的上述实施例所揭示的数据处理装置，相对于现有技术节约了内存，并且在大规模库的庞大计算量的人脸检索对比的情况下，将原本的浮点数数据格式变为整数数据格式，提高了计算速度的同时保持了计算精度的不变。
根据本申请的另一方面，本申请的实施例还提供了一种电子设备，其结构如图3所示，该电子设备包括：
至少一个图形处理器900和存储器901，还可以包括通信接口(CommunicationInterface)902和总线903。其中，图形处理器900、通信接口902、存储器901可以通过总线903完成相互间的通信。通信接口902可以用于信息传输。图形处理器900可以调用存储器901中的逻辑指令，以执行上述实施例的数据处理方法。
此外，上述的存储器901中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。图形处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的数据处理方法。
存储器901可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，储存器901可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是矿机、个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。
本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。
所描述的实施例中的各方面、实施方式、实现或特征能够单独使用或以任意组合的方式使用。所描述的实施例中的各方面可由软件、硬件或软硬件的结合实现。所描述的实施例也可以由存储有计算机可读代码的计算机可读介质体现，该计算机可读代码包括可由至少一个计算装置执行的指令。所述计算机可读介质可与任何能够存储数据的数据存储装置相关联，该数据可由计算机系统读取。用于举例的计算机可读介质可以包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带以及光数据存储装置等。所述计算机可读介质还可以分布于通过网络联接的计算机系统中，这样计算机可读代码就可以分布式存储并执行。
上述技术描述可参照附图，这些附图形成了本申请的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中，在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。
另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本公开的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。

Claims (19)

1.一种数据处理方法，所述数据处理方法应用于图形处理器，其特征在于，所述数据处理方法包括：
获取第一矩阵数据集；
对所述第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；
对所述第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；
根据所述第一矩阵数据集与所述第三矩阵数据集获得第四矩阵数据集；
将所述第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；
将所述特征数据集中的数据与对应的目标特征数据进行对比；
输出对比结果。
2.根据权利要求1所述的数据处理方法，其特征在于，所述第一矩阵数据集具有第一矩阵维度值，所述第三矩阵数据集具有第二矩阵维度值，所述第二矩阵维度值小于所述第一矩阵维度值。
3.根据权利要求2所述的数据处理方法，其特征在于，所述第二矩阵维度值的取值满足第一预设条件：
所述第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为所述第二矩阵维度值的取值。
4.根据权利要求3所述的数据处理方法，其特征在于，如果满足所述第一预设条件的所述第二矩阵维度值的取值多于一个，则所述第二矩阵维度值的取值为多个满足所述第一预设条件的第二矩阵维度值的取值的中间值。
5.根据权利要求1所述的数据处理方法，其特征在于，将所述第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：
将所述第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；
将所述第一特征数据集进一步量化到第三特定值域，得到第二特征数据集。
6.根据权利要求5所述的数据处理方法，其特征在于，所述第二特定值域的取值满足第二预设条件：
特定比例的所述第四矩阵数据集的特征数据在所述第二特定值域内。
7.根据权利要求1所述的数据处理方法，其特征在于，将所述特征数据集中的数据与对应的目标特征数据进行对比，包括：
将所述第二特征数据集中的数据与对应的目标特征数据进行对比。
8.根据权利要求7所述的数据处理方法，其特征在于，将所述第二特征数据集中的数据与对应的目标特征数据进行对比，包括：
将所述第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，
使用整数运算指令依次进行所述向量乘法。
9.根据权利要求1-8中任意一项所述的数据处理方法，其特征在于，所述第三矩阵数据集与所述第四矩阵数据集具有相同的矩阵维度值。
10.一种数据处理装置，所述数据处理装置包含至少一个图形处理器，其特征在于，所述数据处理装置包含：
数据获取模块，用于获取第一矩阵数据集；
第一数据处理模块，用于对所述第一矩阵数据集进行第一维度处理，获得第二矩阵数据集；
第二数据处理模块，用于对所述第二矩阵数据集进行第二维度处理，获得第三矩阵数据集；
第三数据处理模块，用于根据所述第一矩阵数据集与所述第三矩阵数据集获得第四矩阵数据集；
数据量化模块，用于将所述第四矩阵数据集的特征数据量化到特定区域，获得特征数据集；
数据对比模块，用于将所述特征数据集中的数据与对应的目标特征数据进行对比；
数据输出模块，用于输出对比结果。
11.根据权利要求10所述的数据处理装置，其特征在于，所述第一矩阵数据集具有第一矩阵维度值，所述第三矩阵数据集具有第二矩阵维度值，所述第二矩阵维度值小于所述第一矩阵维度值。
12.根据权利要求11所述的数据处理装置，其特征在于，所述第二矩阵维度值的取值满足第一预设条件：
所述第二矩阵数据集的前M个特征数据的累加值在第一特定值域且M被第一特定值整除，则M为所述第二矩阵维度值的取值。
13.根据权利要求12所述的数据处理装置，其特征在于，如果满足所述第一预设条件的所述第二矩阵维度值的取值多于一个，则所述第二矩阵维度值的取值为多个满足所述第一预设条件的第二矩阵维度值的取值的中间值。
14.根据权利要求1所述的数据处理装置，其特征在于，数据量化模块将所述第四矩阵数据集的特征数据量化到特定值域，获得特征数据集，包括：
将所述第四矩阵数据集的特征数据量化到第二特定值域，得到第一特征数据集；
将所述第一特征数据集进一步量化到第三特定值域，得到第二特征数据集。
15.根据权利要求14所述的数据处理装置，其特征在于，所述第二特定值域的取值满足第二预设条件：
特定比例的所述第四矩阵数据集的特征数据在所述第二特定值域内。
16.根据权利要求1所述的数据处理装置，其特征在于，将所述特征数据集中的数据与对应的目标特征数据进行对比，包括：
将所述第二特征数据集中的数据与对应的目标特征数据进行对比。
17.根据权利要求16所述的数据处理装置，其特征在于，将所述第二特征数据集中的数据与对应的目标特征数据进行对比，包括：
将所述第二特征数据集中的数据与对应的目标特征数据依次进行向量乘法，并提取乘积结果最大的前K个值作为输出结果；其中，
使用整数运算指令依次进行所述向量乘法。
18.根据权利要求10-17中任意一项所述的数据处理装置，其特征在于，所述第三矩阵数据集与所述第四矩阵数据集具有相同的矩阵维度值。
19.一种电子设备，其特征在于，包括：
至少一个图形处理器；以及
与所述至少一个图形处理器连接的存储器；其中，
所述存储器存储有可被所述至少一个图形处理器执行的指令，所述指令被至少一个图形处理器执行时，使所述至少一个图形处理器执行权利要求1-9中任意一项所述的数据处理方法。
CN201811007980.2A 2018-08-31 2018-08-31 数据处理方法、数据处理装置以及电子设备 Pending CN109359516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811007980.2A CN109359516A (zh) 2018-08-31 2018-08-31 数据处理方法、数据处理装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811007980.2A CN109359516A (zh) 2018-08-31 2018-08-31 数据处理方法、数据处理装置以及电子设备

Publications (1)

Publication Number Publication Date
CN109359516A true CN109359516A (zh) 2019-02-19

Family

ID=65350345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811007980.2A Pending CN109359516A (zh) 2018-08-31 2018-08-31 数据处理方法、数据处理装置以及电子设备

Country Status (1)

Country Link
CN (1) CN109359516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597782A (zh) * 2020-05-20 2020-08-28 比科奇微电子(杭州)有限公司 数据的排序处理方法及处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831425A (zh) * 2012-08-29 2012-12-19 东南大学 一种人脸图像快速特征提取方法
CN105808709A (zh) * 2016-03-04 2016-07-27 北京智慧眼科技股份有限公司 人脸识别快速检索方法及装置
US9606797B2 (en) * 2012-12-21 2017-03-28 Intel Corporation Compressing execution cycles for divergent execution in a single instruction multiple data (SIMD) processor
CN106803054A (zh) * 2015-11-26 2017-06-06 腾讯科技（深圳）有限公司 人脸模型矩阵训练方法和装置
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107918636A (zh) * 2017-09-07 2018-04-17 北京飞搜科技有限公司 一种人脸快速检索方法、系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831425A (zh) * 2012-08-29 2012-12-19 东南大学 一种人脸图像快速特征提取方法
US9606797B2 (en) * 2012-12-21 2017-03-28 Intel Corporation Compressing execution cycles for divergent execution in a single instruction multiple data (SIMD) processor
CN106803054A (zh) * 2015-11-26 2017-06-06 腾讯科技（深圳）有限公司 人脸模型矩阵训练方法和装置
CN105808709A (zh) * 2016-03-04 2016-07-27 北京智慧眼科技股份有限公司 人脸识别快速检索方法及装置
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107918636A (zh) * 2017-09-07 2018-04-17 北京飞搜科技有限公司 一种人脸快速检索方法、系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李望平: "《科学数据库与信息技术论文集 第九集》", 30 September 2008, 兵器工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597782A (zh) * 2020-05-20 2020-08-28 比科奇微电子(杭州)有限公司 数据的排序处理方法及处理装置
CN111597782B (zh) * 2020-05-20 2023-10-27 比科奇微电子(杭州)有限公司 数据的排序处理方法及处理装置

Similar Documents

Publication Publication Date Title
CN108337000A (zh) 用于转换到较低精度数据格式的自动方法
CN108763277B (zh) 一种数据分析方法、计算机可读存储介质及终端设备
CN106202329A (zh) 样本数据处理、数据识别方法和装置、计算机设备
CN109271990A (zh) 一种针对rgb-d图像的语义分割方法及装置
CN109034371A (zh) 一种深度学习模型推理期加速方法、装置及系统
CN110287969A (zh) 基于图残差注意力网络的摩尔文本图像二值化系统
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN107610146A (zh) 图像场景分割方法、装置、计算设备及计算机存储介质
CN103605985A (zh) 一种基于张量全局-局部保持投影的数据降维方法
CN110222760A (zh) 一种基于winograd算法的快速图像处理方法
CN115482395B (zh) 模型训练方法、图像分类方法、装置、电子设备和介质
CN114897136A (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN107239532A (zh) 数据挖掘方法及装置
CN109583586A (zh) 一种卷积核处理方法及装置
CN113808044B (zh) 加密掩膜确定方法、装置、设备以及存储介质
Lefèvre et al. Hyperspectral image classification from multiscale description with constrained connectivity and metric learning
CN109359516A (zh) 数据处理方法、数据处理装置以及电子设备
CN108805280A (zh) 一种图像检索的方法和装置
CN113888491A (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
CN105608468B (zh) 一种基于流型矩阵补全的多标签分类方法
Theisel et al. Combining topological simplification and topology preserving compression for 2d vector fields
CN108804470A (zh) 一种图像检索方法及装置
CN115496993B (zh) 基于频域融合的目标检测方法、装置、设备及存储介质
CN113920323B (zh) 基于语义图注意力网络的不同混乱度高光谱图像分类方法
KR102042446B1 (ko) 컨벌루션 신경망의 첫번째 레이어의 개선된 이진화 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190419

Address after: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing

Applicant after: BEIJING BITMAIN TECHNOLOGY CO., LTD.

Address before: 100192 Building 3, Building 3, No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing

Applicant before: Feng Feng Technology (Beijing) Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210818

Address after: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301

Applicant after: SUANFENG TECHNOLOGY (BEIJING) Co.,Ltd.

Address before: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing

Applicant before: BITMAIN TECHNOLOGIES Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220310

Address after: 100176 901, floor 9, building 8, courtyard 8, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone)

Applicant after: Beijing suneng Technology Co.,Ltd.

Address before: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301

Applicant before: SUANFENG TECHNOLOGY (BEIJING) CO.,LTD.

TA01 Transfer of patent application right