CN111553215B - 人员关联方法及其装置、图卷积网络训练方法及其装置 - Google Patents

人员关联方法及其装置、图卷积网络训练方法及其装置 Download PDF

Info

Publication number
CN111553215B
CN111553215B CN202010313245.5A CN202010313245A CN111553215B CN 111553215 B CN111553215 B CN 111553215B CN 202010313245 A CN202010313245 A CN 202010313245A CN 111553215 B CN111553215 B CN 111553215B
Authority
CN
China
Prior art keywords
graph
node
matrix
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010313245.5A
Other languages
English (en)
Other versions
CN111553215A (zh
Inventor
余意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202010313245.5A priority Critical patent/CN111553215B/zh
Publication of CN111553215A publication Critical patent/CN111553215A/zh
Application granted granted Critical
Publication of CN111553215B publication Critical patent/CN111553215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机技术领域,提供了人员关联方法及其装置、图卷积网络训练方法及其装置。其中,人员关联方法包括:获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据;将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵;将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。本申请实施例能够高效准确地确定人员关联关系。

Description

人员关联方法及其装置、图卷积网络训练方法及其装置
技术领域
本申请属于计算机技术领域,尤其涉及一种人员关联方法及其装置、图卷积网络训练方法及其装置。
背景技术
在现有技术中,存在着根据监控拍摄的图像数据确定人员关联关系的处理方法。然而,由于监控拍摄的图像数据庞大、人员数量庞大,导致人员关联关系确定的准确性和效率较低。
发明内容
有鉴于此,本申请实施例提供了人员关联方法及其装置、图卷积网络训练方法及其装置,以解决现有技术中如何高效准确地确定人员关联关系的问题。
本申请实施例第一方面提供了一种人员关联方法,包括:
获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据;
将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵;
将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。
本申请实施例的第二方面提供了一种图卷积网络训练方法,包括:
获取样本图数据;
以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本;
根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本;
根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集;
依次根据所述图数据子集对待训练的图卷积网络进行训练,得到如第一方面所述的训练后的图卷积网络。
本申请实施例的第三方面提供了一种人员关联装置,包括:
第一获取单元,用于获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据;
图卷积处理单元,用于将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵;
关联关系确定单元,用于将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。
本申请实施例的第四方面提供了一种图卷积网络训练装置,包括:
第二获取单元,用于获取样本图数据;
划分单元,用于以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本;
负样本采样单元,用于根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本;
图数据子集确定单元,用于根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集;
训练单元,用于依次根据所述图数据子集对待训练的图卷积网络进行训练,得到如第一方面所述的训练后的图卷积网络。
本申请实施例的第五方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,当所述处理器执行所述计算机程序时,使得终端设备实现如第一方面所述的人员关联方法或者如第二方面所述的图卷积网络训练方法的步骤。
本申请实施例的第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得终端设备实现如第一方面所述的图卷积网络训练方法或者如第一方面所述的人员关联方法或者如第二方面所述的图卷积网络训练方法的步骤。
本申请实施例的第七方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行如第一方面所述的人员关联方法或者如第二方面所述的图卷积网络训练方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例中,将目标人员的人脸图像数据和目标人员的同行关系通过构建得到的目标图数据表示,通过将该目标图数据的第一节点特征矩阵和第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到该目标图数据对应的节点嵌入特征矩阵;对该节点嵌入特征矩阵进行目标处理,进一步确定目标人员的关联关系。由于将目标人员的人脸图像数据和同行关系通过图数据的形式表示,能够更加简练精准地表示目标人员的相互间的联系,因此能够在简化人员关联时所需处理的数据的复杂度的同时保证数据的准确性;并且,由于以目标图数据的形式表示,能够借助训练后的图卷积网络准确高效地得到节点嵌入特征矩阵,因此能够准确地确定目标人员的关联关系;综上,本申请实施例能够提高人员关联处理的准确性和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人员关联方法的实现流程示意图;
图2是本申请实施例提供的一种图卷积网络训练方法的实现流程示意图;
图3是本申请实施例提供的一种图数据的示例图;
图4是本申请实施例提供的另一种图数据的示例图;
图5是本申请实施例提供的一种图数据子集的示例图;
图6是本申请实施例提供的一种图卷积网络的结构示例图;
图7是本申请实施例提供的一种人员关联装置的示意图;
图8是本申请实施例提供的一种图卷积网络训练装置的示意图;
图9是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一:
图1示出了本申请实施例提供的一种人员关联方法的流程示意图,详述如下:
在S101中,获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据。
本申请实施例中,图数据是由多个节点和节点之间的边组成的数据,其信息体现在节点的特征和图的结构上。目标图数据为根据目标人员的人脸图像数据和目标人员的同行关系构建的图数据,其中目标人员可以为在预设区域范围内活动的人员。具体地,每个目标人员对应目标图数据中的一个节点,以目标人员的人脸图像数据作为目标图数据的节点的节点特征信息,以目标人员之间的同行关系作为目标图数据的边。例如,设目标人员i对应目标图数据的节点i,设目标人员j对应目标图数据的节点j,若目标人员i和目标人员j之间存在同行关系,则在目标图数据中,节点i和节点j之间存在一条边。
本申请实施例中,节点特征矩阵为用于表示图数据中各个节点的特征信息的矩阵,邻接矩阵为用于表示图数据中节点间的连接关系的矩阵。为了方便区别,本申请实施例将目标图数据对应的节点特征矩阵称为第一节点特征矩阵,将目标图数据对应的邻接矩阵称为第一邻接矩阵。
可选地,在所述步骤S101之前,还包括:
获取抓拍的目标人员的人脸图像数据,并根据各个所述人脸图像数据的抓拍时间,确定所述目标人员的同行关系;
根据所述目标人员的人脸图像数据构建所述第一节点特征矩阵;
根据所述目标人员的同行关系构建所述第一邻接矩阵。
本申请实施例中,通过在预设区域范围内设置一个或者多个摄像头来对预设区域范围内的目标人员进行人脸图像数据抓拍。之后,根据各个人脸图像数据的抓拍时间确定目标人员的同行关系。具体地,若两个目标人员分别对应的人脸图像数据为来自同一个摄像头的抓拍数据,并且,这两个人脸图像数据对应的抓拍时间间隔小于第一预设阈值(例如3s),则判定这两个目标人员之间发生一次同行事件;若两个目标人员之间的同行事件发生次数超过第二预设阈值(例如3次),则最终判定这两个目标人员之间存在同行关系。
根据抓拍的目标人员的人脸图像数据,构建第一节点特征矩阵。具体地,设目标人员的数目为N,即目标图数据有N个节点,则第一节点特征矩阵由N个节点特征向量组成,每个节点特征向量根据一个目标人员的人脸图像数据构建。
根据确定的目标人员的同行关系,构建第一邻接矩阵。具体地,设目标人员的数目为N,则目标图数据有N个节点,第一邻接矩阵为一个N×N维度的矩阵;以A表示邻接矩阵,设节点i、节点j分别为目标图数据中的任意两个节点,Ai,j为邻接矩阵A中第i行第j列中的一项数据,则Ai,j=1表示目标人员i和目标人员j之间存在同行关系,Ai,j=0表示目标人员i和目标人员j之间不存在同行关系。
本申请实施例中,通过抓拍目标人员的人脸图像数据,根据各个人脸图像数据的抓拍时间,准确地确定目标人员的同行关系,并根据目标人员的人脸图像数据和目标人员的同行关系准确地构建第一节点特征矩阵、第一邻接矩阵等预处理步骤,准确地表示目标人员的相互间的联系,以提高人员关联处理的准确性。
在S102中,将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵。
本申请实施例中,目标图数据对应的节点嵌入特征矩阵的每一行对应目标图数据中一个节点的节点嵌入(Node embedding)向量,该节点嵌入向量为节点在低纬度向量空间中的表征,是该节点的节点属性特征及连接关系的融合体现。由于目标图数据的每个节点的节点属性特征具体用于表达目标人员的人脸图像数据构建,连接关系具体用于表达目标人员的同行关系,因此目标图数据对应的节点嵌入特征矩阵中的每个节点嵌入向量能够准确地表达对应的一个目标人员的人脸图像信息以及与该目标人员相关的同行关系信息。
本申请实施例中的目标图数据对应的节点嵌入特征矩阵通过图卷积网络来处理得到,具体地,将第一节点特征矩阵和第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到目标图数据对应的节点嵌入特征矩阵。
在S103中,将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。
由于目标图数据的节点嵌入特征矩阵能够准确地综合表达每个目标人员的人脸图像信息和目标人员相关的同行关系信息,因此根据目标图数据对应的节点嵌入特征,进行进一步地目标处理,能够准确地挖掘分析目标人员的关联关系。
可选地,所述目标处理包括社群检测、节点搜索、边预测中的任意一项或者多项。
具体地,若目标处理为社群检测,则确定目标人员的关联关系具体为确定目标人员的群体关系。该社群检测的具体实现方式可以为聚类分析,通过对节点嵌入特征矩阵进行聚类分析,得到目标图数据中每个节点所在的群体信息。根据目标图数据中每个节点所在的群体信息,将所有目标人员分为若干个群体,同一个群体内的目标人员相互关联。
具体地,若目标处理为节点搜索,则确定目标人员的关联关系具体为搜索与待搜索目标人员存在关联关系的人员。节点搜索的具体实现方式可以为:根据待搜索目标人员对应的节点i及节点嵌入特征矩阵Z,通过节点相似度计算公式计算待搜索节点i与其他节点j的节点相似度si,j;确定节点相似度si,j的值最高的前n个节点作为与待搜索节点i最相似的目标节点,该目标节点对应的目标人员即为与上述的待搜索目标人员具有关联关系的人员。其中,节点相似度计算公式可以为:zi、zj分别为节点i、节点j的节点嵌入向量。
具体地,若目标处理为边预测,则确定目标人员的关联关系具体为预测目标人员的预期同行关系(即将来可能一同出行的关系)。边预测的具体实现方式可以为:根据目标图数据对应的节点嵌入特征矩阵,通过预设概率公式计算每两个节点之间存在边生成概率,根据该边生成概率确定目标图数据中预期生成的预测边,该预测边即为预测的将来可能存在的目标人员的同行关系。其中预设概率公式可以为pi,j=sigmoid(zizj),zi、zj分别为节点i、节点j的节点嵌入向量。
本申请实施例中,通过社群检测、节点搜索、边预测中的一项或者多项处理方式,准确地分析目标图数据中各节点之间的关联关系,从而准确高效地确定与各节点对应的目标人员之间的关联关系。
本申请实施例中,将目标人员的人脸图像数据和目标人员的同行关系通过构建得到的目标图数据表示,通过将该目标图数据的第一节点特征矩阵和第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到该目标图数据对应的节点嵌入特征矩阵;对该节点嵌入特征矩阵进行目标处理,进一步确定目标人员的关联关系。由于将目标人员的人脸图像数据和同行关系通过图数据的形式表示,能够更加简练精准地表示目标人员的相互间的联系,因此能够在简化人员关联时所需处理的数据的复杂度的同时保证数据的准确性;并且,由于以目标图数据的形式表示,能够借助训练后的图卷积网络准确高效地得到节点嵌入特征矩阵,因此能够准确地确定目标人员的关联关系;综上,本申请实施例能够提高人员关联处理的准确性和效率。
实施例二:
本申请实施例提供了一种图卷积网络训练方法,该图卷积网络训练方法用于训练图卷积网络,训练后的图卷积网络应用于如实施例一所述的人员关联方法中,能够准确地得到目标图数据的节点嵌入特征矩阵,进而准确地确定人员关联关系。图2示出了该图卷积网络训练方法的流程示意图,详述如下:
在S201中,获取样本图数据。
本申请实施例中,样本图数据为作为数据样本、用于训练图卷积网络的图数据。具体地,该样本图数据具体为基于社区范围内或者城市范围内抓拍到的人脸图像数据以及确定的人员同行关系构建的图数据。由于基于社区范围内或者城市范围内的信息构建的样本图数据的数据量庞大,因此能够使得训练后的图卷积网络能够更加准确地应用于人员关联方法中。
本申请实施例中的图数据为由多个节点及具有连接关系的节点之间的边构成的图数据,如图3所示即为一种图数据的示例图,其中P1~P7为图数据的节点,线段LP1-P2、LP1-P3、LP2-P4、LP2-P5、LP3-P6、LP3-P7为图数据的边。可选地,本申请实施例中的图数据既可以为如图3所示的无向图数据(即每条边没有指向方向之分的图数据),也可以为如图4所示的有向图数据,即该图数据的每条边为有确定的起点及所指向的终点的有向边。
在S202中,以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本。
本申请实施例中,具体将样本数据中具有连接关系的节点之间的边作为样本图数据的正样本,相对地,将每两个节点中不具有相互联系(即不存在相互间的连接边)的关系的表述为样本图数据的负样本。示例性地,若样本图数据为如图4所示的图数据,则边LP1→P2、LP1→P3、LP2→P4、LP5→P2、LP3→P6、LP3→P7为样本图数据的正样本,而不存在连接关系的(P1,P4)、(P1,P5)、(P1,P6)、(P1,P7)、(P2,P3)、(P2,P6)、(P2,P7)、(P3,P4)、(P3,P5)、(P4,P5)、(P4,P6)、(P4,P7)、(P5,P6)、(P5,P7)、(P6,P7)等视为样本图数据的负样本。
具体地,本申请中根据样本图数据的正样本,即样本图数据中的边,将样本图数据划分为两个或者多个正样本数据集,每个正样本数据集中包含第一预设数目的正样本。该第一预设数目为提前设置的值,具体可以根据当前终端设备的运算能力、内存等确定,第一预设数目越小,则得到的正样本数据集总数越多,每个正样本数据集包含的数据量越少,使得后续分批次训练图卷积网络时对运算资源、内存资源的消耗较少。
示例性地,如图4所示的图数据中包含的6条边即为6个正样本,设第一预设数目为3,则可将样本图数据划分为包含边LP1→P2、LP2→P4、LP5→P2这三个正样本的第一正样本数据集,以及包含边LP1→P3、LP3→P6、LP3→P7这三个正样本的第二正样本数据集。
在S203中,根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本。
将样本图数据划分为各个正样本数据集后,根据每个正样本数据集的正样本,分别采样得到每个正样本数据集对应的第二预设数目的负样本,具体地,根据正样本数据集的每个正样本,采样出与该正样本对应的K个负样本,最终采样得到的负样本数目,即第二预设数目为第一预设数目的K倍,其中K为预设的、大于0的正整数。示例性地,如图4所示,对于第一正样本数据集中的一个正样本LP2→P4来说,对应的所有负样本包括(P2,P1)、(P2,P3)、(P2,P6)、(P2,P7);设K=2,则从所有的负样本中随机采样出两个负样本:(P2,P1)、(P2,P6);以此类推,对每个正样本进行相应地采样得到两个负样本,最终得到与第一正样本数据集对应的第二预设数目个负样本,其中,第二预设数目=(第一预设数目)*K=3*2=6。同样地,根据第二正样本数据集的3个正样本也可以得到与第二正样本数据集对应的6个负样本。
在S204中,根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集。
将每个正样本数据集中每个正样本中分别对应的两个节点、以及第二预设数目的负样本中每个负样本分别对应的两个节点作为图数据子集的节点集合,将正样本数据集中包含的边作为该图数据子集的边集合,得到各个与正样本数据集对应的图数据子集。示例性地,设如图4所示的第一正样本数据集采样得到的6个负样本为:(P1,P4)、(P1,P5)、(P2,P1)、(P2,P6)、(P5,P1)、(P5,P4),则确定出的与该第一正样本数据集对应的第一图数据子集如图5所示,其中该第一图数据子集包含P1、P2、P4、P5、P6这五个节点,包含LP1→P2、LP2→P4、LP5→P2这三条边。
在S205中,依次根据所述图数据子集对待训练的图卷积网络进行训练,得到训练后的图卷积网络。
步骤S204中确定出的各个图数据子集包含各自的节点集合及边集合信息,根据图数据子集中各自的节点集合信息和边集合信息对图卷积网络进行训练,得到训练后的图卷积网络。
可选地,所述步骤S201包括:
获取样本图数据对应的第二节点特征矩阵及第二邻接矩阵。
本申请实施例中,节点特征矩阵为用于表示图数据中各个节点的属性特征信息的矩阵,邻接矩阵为用于表示图数据中节点间的连接关系的矩阵。为了方便区别,本申请实施例将样本图数据对应的节点特征矩阵称为第二节点特征矩阵,将图数据对应的邻接矩阵称为第二邻接矩阵。
具体地,本申请实施例中的节点特征矩阵由图数据的每个节点的节点特征向量组成,即一个节点的属性特征信息通过一个节点特征向量来表示,图数据中各个节点对应的节点特征向量组成该图数据的节点特征矩阵。例如,设图数据有N’个节点,每个节点特征向量的长度为M,则该图数据的节点特征矩阵为N’×M维度的矩阵,该矩阵的每一行为一个节点的节点特征向量。具体地,图数据的邻接矩阵具体根据图数据中节点之间的边连接关系构建得到,若该图数据有N’个节点,则该邻接矩阵具体为一个N’×N’维度的矩阵。示例性地,以A表示邻接矩阵,设节点i、节点j分别为图数据中的任意两个节点,Ai,j为邻接矩阵A中第i行第j列中的一项数据,则在有向图数据中,Ai,j=1表示图数据中存在节点i指向节点j的边,Ai,j=0表示图数据中不存在节点i指向节点j的边;在无向图数据中,Ai,j=1表示图数据中的节点i和节点j中存在边,Ai,j=0表示图数据的节点i和节点j中不存在边。
本申请实施例中的步骤S201具体包括获取样本图数据的第二节点特征矩阵及第二邻接矩阵,该第二节点特征矩阵及第二邻接矩阵即包含了样本图数据完整的数据信息。
对应地,所述步骤S205包括:
S2051:依次获取图数据子集;
S2052:根据所述图数据子集对应的节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵,所述子邻接矩阵为表示图数据子集中的每个节点与所述样本图数据中其它节点的连接关系的矩阵;
S2053:将所述第二节点特征矩阵及所述子邻接矩阵输入待训练的图卷积网络进行节点嵌入运算,得到节点嵌入特征矩阵;
S2054:根据所述节点嵌入特征矩阵及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练;
S2055:若还存在其它未训练的图数据子集,则返回执行所述依次获取图数据子集的步骤;否则,训练完毕,以当前的图卷积网络作为最终训练后的图卷积网络。
在S2051中,从确定的各个图数据子集中获取一个图数据子集作为本批次的训练数据。
在S2052中,在第一邻接矩阵中,每一行的信息表示一个节点与其它每个节点的连接信息,根据图数据子集中包含的节点,提取第二邻接矩阵中与图数据子集节点对应的每一行的信息,得到子邻接矩阵,该子邻接矩阵即为表示图数据子集中每个节点与样本图数据中的其它节点的连接关系的矩阵。
示例性地,如图4所示的第二邻接矩阵A的信息如下表1所示:
表1:
而如图5所示的第一图数据子集中包含的节点包括P1、P2、P4、P5、P6这五个节点,则对应地,该第一图数据子集的子邻接矩阵A’的信息如表2所示:
表2:
在S2053中,将第二节点特征矩阵和确定的子邻接矩阵输入待训练的图卷积网络进行节点嵌入运算,得到当前图数据子集对应的节点嵌入特征矩阵。其中,节点嵌入特征矩阵由图数据子集中每个节点对应的节点嵌入(Node embedding)向量组成,该节点嵌入向量为节点在低纬度向量空间中的表征,是该节点的节点属性特征及连接关系的融合体现。本申请实施例中的节点嵌入向量也可以称为节点的节点融合特征向量,节点嵌入特征矩阵也可称为节点融合特征矩阵。示例性地,设本申请实施例中的图卷积神经网络包含两层图卷积层,以A'表示当前图数据子集的子邻接矩阵,X表示第一节点特征矩阵,Z表示当前的节点嵌入特征矩阵,则通过以下公式运算得到当前的节点嵌入特征矩阵Z:
其中,为子邻接矩阵A'的归一化后的拉普拉斯矩阵,可根据式子计算转换得到(D为邻接矩阵A’的度矩阵);relu()为激活函数,示例性地,relu(x)=max(0,x);W0为第一层图卷积层的权重参数,W1为第二层图卷积层的权重参数。
在S2054中,根据当前的节点嵌入特征矩阵Z及噪声对比估计算法,计算当前图卷积层的损失函数的值,并迭代更新所述图卷积网络的网络参数(例如权重参数W0和权重参数W1),以重新确定当前的节点嵌入特征矩阵,并根据新的节点嵌入特征矩阵Z及噪声对比估计算法重新计算损失函数的值;以此类推,进行迭代循环计算,直至所述损失函数的值最小,完成本批次的图卷积网络训练。
具体地,所述步骤S2054包括:
S2054A1:根据节点嵌入特征矩阵,确定图数据子集中的任意一个节点i与任意一个除节点i以外的节点j的节点相似度s(j|i)θ,其中θ表示当前图卷积网络的网络参数,示例性地,θ={W0,W1},s(j|i)θ=exp(zi Tzj),其中zi表示节点i的节点嵌入向量,zj表示节点j的节点嵌入向量。
S2054A2:将当前图数据子集中的正样本视为目标数据,将图数据子集中与该正样本对应的K个负样本视为噪声数据,计算出每个正样本对应的目标数据出现概率及噪声数据出现概率;之后,根据该目标数据出现概率及噪声数据出现概率,计算每个正样本对应的极大似然估计函数的值。
例如,设边Li→j为当前图数据子集中的一个正样本,则对应的目标数据出现概率及噪声数据出现概率的计算公式如下:
其中,P(D=1|i→j,θ)表示在当前的网络参数θ的前提下,节点i到节点j存在边(即D=1)的概率,该概率即为目标数据出现概率;P(D=0|i→j,θ)表示在当前的网络参数θ的前提下,节点i到节点j不存在边(即D=0)的概率,该概率即为噪声数据出现概率。pn(j|i)为正样本Li→j对应的负样本的概率分布,该负样本的概率分布可以设为均匀分布,或者可以为根据节点j的度确定的度分布,并且,该负样本分布满足:
之后,根据目标数据出现概率及噪声数据出现概率,计算正样本Li→j对应的极大似然估计函数:
其中,Ji,j(θ)为正样本Li→j对应的极大似然估计函数的值,i→jk为与正样本Li→j对应的K个负样本中的其中一个,P(D=0|i→jk,θ)表示在当前的网络参数θ的前提下,节点i到节点jk不存在边(即D=0)的概率。
S2054A3:根据当前图数据子集的各个正样本对应的极大似然估计函数的值,确定当前图卷积网络对应的损失函数的值。具体地,该损失函数的表达式如下:
其中,Loss表示损失函数的值,batch_size表示本次图数据子集的正样本数量,即第一预设数目;i,j∈batch表示进行极大似然估计函数计算的节点i、节点j为本次图数据子集中包含的节点。
S2054A4:若根据当前计算出的损失函数的值未达到最小值,则迭代更新图卷积网络的网络参数,得到更新后的节点嵌入特征矩阵并返回步骤S2053A1继续进行后续步骤的计算;当各个正样本对应的极大似然估计函数的累加值取得最大值时,损失函数的值取得最小值,完成本批次的图卷积网络训练。
在S2055中,在本批次的图卷积网络训练完成后,若存在其它未训练的图数据子集,则返回步骤S2051,继续获取一个图数据子集对图卷积网络进行训练。若检测到所有的图数据子集均已依次作为单批次的数据完成对图卷积网络训练,则该图卷积网络训练完毕,以当前的图卷积网络作为最终训练后的图卷积网络,即以当前的图卷积网络的网络参数作为图卷积网络最终的网络参数。
本申请实施例中,通过图卷积网络处理得到的节点嵌入特征矩阵及噪声对比估计算法来计算图卷积网络的损失函数的值,通过分批次迭代最小化损失函数的值来完成图卷积网络的训练。由于通过噪声对比估计算法来计算损失函数能够将概率评估转换为二分类问题,避免非归一化的计算,因此能够减少训练时的计算量,提高图卷积网络的训练速度。
可选地,所述步骤S2052包括:
S2052B1:对所述图数据子集中的每个节点进行邻居节点采样,确定所述图数据子集中每个节点对应的目标邻居节点;
S2053B2:根据所述目标邻居节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵。
本申请实施例中,对于每个节点的节点嵌入特征向量计算,不直接基于图数据子集中的所有节点来进行计算,而是对每个节点进行邻居节点采样,得到每个节点对应的目标邻居节点,从而减少节点嵌入特征矩阵的计算量。
在S2052B1中,对于图数据子集中的一个节点i来说,其邻居节点为与该节点i具有连接关系的节点,例如,对于如图4所示的节点P2来说,其邻居节点包括节点P1、节点P4及节点P5。从节点i的邻居节点中按照一定的采样比进行节点采样即成为邻居节点采样,采样得到的邻居节点即为目标邻居节点。例如,对于如图3所示的节点P2,对其按照1/3的采样比进行随机的邻居节点采样,采样得到一个邻居节点(例如节点P4)作为节点P2的目标邻居节点。其中邻居节点采样的采样比可以提前设定,最终每个节点的目标邻居节点的数目根据邻居节点总数及采样比确定。
可选地,在进行邻居节点采样时,具体可以根据邻居节点的度确定每个邻居节点对应的采样概率进行采样。其中,节点的度dt即为节点t连接的边的条数,采样概率例如,对于如图4所示的节点P2,其邻居节点P1的度为2,邻居节点P4和邻居节点P5的度均为1,则对应地进行邻居节点采样时,邻居节点P1作为P2的目标邻居节点的采样概率为:/>邻居节点P4作为P2的目标邻居节点的采样概率为:邻居节点P5作为P2的目标邻居节点的采样概率为:/>其中,对应采样概率越大的邻居节点,被采样作为目标邻居节点的可能性越大。由于度值较大的邻居节点为连接的边的条数较多的节点,即与较多的其它节点具有连接关系的节点,度值越大,则该邻居节点包含了更多的信息,重要性越强,因此根据邻居节点的度进行邻居节点采样能够较大概率地为图数据子集采样到重要性更强的目标邻居节点,使得后续根据该目标邻居节点进行进一步的节点嵌入特征矩阵运算的运算结果更加准确,进而提高图卷积网络训练的准确性。
在S2052B2中,根据每个节点采样得到的目标邻居节点来确定接下来进行节点嵌入特征矩阵运算的子邻接矩阵。具体地,子邻接矩阵包括第一邻居节点矩阵Asamples,neighbor和第二邻居节点矩阵Aneighbor,N。根据采样得到的目标邻居节点和原来样本图数据对应的第二邻接矩阵,从第二邻接矩阵中依次提取图数据子集中每个节点对应所在行中包含目标邻居节点的列的信息作为该节点的目标行信息,根据目标行信息得到第一邻居节点矩阵Asamples,neighbor。根据目标邻居节点,从提取第二邻接矩阵中依次提取每个目标邻居节点所在目标列信息进行行列转置,得到第二邻居节点矩阵Aneighbor,N
例如,设如图5所示的第一图数据子集中,节点P1的目标邻居节点为P2,则节点P1对应在第二邻接矩阵所在行中(如表1所示的第一行数据)提取包含目标邻居节点P2的信息“A12=1”作为节点P1对应的目标行信息;设点P4的目标邻居节点为P2,节点P5的目标邻居节点为P2,节点P6的目标邻居节点为P3,则以此类推,得到第一图数据子集的第一邻居节点矩阵的信息如表3所示:
表3:
对应地,根据P1、P2、P4、P5、P6分别对应的目标邻居节点依次为P2、P1、P2、P2、P3,则依次从如表1所示的第二邻接矩阵中提取P2、P1、P2、P2、P3所在列的信息作为目标列信息,并进行行列转置得到的第二邻居节点矩阵的信息如表4所示(例如第一行为节点P1对应的目标邻居节点P2所在列转置得到的信息,以此类推):
表4:
A12=0 A22=1 A32=0 A42=0 A52=0 A62=0 A72=0
A11=0 A21=0 A31=0 A41=0 A51=0 A61=0 A71=0
A12=0 A22=1 A32=0 A42=0 A52=0 A62=0 A72=0
A12=0 A22=1 A32=0 A42=0 A52=0 A62=0 A72=0
A17=0 A27=0 A37=1 A47=0 A57=0 A67=0 A77=0
对应地,所述步骤S2053包括:
将所述子节点特征矩阵、所述第一邻居节点矩阵及所述第二邻居节点矩阵输入待训练的图卷积网络进行节点嵌入特征矩阵的运算。
设本申请实施例中的图卷积神经网络包含两层图卷积层,子邻接矩阵包括第一邻居节点矩阵Asamples,neighbor和第二邻居节点矩阵Aneighbor,N,X表示第一节点特征矩阵,Z表示当前的节点嵌入特征矩阵,则通过以下公式运算得到当前的节点嵌入特征矩阵Z:
其中,为第一邻居节点矩阵Asamples,neighbor的归一化后的拉普拉斯矩阵,/>为第二邻居节点矩阵Aneighbor,N的归一化后的拉普拉斯矩阵;relu()为激活函数,示例性地,relu(x)=max(0,x);W0为第一层图卷积层的权重参数,W1为第二层图卷积层的权重参数。
本申请实施例中,由于对图数据子集中的每个节点进行邻居节点采样,根据采样得到目标邻居节点确定进行节点嵌入特征矩阵运算的子邻接矩阵,能够使得在节点嵌入特征矩阵运算时,每个节点对应的节点嵌入向量只需根据其对应的目标邻居节点进行运算,从而减少节点嵌入特征矩阵的计算量,进一步提高图卷积网络训练的效率。同时,由于通过邻居节点采样增加了训练数据的随机性,即在图卷积网络的训练过程中加入了一定的随机因素,从而能够进一步避免训练过程中的过拟合问题,提升训练效果。
可选地,若所述图卷积网络包括第一图卷积层、第二图卷积层及节点流行度特征网络层,则所述将所述第二节点特征矩阵及所述子邻接矩阵输入所述图卷积网络进行节点嵌入特征矩阵的运算,包括:
C1:将所述第二节点特征矩阵及子邻接矩阵输入所述第一图卷积层,得到第一特征矩阵;
C2:将所述第一特征矩阵及所述子邻接矩阵输入所述第二图卷积层,得到所述图数据子集对应的节点嵌入特征矩阵;
C3:将所述第一特征矩阵及所述子邻接矩阵输入所述节点流行度特征网络层,得到所述图数据子集对应的节点流行度向量,其中所述节点流行度向量包含图数据子集中每个节点被其它节点连接的概率信息;
对应地,所述根据所述节点嵌入特征矩阵及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练,包括:
C4:根据所述节点嵌入特征矩阵、所述节点流行度向量及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练。
如图6所示,给出了本申请实施例的图卷积网络示意图。该图卷积网络中包含第一图卷积层61、第二图卷积层62及节点流行度特征网络层63。
在C1中,将第二节点特征矩阵及子邻接矩阵输入第一图卷积层,得到第一特征矩阵H1。具体地,设第二节点特征矩阵为X,当前图数据子集的子邻接矩阵为A',第一图卷积层的网络参数为W0,则可选地,若子邻接矩阵具体包括根据图数据子集进行邻居节点采样后得到的第一邻居节点矩阵Asamples,neighbor及第二邻居节点矩阵Aneighbor,N,则具体根据第二节点特征矩阵X和第二邻居节点矩阵Aneighbor,N计算第一特征矩阵H1,/>
在C2中,将第一特征矩阵H1及子邻接矩阵输入第二图卷积层,得到当前图数据子集对应的节点嵌入特征矩阵Z。具体地,设当前图数据子集的子邻接矩阵为A',第二图卷积层的网络参数为W1,则可选地,若子邻接矩阵具体包括根据图数据子集进行邻居节点采样后得到的第一邻居节点矩阵Asamples,neighbor及第二邻居节点矩阵Aneighbor,N,则具体根据第一特征矩阵H1和第一邻居节点矩阵Asamples,neighbor计算节点嵌入特征矩阵Z,
在C3中,将第一特征矩阵H1和子邻接矩阵输入节点流行度特征网络层,得到图数据子集对应的节点流行度向量b,其中节点流行度向量由图数据子集中每个节点对应的节点流行度组成,该节点流行度即为该节点被其它节点连接的概率。具体地,设当前图数据子集的子邻接矩阵为A',节点流行度特征网络层的网络参数为W2,则其中,sigmoid为激活函数(示例性地,激活函数/>W2为节点流行度特征网络层的网络参数。可选地,若子邻接矩阵具体包括根据图数据子集进行邻居节点采样后得到的第一邻居节点矩阵Asamples,neighbor及第二邻居节点矩阵Aneighbor,N,则具体根据第一特征矩阵H1和第一邻居节点矩阵Asamples,neighbor计算节点流行度向量b,
在C4中,根据所述节点嵌入特征矩阵Z、所述节点流行度向量b及噪声对比估计算法,计算当前图卷积网络的损失函数的值Loss,并根据计算结果迭代更新图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练。具体地,步骤C4包括:
(1)根据节点嵌入特征矩阵Z、节点流行度向量b,确定图数据子集中的任意一个节点i与任意一个除节点i以外的节点j的节点相似度s(j|i,bj)θ,其中θ包括第一图卷积层和第二图卷积层分别对应的网络参数W0、W1,s(j|i)θ=exp(zi Tzj)bj,其中zi表示节点i的节点嵌入向量,zj表示节点j的节点嵌入向量,bj表示节点j对应的节点流行度。
(2)根据节点相似度s(j|i,bj)θ,计算出图数据子集中每个正样本Li→j对应的目标数据出现概率P(D=1|i→j,θ)及噪声数据出现概率P(D=0|i→j,θ):
/>
其中,pn(j|i)为正样本Li→j对应的负样本分布。
之后,根据目标数据出现概率及噪声数据出现概率,计算每个正样本Li→j对应的极大似然估计函数:
其中,Ji,j(θ)为正样本Li→j对应的极大似然估计函数的值,i→jk为与正样本Li→j对应的K个负样本中的其中一个,P(D=0|i→jk,θ)表示在当前的网络参数θ的前提下,节点i到节点jk不存在边(即D=0)的概率。
(3)根据当前图数据子集的各个正样本对应的极大似然估计函数的值,确定当前图卷积网络对应的损失函数Loss的值,损失函数的表达式具体参见上述的步骤S2054A3。
(4)根据Loss的值迭代更新图卷积网络的网络参数,具体包括更新第一图卷积层、第二图卷积层以及节点流行度特征网络层的网络参数(如图6中的虚线所示),得到更新后的节点嵌入特征矩阵Z和节点流行度b,并返回执行步骤(1)以及后续相关计算,直至所述损失函数的值最小,完成本批次的图卷积网络训练。
本申请实施例中,由于在通过噪声对比估计法计算损失函数的值时,具体结合了图数据子集中的节点流行度特征,提高损失函数计算的准确度,从而进一步图卷积网络训练的准确性。
本申请实施例中,在根据样本图数据对图卷积网络进行训练时,能够有效地利用样本图数据的边信息划分正样本数据集并采样对应的负样本,并根据正样本数据集包含的正样本及对应的负样本,将样本图数据划分为多个图数据子集,通过各个图数据子集依次对图卷积网络进行训练,得到训练后的图卷积网络。由于样本图数据一般比较庞大,而每次图卷积网络的训练数据——图数据子集的规模远小于样本图数据的总规模,因此能够降低图卷积网络训练的复杂度,缩短训练时间并节省训练过程中的内存开销,从而能够提高对图卷积网络的训练效率;并且,由于图数据子集的划分是根据样本图数据的边进行正样本数据集划分及负样本采样后得到的,保证每个图数据子集能够更均衡地体现样本图数据的部分节点特征信息及结构信息,因此能够提高图卷积网络训练的准确性,保证训练效果;同时,由于对负样本进行采样,使得得到的图数据子集具有一定的随机性,即在图卷积网络的训练过程中加入了一定的随机因素,从而能够解决图卷积网络训练过程中的过拟合问题,进一步提升训练效果。综上,通过本申请实施例的图卷积网络训练方法,能够高效准确地得到性能较优的训练后的图卷积网络,以使之后该训练后的图卷积网络应用于人员关联方法中,能够高效准确地确定目标人员的关联关系。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例三:
图7示出了本申请实施例提供的一种人员关联装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分:
该人员关联装置包括:第一获取单元71、图卷积处理单元72、关联关系确定单元73。其中:
第一获取单元71,用于获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据。
图卷积处理单元72,用于将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵。
关联关系确定单元73,用于将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。
可选地,所述人员关联装置还包括数据获取单元、第一构建单元和第二构建单元:
数据获取单元,用于获取抓拍的目标人员的人脸图像数据,并根据各个所述人脸图像数据的抓拍时间,确定所述目标人员的同行关系;
第一构建单元,用于根据所述目标人员的人脸图像数据构建所述第一节点特征矩阵;
第二构建单元,用于根据所述目标人员的同行关系构建所述第一邻接矩阵。
可选地,所述目标处理包括社群检测、节点搜索、边预测中的任意一项或者多项。
图8示出了本申请实施例提供的一种图卷积网络训练装置的结构示意图,该图卷积网络训练装置用于训练图卷积网络,以使训练后的图卷积网络能够应用于如实施例一所述的人员关联方法中。为了便于说明,仅示出了与本申请实施例相关的部分:
该图卷积网络训练装置包括:第二获取单元81、划分单元82、负样本采样单元83、图数据子集确定单元84和训练单元85。其中:
第一获取单元81,用于获取样本图数据。
划分单元82,用于以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本。
负样本采样单元83,用于根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本。
图数据子集确定单元84,用于根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集。
训练单元85,用于依次根据所述图数据子集对待训练的图卷积网络进行训练,得到如实施例一所述的训练后的图卷积网络。
可选地,第二获取单元81,具体用于获取样本图数据对应的第二节点特征矩阵及第二邻接矩阵;
对应地,训练单元85具体包括:图数据子集获取模块、子邻接矩阵确定模块、节点嵌入特征矩阵运算模块、损失函数计算模块以及判断模块:
图数据子集获取模块,用于依次获取一个图数据子集;
子邻接矩阵确定模块,用于根据所述图数据子集对应的节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵,所述子邻接矩阵为表示图数据子集中的每个节点与所述样本图数据中其它节点的连接关系的矩阵;
节点嵌入特征矩阵运算模块,用于将所述第二节点特征矩阵及所述子邻接矩阵输入待训练的图卷积网络进行节点嵌入特征矩阵的运算;
损失函数计算模块,用于根据所述节点嵌入特征矩阵及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练;
判断模块,用于若还存在其它未训练的图数据子集,则返回执行所述依次获取一个图数据子集的步骤;否则,训练完毕,以当前的图卷积网络作为最终训练后的图卷积网络。
可选地,所述子邻接矩阵确定模块包括邻接节点采样模块和确定模块:
邻接节点采样模块,用于对所述图数据子集中的每个节点进行邻居节点采样,确定所述图数据子集中每个节点对应的目标邻居节点;
确定模块,用于根据所述目标邻居节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵。
可选地,若所述图卷积网络包括第一图卷积层、第二图卷积层及节点流行度特征网络层,则:
所述节点嵌入特征矩阵运算模块,具体用于将所述第二节点特征矩阵及子邻接矩阵输入所述第一图卷积层,得到第一特征矩阵;将所述第一特征矩阵及所述子邻接矩阵输入所述第二图卷积层,得到所述图数据子集对应的节点嵌入特征矩阵;将所述第一特征矩阵及所述子邻接矩阵输入所述节点流行度特征网络层,得到所述图数据子集对应的节点流行度向量,其中所述节点流行度向量包含图数据子集中每个节点被其它节点连接的概率信息;
对应地,所述损失函数计算模块,具体用于根据所述节点嵌入特征矩阵、所述节点流行度向量及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
实施例四:
图9是本申请一实施例提供的终端设备的示意图。如图9所示,该实施例的终端设备9包括:处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92,例如人员关联程序或图卷积网络训练程序。所述处理器90执行所述计算机程序92时实现上述各个人员关联方法实施例中的步骤,例如图1所示的步骤S101至S103;或所述处理器90执行所述计算机程序92时实现上述各个图卷积网络训练方法实施例中的步骤,例如图2所示的步骤S201至S205。或者,所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能,例如图7所示单元71至73的功能或例如图8所示单元81至85的功能。
示例性的,所述计算机程序92可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器91中,并由所述处理器90执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如,所述计算机程序92可以被分割成第一获取单元、图卷积处理单元、关联关系确定单元,各单元具体功能如下:
第一获取单元,用于获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为根据目标人员的人脸图像数据以及目标人员的同行关系构建的图数据。
图卷积处理单元,用于将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵。
关联关系确定单元,用于将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系。
或者,所述计算机程序92可以被分割成第二获取单元、划分单元、负样本采样单元、图数据子集确定单元和训练单元,各单元具体功能如下:
第二获取单元,用于获取样本图数据。
划分单元,用于以所样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本。
负样本采样单元,用于根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本。
图数据子集确定单元,用于根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集。
训练单元,用于依次根据所述图数据子集对待训练的图卷积网络进行训练,得到训练后的图卷积网络。
所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器90、存储器91。本领域技术人员可以理解,图9仅仅是终端设备9的示例,并不构成对终端设备9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器90可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述终端设备9的内部存储单元,例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备,例如所述终端设备9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种人员关联方法,其特征在于,包括:
获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为以每个目标人员为节点,以目标人员的人脸图像数据作为节点的节点特征信息,以目标人员之间的同行关系作为边构建的图数据,所述第一节点特征矩阵为表示目标图数据中各个节点的特征信息的矩阵,所述第一邻接矩阵为表示目标图数据中节点间的连接关系的矩阵;
将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵;其中,所述节点嵌入特征矩阵中的每个节点嵌入向量包含一个目标人员的人脸图像信息以及与所述目标人员相关的同行关系信息;
将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系;所述目标处理包括社群检测、节点搜索、边预测中的任意一项或者多项。
2.如权利要求1所述的人员关联方法,其特征在于,在所述获取目标图数据的第一节点特征矩阵及第一邻接矩阵之前,还包括:
获取抓拍的目标人员的人脸图像数据,并根据各个所述人脸图像数据的抓拍时间,确定所述目标人员的同行关系;
根据所述目标人员的人脸图像数据构建所述第一节点特征矩阵;
根据所述目标人员的同行关系构建所述第一邻接矩阵。
3.一种图卷积网络训练方法,其特征在于,所述图卷积网络应用于如权利要求1或2所述的人员关联方法,包括:
获取样本图数据;
以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本;
根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本;
根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集;
依次根据所述图数据子集对待训练的图卷积网络进行训练,得到所述训练后的图卷积网络。
4.如权利要求3所述的图卷积网络训练方法,其特征在于,所述获取样本图数据包括:
获取样本图数据对应的第二节点特征矩阵及第二邻接矩阵;
对应地,所述依次根据所述图数据子集对待训练的图卷积网络进行训练,得到训练后的图卷积网络,包括:
依次获取图数据子集;
根据所述图数据子集对应的节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵,所述子邻接矩阵为表示图数据子集中的每个节点与所述样本图数据中其它节点的连接关系的矩阵;
将所述第二节点特征矩阵及所述子邻接矩阵输入待训练的图卷积网络进行嵌入运算,得到节点嵌入特征矩阵;
根据所述节点嵌入特征矩阵及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练;
若还存在其它未训练的图数据子集,则返回执行所述依次获取图数据子集的步骤;否则,训练完毕,以当前的图卷积网络作为最终训练后的图卷积网络。
5.如权利要求4所述的图卷积网络训练方法,其特征在于,所述根据所述图数据子集对应的节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵,包括:
对所述图数据子集中的每个节点进行邻居节点采样,确定所述图数据子集中每个节点对应的目标邻居节点;
根据所述目标邻居节点及所述第二邻接矩阵,确定所述图数据子集对应的子邻接矩阵。
6.如权利要求4所述的图卷积网络训练方法,其特征在于,若所述图卷积网络包括第一图卷积层、第二图卷积层及节点流行度特征网络层,则所述将所述第二节点特征矩阵及所述子邻接矩阵输入所述图卷积网络进行节点嵌入特征矩阵的运算,包括:
将所述第二节点特征矩阵及子邻接矩阵输入所述第一图卷积层,得到第一特征矩阵;
将所述第一特征矩阵及所述子邻接矩阵输入所述第二图卷积层,得到所述图数据子集对应的节点嵌入特征矩阵;
将所述第一特征矩阵及所述子邻接矩阵输入所述节点流行度特征网络层,得到所述图数据子集对应的节点流行度向量,其中所述节点流行度向量包含图数据子集中每个节点被其它节点连接的概率信息;
对应地,所述根据所述节点嵌入特征矩阵及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练,包括:
根据所述节点嵌入特征矩阵、所述节点流行度向量及噪声对比估计算法,计算当前图卷积网络的损失函数的值,并迭代更新所述图卷积网络的网络参数,直至所述损失函数的值最小,完成本批次的图卷积网络训练。
7.一种人员关联装置,其特征在于,包括:
第一获取单元,用于获取目标图数据的第一节点特征矩阵及第一邻接矩阵,所述目标图数据为以每个目标人员为节点,以目标人员的人脸图像数据作为节点的节点特征信息,以目标人员之间的同行关系作为边构建的图数据,所述第一节点特征矩阵为表示目标图数据中各个节点的特征信息的矩阵,所述第一邻接矩阵为表示目标图数据中节点间的连接关系的矩阵;
图卷积处理单元,用于将所述第一节点特征矩阵及所述第一邻接矩阵输入训练后的图卷积网络进行图卷积处理,得到所述目标图数据对应的节点嵌入特征矩阵;其中,所述节点嵌入特征矩阵中的每个节点嵌入向量包含一个目标人员的人脸图像信息以及与所述目标人员相关的同行关系信息;
关联关系确定单元,用于将所述目标图数据对应的节点嵌入特征矩阵进行目标处理,确定所述目标人员的关联关系;所述目标处理包括社群检测、节点搜索、边预测中的任意一项或者多项。
8.一种图卷积网络训练装置,其特征在于,所述图卷积网络应用于如权利要求1或2所述的人员关联方法,包括:
第二获取单元,用于获取样本图数据;
划分单元,用于以所述样本图数据的边作为正样本,将所述样本图数据划分为至少两个正样本数据集,其中每个所述正样本数据集包含第一预设数目的正样本;
负样本采样单元,用于根据每个所述正样本数据集的正样本,采样得到每个所述正样本数据集对应的第二预设数目的负样本;
图数据子集确定单元,用于根据每个所述正样本数据集对应的所述第一预设数目的正样本及所述第二预设数目的负样本,确定出各个与所述正样本数据集对应的图数据子集;
训练单元,用于依次根据所述图数据子集对待训练的图卷积网络进行训练,得到训练后的图卷积网络。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,使得终端设备实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,使得终端设备实现如权利要求1至6任一项所述方法的步骤。
CN202010313245.5A 2020-04-20 2020-04-20 人员关联方法及其装置、图卷积网络训练方法及其装置 Active CN111553215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010313245.5A CN111553215B (zh) 2020-04-20 2020-04-20 人员关联方法及其装置、图卷积网络训练方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010313245.5A CN111553215B (zh) 2020-04-20 2020-04-20 人员关联方法及其装置、图卷积网络训练方法及其装置

Publications (2)

Publication Number Publication Date
CN111553215A CN111553215A (zh) 2020-08-18
CN111553215B true CN111553215B (zh) 2023-10-13

Family

ID=72005640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010313245.5A Active CN111553215B (zh) 2020-04-20 2020-04-20 人员关联方法及其装置、图卷积网络训练方法及其装置

Country Status (1)

Country Link
CN (1) CN111553215B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464042B (zh) * 2020-11-25 2023-07-28 平安科技(深圳)有限公司 根据关系图卷积网络的任务标签生成方法及相关装置
CN112561357A (zh) * 2020-12-22 2021-03-26 济南中科成水质净化有限公司 一种基于有向无环图的污水处理工艺系统模糊评估方法
CN112633224B (zh) * 2020-12-30 2024-03-26 深圳云天励飞技术股份有限公司 一种社交关系识别方法、装置、电子设备及存储介质
CN112733807A (zh) * 2021-02-22 2021-04-30 佳都新太科技股份有限公司 一种人脸比对的图卷积神经网络训练方法及装置
CN113139098B (zh) * 2021-03-23 2023-12-12 中国科学院计算技术研究所 一种同质关系大图的摘要提取方法及系统
CN112989134B (zh) * 2021-03-29 2023-08-25 腾讯科技(深圳)有限公司 节点关系图的处理方法、装置、设备及存储介质
CN114205653A (zh) * 2021-12-06 2022-03-18 广东飞翔云计算有限公司 一种基于大数据的预览视频推送方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及系统
CN110765863A (zh) * 2019-09-17 2020-02-07 清华大学 一种基于时空约束的目标聚类方法及系统
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及系统
CN110765863A (zh) * 2019-09-17 2020-02-07 清华大学 一种基于时空约束的目标聚类方法及系统

Also Published As

Publication number Publication date
CN111553215A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553215B (zh) 人员关联方法及其装置、图卷积网络训练方法及其装置
Wang et al. Multi-scale dilated convolution of convolutional neural network for image denoising
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
CN111950408B (zh) 基于规则图的手指静脉图像识别方法、装置及存储介质
CN111652329B (zh) 一种图像分类方法、装置、存储介质和电子设备
CN112967210B (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN112270259A (zh) 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法
CN114677565A (zh) 特征提取网络的训练方法和图像处理方法、装置
Tuyet et al. Content based medical image retrieval based on salient regions combined with deep learning
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
CN111860834A (zh) 一种神经网络调优方法、系统、终端以及存储介质
Xie et al. High precision image segmentation algorithm using SLIC and neighborhood rough set
Liu et al. Local multi-scale feature aggregation network for real-time image dehazing
Zhou et al. Superpixel attention guided network for accurate and real-time salient object detection
Shen et al. Efficient deep structure learning for resource-limited IoT devices
Wang et al. Bayesian denoising hashing for robust image retrieval
CN116246086A (zh) 一种图像聚类方法、装置、电子设备及存储介质
JP2021527859A (ja) 深層領域拡張を使用した画像内の不規則形状のセグメント化
CN116010615A (zh) 实体的对齐方法、装置、电子设备及计算机存储介质
CN115409070A (zh) 离散数据序列临界点的确定方法、装置以及设备
CN114782336A (zh) 基于图卷积神经网络的纤维束取向分布的预测方法和装置
CN112906824B (zh) 车辆聚类方法、系统、设备及存储介质
CN115205554A (zh) 一种基于语义概念抽取的检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant