CN111506825A - 一种基于社交照片的人物关系可视分析方法 - Google Patents

一种基于社交照片的人物关系可视分析方法 Download PDF

Info

Publication number
CN111506825A
CN111506825A CN202010169065.4A CN202010169065A CN111506825A CN 111506825 A CN111506825 A CN 111506825A CN 202010169065 A CN202010169065 A CN 202010169065A CN 111506825 A CN111506825 A CN 111506825A
Authority
CN
China
Prior art keywords
social
face
objects
relationship
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010169065.4A
Other languages
English (en)
Inventor
黄可妤
陈樟樟
陈佳舟
秦绪佳
汪雨薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010169065.4A priority Critical patent/CN111506825A/zh
Publication of CN111506825A publication Critical patent/CN111506825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

基于社交照片的人物关系可视分析方法，使用卷积神经网络(CNN)人脸检测模型检测照片中待识别的人脸区域；使用深度残差网络(ResNet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果；然后从数据库中获取识别对象的关系数据，构建社交关系网络；最后通过力导引布局的可视化方式展现社交关系网络。本发明能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示。

Description

一种基于社交照片的人物关系可视分析方法
技术领域
本发明涉及计算机图形学领域，具体涉及一种利用计算机技术的社交照片人物关系分析方法，能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示出来。
背景技术
随着数码相机和智能手机等数码摄影设备的普及，在朋友聚会、活动庆典、学术报告、婚礼等社交活动中，拍摄照片成为其中必不可少的环节，称之为“社交照片”。社交照片中隐含了参与社交活动的成员之间的关系。即使两个互相不认识的人，若在同一张照片中出现，那么他们之间一定会存在某种联系，或他们有共同的朋友，或他们有共同的爱好，或他们有共同的研究方向等。挖掘社交照片中潜在的社交关系可以作为人们拓展社交圈的有效途径。
然而，目前社交照片人物关系分析方法主要是通过人脸识别以及照片的面部共现技术，是从社交照片集中分析人物间的社交关系。但由此获得的社交关系比较简单，没有对关系做出有意义的解释，且没有具象地展示出社交关系。因此，亟需一种仅识别一张社交照片并分析、展示人物间的社交关系的方法，进一步提高从照片中提取社交关系的准确性，以更加直观的方式展现出来，使数据更加客观、更具说服力。
发明内容
本发明要克服现有的社交照片人物关系分析方法的准确性及直观性不高的缺点，提供一种利用计算机技术的社交照片人物关系分析方法，能够识别社交照片中的人脸，并通过匹配数据库中的信息，构建照片中人物间的社交关系，然后以节点链的可视化方式展示。
一种基于社交照片的人物关系可视分析方法，具体步骤如下：
步骤1、使用卷积神经网络(CNN)人脸检测模型检测照片中待识别的人脸区域。
步骤2、使用深度残差网络(ResNet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果。
步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络。
步骤4、通过力导引布局的可视化方式展现社交关系网络。
本发明的技术构思是：利用人脸识别技术，识别社交照片中的人脸；以图模型的形式构建社交网络；利用力导引的可视化方式展示，提高从照片中提取社交关系的准确性，使得人物关系更加直观、易理解。
本发明的基于社交照片的人物关系可视分析方法，能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示。
本发明的优点在于：利用人脸识别技术识别社交照片的人脸，并结合社交媒体数据，深入挖掘在社交活动中，存在以及潜在的社交关系，使得关系获取更加准确，以可视化方式展现出来，使数据更加客观、更具说服力。
附图说明
图1为本发明的总流程图
图2为本发明的可视化效果图
具体实施方式
参照附图，进一步说明本发明：
基于社交照片的人物关系可视分析方法，包括以下步骤：
步骤1、使用卷积神经网络(CNN)人脸检测模型检测照片中待识别的人脸区域。
步骤2、使用深度残差网络(ResNet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果。
步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络。
步骤4、通过力导引布局的可视化方式展现社交关系网络。
所述步骤1中，卷积神经网络(CNN)人脸检测模型由第三方人脸检测Dlib库提供，通过cnn_face_detection_model_v1检测算子检测照片中待识别的人脸区域。
所述步骤2中，通过使用Dlib库中提供的ResNet模型的接口，此接口会返回一个128维的人脸特征向量。数据库中存储的特征模板是根据人脸检测模型和人脸识别模型得到的已知人脸相片的特征向量组成的。在获取特征向量之后使用欧式距离和已知的人脸特征向量进行匹配，小于阈值即为识别结果。
所述步骤3中，已知人脸的关系数据由百度百科、微博、知乎等社交媒体获得，关系数据涉及亲属关系、师生关系、敌对关系等社交关系，同时记录已知人脸的兴趣爱好。分别将识别对象的关系数据从数据库中提取，检索社交关系中是否存在与其他识别对象的直接关系，若存在则添加到社交关系网络中，同时记录对象的兴趣爱好。在所有识别对象的关系数据中，判断识别对象间是否存在共同认识的对象或共同的兴趣爱好，若存在则添加到社交关系网络中。以图模型的形式表示社交关系网络，为G＝(V,E)，其中V为节点集合，E为节点间关联关系所对应的边集合。
所述步骤4中，通过节点链的力导引方式展现，识别对象为视图的中心节点，以圆形的识别对象的头像表示，对象间的直接关系由节点间的边表示，并在边上标记对象间的具体关系。若对象间存在共同认识的人物，以实心小圆表示该对象，并用边连接该对象与识别对象，标记具体关系。若对象间存在共同的兴趣爱好，则通过方形表示兴趣爱好，并连接识别对象。
目前，从社交照片中分析潜在的社交关系是拓展社交圈的一个有效途径。然而，从现有的社交照片人物关系分析方法主要是通过人脸识别以及照片的面部共现技术，是从社交照片集中分析人物间的社交关系。但由此获得的社交关系比较简单，没有对关系做出有意义的解释，且没有具象得展示出社交关系。本发明提出了一种仅识别一张社交照片并分析、展示人物间的社交关系的方法，将社交照片与社交媒体相结合，进一步提高从照片中提取社交关系的准确性，并以更加直观的方式展现出来，使数据更加客观、更具说服力。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.基于社交照片的人物关系可视分析方法，包括以下步骤：
步骤1、使用卷积神经网络(CNN)人脸检测模型检测照片中待识别的人脸区域；
步骤2、使用深度残差网络(ResNet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果；
步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络；
步骤4、通过力导引布局的可视化方式展现社交关系网络。
2.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：所述步骤1中，卷积神经网络(CNN)人脸检测模型由第三方人脸检测Dlib库提供，通过cnn_face_detection_model_v1检测算子检测照片中待识别的人脸区域。
3.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：步骤2中，通过使用Dlib库中提供的ResNet模型的接口，此接口返回一个128维的人脸特征向量；数据库中存储的特征模板由根据人脸检测模型和人脸识别模型得到的已知人脸相片的特征向量组成的；在获取特征向量之后使用欧式距离和已知的人脸特征向量进行匹配，小于阈值即为识别结果。
4.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：步骤3中，已知人脸的关系数据由百度百科、微博、知乎等社交媒体获得，关系数据涉及亲属关系、师生关系、敌对关系等社交关系，同时记录已知人脸的兴趣爱好；分别将识别对象的关系数据从数据库中提取，检索社交关系中是否存在与其他识别对象的直接关系，若存在则添加到社交关系网络中，同时记录对象的兴趣爱好；在所有识别对象的关系数据中，判断识别对象间是否存在共同认识的对象或共同的兴趣爱好，若存在则添加到社交关系网络中。
5.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：所述步骤4中，通过节点链的力导引方式展现，识别对象为视图的中心节点，以圆形的识别对象的头像表示，对象间的直接关系由节点间的边表示，并在边上标记对象间的具体关系；若对象间存在共同认识的人物，以实心小圆表示该对象，并用边连接该对象与识别对象，标记具体关系；若对象间存在共同的兴趣爱好，则通过方形表示兴趣爱好，并连接识别对象。
CN202010169065.4A 2020-03-12 2020-03-12 一种基于社交照片的人物关系可视分析方法 Pending CN111506825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010169065.4A CN111506825A (zh) 2020-03-12 2020-03-12 一种基于社交照片的人物关系可视分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169065.4A CN111506825A (zh) 2020-03-12 2020-03-12 一种基于社交照片的人物关系可视分析方法

Publications (1)

Publication Number Publication Date
CN111506825A true CN111506825A (zh) 2020-08-07

Family

ID=71877615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169065.4A Pending CN111506825A (zh) 2020-03-12 2020-03-12 一种基于社交照片的人物关系可视分析方法

Country Status (1)

Country Link
CN (1) CN111506825A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633244A (zh) * 2020-12-31 2021-04-09 深圳云天励飞技术股份有限公司 一种社交关系的识别方法、装置、电子设备及存储介质
CN114493905A (zh) * 2020-11-13 2022-05-13 四川大学 一种基于多层次特征融合的社交关系识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810248A (zh) * 2014-01-17 2014-05-21 百度在线网络技术（北京）有限公司 基于照片查找人际关系的方法和装置
CN104021150A (zh) * 2009-08-07 2014-09-03 谷歌公司 带有社交网络辅助的面部识别
US8972368B1 (en) * 2012-12-07 2015-03-03 Google Inc. Systems, methods, and computer-readable media for providing search results having contacts from a user's social graph
CN105912579A (zh) * 2016-04-01 2016-08-31 东软集团股份有限公司 一种人物关系图谱的生成方法及装置
CN109815298A (zh) * 2019-01-28 2019-05-28 腾讯科技（深圳）有限公司 一种人物关系网确定方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021150A (zh) * 2009-08-07 2014-09-03 谷歌公司 带有社交网络辅助的面部识别
US8972368B1 (en) * 2012-12-07 2015-03-03 Google Inc. Systems, methods, and computer-readable media for providing search results having contacts from a user's social graph
CN103810248A (zh) * 2014-01-17 2014-05-21 百度在线网络技术（北京）有限公司 基于照片查找人际关系的方法和装置
CN105912579A (zh) * 2016-04-01 2016-08-31 东软集团股份有限公司 一种人物关系图谱的生成方法及装置
CN109815298A (zh) * 2019-01-28 2019-05-28 腾讯科技（深圳）有限公司 一种人物关系网确定方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114493905A (zh) * 2020-11-13 2022-05-13 四川大学 一种基于多层次特征融合的社交关系识别方法
CN114493905B (zh) * 2020-11-13 2023-04-07 四川大学 一种基于多层次特征融合的社交关系识别方法
CN112633244A (zh) * 2020-12-31 2021-04-09 深圳云天励飞技术股份有限公司 一种社交关系的识别方法、装置、电子设备及存储介质
CN112633244B (zh) * 2020-12-31 2023-03-03 深圳云天励飞技术股份有限公司 一种社交关系的识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Peng et al. Where do emotions come from? predicting the emotion stimuli map
JP6045549B2 (ja) 感情および行動を認識するための方法およびシステム
Magdin et al. Real time facial expression recognition using webcam and SDK affectiva
KR101346539B1 (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
CN110826424B (zh) 一种基于行人重识别驱动定位调整的行人搜索方法
CN113597614B (zh) 图像处理方法和装置、电子设备及存储介质
CN106599133B (zh) 一种基于草图交互的监控视频可视分析方法
CN111506825A (zh) 一种基于社交照片的人物关系可视分析方法
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
US10937150B2 (en) Systems and methods of feature correspondence analysis
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
O'Connor et al. Detecting social context: A method for social event classification using naturalistic multimodal data
Shapiro Computer vision: the last 50 years
Xu et al. Classroom attention analysis based on multiple euler angles constraint and head pose estimation
WO2022237117A1 (zh) 交互式电子白板的触摸控制方法、系统和可读介质
CN113139096B (zh) 一种视频数据集标注方法及装置
CN117746203A (zh) 一种基于多模态模型的属性标注方法及装置
CN110825821B (zh) 人员关系的查询方法、装置、电子设备及存储介质
CN108369647B (zh) 基于图像的质量控制
Nagy et al. Interactive visual pattern recognition
CN113822767B (zh) 社会关系确定方法、装置、设备及存储介质
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
Muhammad et al. A generic face detection algorithm in electronic attendance system for educational institute
Khurshid et al. FaceTrace: automated facial recognition attendance system
Srilatha et al. 3D Smartlearning Using Machine Learning Technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication