CN106575280A - 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法 - Google Patents
用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法 Download PDFInfo
- Publication number
- CN106575280A CN106575280A CN201580039477.3A CN201580039477A CN106575280A CN 106575280 A CN106575280 A CN 106575280A CN 201580039477 A CN201580039477 A CN 201580039477A CN 106575280 A CN106575280 A CN 106575280A
- Authority
- CN
- China
- Prior art keywords
- user
- image
- label
- users
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000004458 analytical method Methods 0.000 title claims description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000009826 distribution Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 29
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000004438 eyesight Effects 0.000 claims description 9
- 238000011524 similarity measure Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010191 image analysis Methods 0.000 abstract description 14
- 230000007246 mechanism Effects 0.000 description 14
- 238000002372 labelling Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
一种用于利用对应于多个用户的非用户生成的标签来注释用户图像并生成用户简档的系统包括：一个或多个处理器可读介质，被配置为存储用于图像分析和用户简档生成的处理器可执行指令；以及一个或多个处理器，被配置为基于对所存储的处理器可执行指令的执行来：用非用户生成的标签注释用户图像，其中非用户生成的标签对应于用户图像的视觉特征；以及基于与对应于每个相应用户的图像相关联的非用户生成的标签来生成用户简档。
Description
相关申请的交叉引用
本专利申请是要求2014年7月22日提交的62/027,501号美国临时专利申请的利益的PCT申请，该美国临时专利申请的全部内容通过引用并入本文。
背景技术
许多社交媒体应用，例如推荐，病毒式预测和营销，利用指示用户之间的连接的社交图。但是，这些社交图可能未被明确指定，或者这些社交图可能被私下保留。
同时，诸如智能手机和可穿戴设备的高级移动设备正在成为人们生活的越来越集成的部分，并且每天有大量的用户图像被共享。这些用户共享的图像通常(例如)通过因特网由他人公开地或容易地获得。
发明内容
在示例性实施例中，本发明提供了一种用于分析对应于多个用户的用户图像并生成反映用户特性或连接的分布(该分布被认为是简档)的系统。该系统包括：一个或多个处理器可读介质，被配置为存储用于图像分析和用户简档生成的处理器可执行指令；以及一个或多个处理器，被配置为基于对所存储的处理器可执行指令的执行来：用非用户生成的标签注释用户图像，其中所述非用户生成的标签对应于所述用户图像的视觉特征；以及基于与可以反映用户特征的与每个相应用户相对应的图像相关联的非用户生成的标签来生成分布。
附图说明
下面将基于示例性附图更详细地描述本发明。本发明不限于示例性实施例。在本发明的实施例中，本文描述和/或示出的所有特征可以单独使用或以不同的组合使用。通过参考附图阅读下面的详细描述，本发明的各种实施例的特征和优点将变得显而易见，附图示出了以下内容：
图1示出了可以从其获得由用户共享的图像的示例性社交网络。
图2(A)至图2(C)描绘了示出用于分析用户图像数据的系统和方法及其应用的流程图。
图3(A)至图3(H)示出了用于发现用户连接的各种方法和对应的实验结果。
图4(A)至图4(C)示出了对应于使用不同团体发现技术的团体信息和实验结果。
图5(A)和图5(B)是示出不同社交网络的平均BoFT相似性(S)的测量的图。
图6是示出来自相同在线团体的所有用户对的平均BoFT相似性和所有可能用户对之间的平均BoFT相似性的图。
图7(A)和图7(B)是示出西方和东方社交网络之间的平均BoFT相似性(S)与精确度(p)的比较的图表(图7(A))，以及图像导向与常规社交网络之间的平均BoFT相似性(S)与精确度(p)的比较的图表(图7(B))。
图8(A)至图8(F)是示出不同方法的结果的比较的图。
图9(A)至图9(D)是示出5至10个推荐的精确度(p)和召回率(r)的图。
图10(A)和图10(B)是示出社交网络的起点和机制之间的平均BoFT相似性(S)与精确度(p)的比较的图。
图11(A)至图11(C)是示出具有相同数量的被发现的团体的不同方法的性能的比较的图。
图12是描绘SIFT中的特征的示例的屏幕截图。
图13是描绘视觉词的示例的屏幕截图。
图14是描绘多个视觉词的示例的屏幕截图。
图15是描绘图像的特征向量的屏幕截图。
图16是描绘示例性实施例中的图像分析系统的示例性处理流程的流程图。
图17是描绘相对于随机确定的性别识别的平均精度结果的图表。
图18是示出了与由常规方法利用的多个计算相比较的示例性实现所利用的多个计算的图。
图19是示出与由常规方法使用的处理流程相比，由示例性实现方式利用的处理流程的图。
具体实施方式
本文所讨论的图像分析系统的示例性实施例提供了对用户共享的大量图像的分析，以产生对应于图像特征组的机器生成(或“非用户生成”)标签。这些机器生成的标签可以例如用于发现用户连接，所述用户连接用于用户个性化信息/服务
用户连接和团体的发现是在线社交网络和服务中的两个重要功能。用户连接可以是许多形式，例如具有相似兴趣的用户和来自相同物理位置的用户。在社交媒体上，用户连接可以是关注/关注者关系(如在TwitterTM中)，以及好友关系(如在FacebookTM中)，因此社交图(SG)可以由那些关注/关注者关系和好友关系来形成。由于连接的性质，之间具有连接的两个用户更可能彼此交互、共享相似的内容并且具有多个共同的朋友。
关于通过社交媒体中的那些连接形成的那些用户连接(社交图)和团体的信息是有价值的。诸如TwitterTM和PinterestTM的公司具有关于用户连接的全面数据，以通过发现用户连接和团体来提高他们向用户提供的信息的相关性。然而，例如由于数据被保護在有限访问的状态，当今在许多社交网络中访问最初由用户提供的SG可能是困难或不切实际的。例如，流行的移动社交网络应用(如WhatsAppTM(由来自美国的FacebookTM拥有)和WeChatTM(由来自中国的TencentTM拥有))仅让其相关服务或技术使用这些信息。另外，一些用户由于隐私问题可能在一些社交网络平台中隐藏他们的用户连接信息。
由于对SG这种访问限制，用于新颖应用的对用户连接和团体的有效发现对于研究人员、商家、第三方服务提供商和个人而言可能是困难的或几乎不可能的。
然而，在许多社交网络中每天无缝生成数以亿计的用户共享图像，并且这种特定形式的用户生成的内容由于其在线社交共享的固有性质而被其他人广泛地访问。本文描述的图像分析和非用户生成的标签系统和方法的示例性实施例利用该大量共享图像数据源来发现用户连接和团体，从而允许这些用户共享图像更便利和有效地取代依赖于SG或用户生成的标签(或“用户注释”标签)的传统方法。
本发明的某些示例性实施例提供了基于使用“机器生成”或“非用户生成”标签(其可包括或可不包括呈现为人类可理解的形式的数据)的分析框架的系统和方法，所述“机器生成”或“非用户生成”标签是基于用户共享图像的，以通过使用任何计算机视觉、图像/信号处理技术来提供增强质量的图像注释，从而便于连接发现。用户通过非用户生成的标签的分布式计算来表示，例如对每一个非用户生成的标签的出现数进行统计，并且可以从这些出现中发现用户之间的连接(例如，基于对应于第一用户的标签与对应于第二用户的标签的相似性)。因此，即使没有访问社交图的权限，这些连接也是可发现的，并且这些连接对于各种应用是有用的，例如，包括具有图像共享的任何社交网络中的信息或服务推荐。非用户生成的标签可以通过可基于图像的视觉特征产生标签的任何计算机视觉、图像/信号处理技术来生成。
图1描绘了八个示例性用户社交网络。这些示例性社交网络是可以使用本文描述的图像分析和标签生成系统和方法的实施例来分析的图像数据的示例性源。一般社交网络(例如，TwitterTM)中的用户可以以多媒体格式(例如，文本，图像，视频或任何新出现的格式，例如位置)中的一个或其任何组合来灵活地生成内容并与他人共享内容。然而，在面向图像的社交网络(例如，PinterestTM)中，图像是要由用户生成并与他人共享的内容的唯一或主要格式。通过它们的起源位置，社交网络还可以被归类为西方和东方社会网络，从西方或从东方，具有不同的用户基础和不同的用户文化。FlickrTM和PinterestTM是来自西方的面向图像的社交网络，如图1的(A)部分所示。DuitangTM和DiguTM类似于PinterestTM和FlickrTM，但是起源于东方，如图1的(B)部分所示。其他四个所描绘的社交网络是不一定基于图像的一般社交网络。来自西方的TwitterTM和SkyrockTM在图1的(C)部分中描绘，而来自东方的腾讯TM微博和163TM微博在图1的(D)部分中描绘。
通过对这些示例性网络上可用的示例性图像的分析，本发明的示例性实施例证明形成关注/被关注关系的用户以及来自相同团体的用户分享视觉上相似的图像，并且当分析那些图像时，具有指示更高图像相似性的分析结果。因此，本文讨论的本发明的图像分析系统和方法的示例性实施例能够利用各种应用的用户共享图像(其比SG和用户生成的标签相对更容易访问和/或可靠)，包括例如每个社交网络上用户连接和团体的发现。
本发明的示例性实施例所示出的几个原理如下：
1)来自相同团体的连接的用户和用户倾向于共享具有更高相似性的图像，而不论社交网络的起源地点和内容共享机制如何；
2)具有较高相似性共享图像的用户意味着它们在社交媒体上连接的概率较高，这允许通过本发明的示例性实施例分析用户共享图像，以从共享图像发现用户连接。如下面进一步讨论的，通过测试，本发明的示例性实现被证明比当今许多社交网络中通常使用的依赖于用户生成的标签的常规方法好60％；
3)如果两个用户的共享图像具有较高的相似性，则他们可能来自社交媒体上的相同团体，这允许通过本发明的示例性实施例分析用户共享图像以通过共享图像发现用户团体(如下面进一步讨论的，通过测试，本发明的示例性实现被证明实现了与常规方法，如使用SG，相当的性能)。
在为了证明本发明的示例性实施例的有效性而执行的测试之一中，根据示例性实施例的图像分析系统被配置和测试为图1的每个社交网络上的用户连接推荐系统，使用具有超过200万用户共享图像的数据集。在社交媒体上的不同类型的用户连接中，为此测试收集了2000万个关注/被关注关系(最基本且可访问的用户连接类型)，如下表1所示。
表1.来自8个现实世界社交网络测量的数据集
*通过考虑这个研究中的八个社交网络的通用属性，具有图像共享机制的社交网络可以被分类为一般的社交网络或图像导向的社交网络。
注意：具有一般共享机制的社交网络的用户可以共享图像、视频、文本等，而图像导向的社交网络主要具有图像。
在示例性实施例中，图像分析系统使用特征包标记(Bag-of-Feature Tagging，BoFT)技术来生成非用户生成的标签。通过测试证明，共享与非用户生成的BoFT标签高相似性图像的用户可能被连接，并且基于此，图像分析系统能够通过可广泛访问的用户共享图像来发现用户连接和团体，即使没有访问SG的权限。此外，图像分析系统所利用的图像分析过程可实现比依赖于用户注释的标签(即，由用户手动实现的与图像相关联的标签，诸如伴随着发布到社交网络的图像的标签文本)的常规方法更好的结果。另外，在示例性实施例中，图像分析系统还能够基于对相应用户共享的图像执行的图像分析来识别用户性别。
尽管识别用户连接和团体发现以及提供对用户连接和服务/产品的推荐是本文所讨论的分析框架的一些示例性应用，但是应当理解，本发明的实施例不限于这样的连接和团体发现相关应用程序。例如，还可以利用用于图像分析和标签生成的所公开的框架来实现其他应用程序，包括但不限于性别识别和用户特性的分类。
使用非用户生成标签的图像注释
在示例性实施例中，使用BoFT技术分析用户共享图像，并且用非用户生成的标签，BoFT标签(或“BoFT标签”)，来标记每个图像。BoF是用于分析图像的计算机视觉方法。图2(A)至图2(C)示出了用于图像分析、BoFT和简档生成的示例性系统和方法，以及基于其的连接发现和团体发现应用程序。图2(A)示出了用户图像的BoFT分析。图2(B)示出了基于以BoFT标签为基础的简档的用户连接发现。图2(C)示出了基于以BoFT标签为基础的简档的用户团体发现。
应当理解，生成非用户生成的标记(或“标签”)不限于BoFT技术。其他图像处理/计算机视觉技术可以生成标签，诸如使用梯度位置和定向直方图，或者使用其他监督物件识别技术，诸如GIST。
根据示例性实施例，图像分析系统200包括特征提取器210、码本生成器220、特征池230、类器240、标记器250和剖析器260。将理解的是，系统的这些部分可以在硬件，固件和/或软件中实现。例如，在一个示例性实现中，特征提取器210、码本生成器220、特征池230、聚类器240、标记器250和剖析器260是存储在处理器可读介质上的处理器可执行指令形式的软件模块，以及由这些模块中的每一个执行的功能由计算设备(例如，计算机服务器)的处理器执行。在其他示例性实施例中，特征提取器210、码本生成器220、特征池230、聚类器240、标记器250和剖析器260可以各自是具有带有易失性和/或非易失性存储器的处理器的单独的计算设备。在其他示例性实施例中，不同的组件可以在某些设备内组合并分布在多个设备中，例如，某些功能可以在用户侧的移动设备上实现，以便委托移动设备处理以分布计算需求，而其他功能在诸如服务器的网络侧计算设备上实现。码本生成中的特征的数量和聚类中的标签的数量受制于用于分析图像的计算机视觉或图像/信号处理技术的选择。
在步骤1中，特征提取器210提取用户的图像的局部特征。这些独特的特征可以通过特征检测来检测，例如哈里斯仿射(Harris Affine)检测器，最大稳定极值区域(Maximally Stable Extremal Regions)检测器和卡迪尔-布雷迪(Kadir-Brady)显著检测器。相同物件的提取的特征在不同视角和照明条件下拍摄的图像之间相对一致。它们以独立于大小和方向的方式表示，诸如尺度不变特征变换(SIFT)或GIST。
在步骤2中，码本生成器220生成并获得可以表示由特征提取器210获得的特征的“视觉词”。该步骤开始于通过聚类技术将提取的视觉特征聚类成组，例如基于k均值聚类其视觉相似性，并且每组的平均向量定义为视觉词。在替代示例性实施例中，诸如高斯模型的模型可以用于表示视觉词。可以使用的其他技术包括例如Canopy聚类算法和Linde-Buzo-Gray算法。因此，可以通过使用多个示例性技术(诸如，所描述的均值向量、高斯模型、Canopy聚类算法和Linde-Buzo-Gray技术)结合图像的相应特征以表示视觉词。
在步骤3中，特征池230对包含检测到的特征的图像与相应的视觉词进行编码。特征编码基于最接近的视觉词表示每个视觉特征。图像由特征池中的特征向量表示。例如，可以使用的一种技术是对图像上的每个唯一视觉词的出现次数进行计数，作为用于比较图像的相似性的图像的特征向量。
在步骤4中，聚类器240使用针对每个图像所获得的特征向量来对视觉上相似的图像进行分组。具有相同或相似物件的图像具有类似的视觉特征，因此这些图像具有类似的特征向量。因此，通过聚类特征向量获得的每个聚类包含对应于类似物件的图像。
在步骤5中，在获得聚类之后，每个相应聚类中的图像由标记器250利用相应标记(或“标签”)来标记。与相同标签相关联的图像指示那些图像在视觉上相似。这些标签是非用户生成的标签，意味着用户共享的图像被分析和标记，不需要任何手动输入和处理。在其它示例性实施例中，可用一个或多个非用户生成的标记或标签来预先限定图像聚类或组，并且标记器250确定或识别每组中与图像相对应的非用户生成的标记或标签。
在步骤6中，分析器260基于由每个用户上传的图像，利用根据非用户生成的标签生成的分布对用户进行描述。用户简档对应于与用户共享的图像相关联的非用户生成的标签。在图2所示的示例中，图像分析系统使用对应于用户的共享图像的一组BoFT标签作为用户的简档，并且简档包括简档中每个BoFT标签的出现次数。因为由用户共享的图像反映用户的兴趣，所以用户简档可以用于诸如连接发现和团体发现的应用程序。具有类似兴趣的用户(例如，运动俱乐部，喜爱的汽车等)共享类似物件的图像。
在实施例中，当新的图像被上传到社交网络(数据源)时，图像分析系统可以将新的图像合并到数据集中和/或当新的用户加入社交网络时将新的用户添加到数据集，以及可以重复或补充图像分析、标记和简档生成过程。替代地，用户可以将图像上传到应用本发明的应用程序。
自动生成并与用户图像相关联的BoFT标签表示用户的特征，诸如用户性别和关注者/被关注者关系。因此，BoFT标签还包含现有的或潜在的、发现的或未发现的用户社交网络信息。
由于为每个图像中的所有特征自动生成非用户生成的标签，所以该信息可以被存档以供将来使用，诸如用于发现与新用户的关系。由于非用户生成的标签表示图像特征，并且不限于人类文本标签或人类词汇，因此不需要使用新术语为新用户图像手动引入新标签。可以根据需要在运行中比较特征的相似性。
此外，非用户生成的标签独立于特定的社交媒体网络平台，并且因此可以容易地适于在任何社交媒体网络平台中使用以建立用户连接和/或团体(或甚至简单的用户分类)。
基于BoFT的用户连接和团体发现
根据本发明的实施例，例如BoF使用来产生非用户生成的标签，并且可以通过他们的共享图像来找到用户之间的BoFT相似性。可以基于用户简档来确定BoFT相似度。此外，可以基于所确定的BoFT相似性的量来发现用户连接和用户团体。
在示例性实施例中，图像分析系统200还包括根据非用户生成的标签生成的分布、相似性比较器270、连接发现器280a和/或团体发现器280b。
在步骤7中，在获得用户简档之后，简档比较器270比较用户简档以计算用户之间的相似度。当建立反映每个用户的兴趣的用户简档时，可以基于多对用户的BoFT相似性来发现用户连接和用户团体。共享相似图像的人将产生更高的BoFT相似性。在示例性实施例中，基于非用户生成的标签的分布来使用用户简档之间的成对相似性比较，并且使用以下公式计算相似性：
其中Li和Lj分别是用户A和B的简档中的他们的共享图像的BoFT标签的集合。(注意：该方程用于计算图5(A)、5(B)、6、7(A)、7(B)、10(A)和10(B)中所绘出的相对于相应测试中使用的样本用户数据集的结果)。替代地，相似性计算可以基于任何相似性计算，诸如可以基于分布来告知两个用户的相似性的Jaccord相似性，或者通过任何数学函数的相关值，较高的值意味着更类似。
在步骤8a中，在获得用户简档之后，连接发现器280a基于计算的用户之间的相似性向用户进行用户连接推荐。
如前所述，可以在用于用户连接推荐系统的示例性实现中评估用户连接发现的性能。该推荐基于Si,j，其中问题是对于用户i，给出在用户i和其他用户之间的Si,j，给出与i连接的较高机会的那组用户。推荐用户的列表基于Si,j的排名从最高到最低进行选择。如下，评估是基于两个常用度量(精度p和回忆率r)的：
其中Tp是推荐列表中的已连接用户的数量，而Fp是推荐列表中未连接用户的数量。(注意：这用于计算图7(A)、7(B)、10(A)和10(B)中描述的结果)。Tp和Fp的和是推荐用户的数量。由于社交网络的网络工作密度不同，通过用p除以p的随机pRand来对p归一化：
类似地，r定义为：
其中Fn是不在推荐列表中的连接用户的数量。(注意：等式4用于计算图9(A)至图9(D)中描述的结果)。Tp和Fn的总和是数据集中的连接用户的总数。并且r通过除以r的随机Rr来归一化：
和中较高的值表示在发现和推荐中的性能更好。(注意：使用等式3和等式5来计算图8(A)至图8(F)中描述的结果)。下表2总结了具有在这个部分通过相同过程的不同方法获得的相似性的用户连接发现结果。
表2.连接和团体发现的不同相似性计算方法的总结
在步骤8b中，在获得用户简档之后，团体发现者280b基于所计算的用户之间的相似性向用户做出用户团体推荐。团体发现基于通过方程式1的用户之间的BoFT相似性。S(Cx，Cy)，2个团体Cx和Cy的相似性被定义为2个团体的用户之间的最高相似性：
S(CX,Cy)＝max(Si,j)，其中用户i在Cx中，用户j在Cy中 (6)
替代地，可以通过其他计算，例如使用平均相似性，即平均(Si,j)，来计算2个团体之间的相似性。
基于s(cx，cy)，在基于连接和基于图像的团体发现中采用了通用的机器学习方法，层次聚类。在不同的层次聚类算法中，聚集层次聚类算法是一种流行和可实施的方法，用于发现具有不同数量的期望团体的团体。图2(C)中示出了团体发现的步骤，并且可以包括以下内容：
步骤8b.1-相似性计算所有用户和每个用户之间的相似性被认为是一个团体。
步骤8b.2-团体形成以组合具有最高相似性的两个团体。
步骤8b.3–对新组合的团体和其他团体之间的相似性进行相似性重新计算。
步骤8b.4-检查总的团体数以重复步骤8b.2，直到达到用户所需的团体数。
这些步骤可以被组合或移位或者向算法添加新的步骤以获得相同的结果。
通过等式6，实施方法将具有最高相似性的两个团体合并成单个团体，然后重新计算新合并团体与其他现有团体之间的相似性。当达到期望数量的团体时，实施方法可以停止，然后获得团体分配。
为了用实况来评估所发现的团体，通过Louvain方法使用所选择的随机用户之间的连接来获得团体指派。发现性能由归一化互信息(NMI)评估，其定义为：
其中N是用户总数，Γm和Γn是2个团体分配。NAm和NAn分别表示分配m和n中的团体的数量。团体Cx和Cy中的用户的数量分别是Nm和Nn，而Nm，n被定义为Cx和Cy中的公共用户的数量。NMI的范围从0到1，其中NMI＝1意味着发现结果与实况相同，即，所有团体被正确地发现。NMI＝0意味着2个分配是完全独立的，其中1个可能性是所有用户在团体分配An中在相同的团体中，而对于另一个分配Am不是这样。通过表2中其他方法获得的相似性的团体发现结果也用本节中相同的过程计算，并与其他使用NMI的方法进行比较。(注意：式7用于计算图11(A)至图11(C)中描述的结果)
实验结果
测试了本发明的示例性实施例以证明可以通过来自八个社交网络的用户共享图像发现用户连接和团体，而不使用用户SG和用户注释。发现可以通过获得共享许多视觉上相似的图像的用户对来进行，例如，相同物件的图像。表1显示了这项工作中涉及的数据集的总结，其中有超过200万个图像和2000万个用户连接。可以从用户共享图像中发现用户连接和团体。测量可以显示出，如果两个用户的共享图像相似，则两个用户具有较高的被连接的概率以及在同一团体中。实验结果证明了使用用户共享图像的用户连接和团体发现的有效性。
用户连接发现
可以通过分析来自用户SG的用户连接和用户共享的图像来发现连接。图3(A)至图3(H)显示了如何使用不同的方法发现用户连接的示例。图3(A)到图3(D)示出了来自一组4个用户A、B、C和D的结果，图3(E)至图3(H)示出了具有其共享图像的一组50个TwitterTM用户。图3(A)示出了实况，其是4个用户之间的现有用户连接，图3(E)示出了50个用户中的实况。具有连接线路的两个用户是已连接的用户。
图3(C)至图3(H)示出了发现的用户连接，其中如果成功发现两个用户的连接，则他们用线进行连接。图3(B)是使用来自4个用户的SG的用户连接相似性的用户连接发现的示例。在用户A、B和C之间的连接被发现，因为它们共享公共连接的用户，用户E、F和G。在2个用户之间的更高的连接相似性意味着2个用户具有更常见的连接用户。图3(F)是通过连接相似性发现的具有TwitterTM数据的用户连接的示例。可以观察到，存在许多发现的用户连接。图3(C)和图3(G)示出了如何从用户共享图像发现用户连接的示例。图3(C)是使用来自用于4个用户的SG的连接相似性的用户连接发现的示例。发现4个用户A，B和C之间的连接，因为它们共享类似的图像。在图3(G)中示出了从50个用户发现的多个用户连接。为了对不同方法的性能进行基准检测，随机方法，即随机挑选用户对，也在图3(D)和图3(H)中示出。可以观察到，使用图像的用户连接发现优于随机。它表示可以基于用户共享图像发现用户连接。
团体发现
给出一组用户，良好的团体发现能够分配准确数量的团体和每个团体的成员资格。图4(A)至图4(C)示出了在具有4个用户的SG中发现团体之后的团体指派，以及通过不同发现方法的团体指派的示例。图4(A)示出了实况，通过完全了解SG而实现的被发现的团体指派。可以观察到，在具有用户A、B和C的团体的用户之间存在更多的用户连接。图4(B)示出了如何通过SG发现团体。由于用户A、B和C具有更常见的连接用户，因此他们都具有比其他用户更高的连接相似性。基于连接的团体分配可以将这些用户识别为在同一团体中，因为它们之间的更高的连接相似性。通过分析共享图像的团体发现也是可行的。可以通过共享图像来设计类似的机制，如图4(C)所示：相同团体中的用户具有比其他团体更高的共享图像相似度。因此，团体可以被发现为共享高度相似图像的用户A，B和C，并且可以相应地开发使用基于图像的团体分配的方法。
用户共享的图像和图像相似性
本发明的实施例的系统和方法用于分析来自西方和东方的八个社交网络的200万个用户共享图像，以发现用户连接和团体。应用基于特征包(BoF)的方法来分析用户共享图像并计算图像相似性，其通过哈里斯仿射(Harris Affine)检测器或最大稳定极值区域检测器检测低水平和独特的视觉特征。任何独特的特征的集合都可以表示物件，其中出现相同物件的图像将具有高度相似的一组独特特征。具有高度相似的一组独特特征的图像被分配相同的BoFT标签以指示它们在视觉上相似。具有2组视觉上相似的共享图像的2个用户将产生类似的BoFT标签集合，并且BoFT相似性可以通过等式1来计算。连接相似性还可以通过具有用户SG的朋友的朋友(FoF)方法来计算，产生FoF相似性。基于图像和基于连接的团体分配是根据两个相似性获得的，并且分别导致基于BoFT和基于FoF的团体分配。
图5(A)和图5(B)示出了表1中所示的不同社交网络上的平均BoFT相似性(Si,j)的测量。图5(A)示出了通过来自不同起点的社交网络上的平均BoFT相似性的连接用户和未连接用户之间的比较，图5(B)示出了跨不同内容共享机制的比较。结果证明，连接的用户共享高度相似的图像，不像那些没有连接、独立于内容共享机制和社交网络的起点的用户。
进行另一个实验以验证同一团体中的用户是否共享更相似的图像。测量同一团体的用户之间的共享图像的BoFT相似性，其中使用用户连接来发现团体。
图6示出来自相同团体的所有用户对的平均BoFT相似性和所有可能的用户对之间的平均BoFT相似性。证实来自相同团体的用户具有比平均BoFT相似性更高的BoFT相似性，并且这种现象独立于内容共享机制和社交网络的起源。在所有西方社交网络中，同一团体的用户之间的BoFT相似性比平均BoFT相似性高14.3％。对于那些东方社交网络，BoFT相似性比平均BoFT相似性高5.9％。在图像导向的社交网络中，同一团体的用户之间的BoFT相似性比平均BoFT相似性高8.5％。BoFT相似性比一般社交网络中的平均BoFT相似性高15％。在上述实验中，可确认的是，与未连接的用户相比，连接的用户共享更相似的图像，并且同一团体的用户共享更相似的图像。这种现象被证明独立于社交网络的起源和内容共享机制。基于这个结论，可以通过使用BoFT相似性的方法发现连接和团体。
BoFT相似性和用户连接
对2个用户之间的BoFT相似性Si,j在告知2个用户是否连接方面如何有用进行了另一个调查。通过预测具有不同的Si,j值的用户对被连接，进行基于S来发现用户连接的实验。预测性能通过精确度p来测量，p是存在于实况中的发现的连接的百分比，由公式2。
图7(A)和图7(B)示出了西方和东方社交网络之间的平均BoFT相似性(Si,j)与精确度(P)的比较(图7(A))，以及图像导向与常规社交网络之间的平均BoFT相似性(Si,j)与精确度(p)的比较的图表(图7(B))。
图7(A)在西方和东方社交网络上比较Si,j与p，图7(B)在图像导向和一般社交网络上比较Si,j和p。可以观察到p随Si,j增加。结果表明如果两个用户具有其共享图像的较高BoFT相似性，则两个用户具有较高的连接概率。相同的现象发生在社交网络的不同的起源和内容共享机制。由于没有共享完全相同的图像的用户对，Si,j＝1的情况未在图7(A)和图7(B)中绘出。在图7(A)和图7(B)中，西方SN和一般社交网络在p方面具有更好的性能，因为它们具有如表1所示的更高的网络密度。这些结果证明可以借助于使用BoFT相似性的方法来发现用户连接。使用BoFT相似性的连接发现
基于连接用户共享更相似的图像的观察，可以因此使用用户共享图像的BoFT相似性来发现用户连接。该实验通过通用方法(即关于连接的推荐系统)来评估所提出的发现方法。该发现从具有高BoFT相似性值的用户对开始并且进展到较低值，因为较高的相似性意味着它们被连接的较高的概率。还实施了用于比较评价的其他三种方法，如表2所列出的。
第一种方法是FoF，其中当访问SG困难且受限时，通过其SG通过其相似性将用户连接发现为可实现的上限。第二个是使用用户注释的标签(UserT)，其中通过其在2个用户之间的共享图像上的用户注释标签的相似性来发现用户连接。第三种方法是随机方法(Rand)，其中基于对所有可能的用户对的随机分配的相似性值来发现用户连接，如图3(E)所示。由于简单性，这用作所有评估的基线或下限。评价分别在表1的八个社交网络上进行。
通过由方程4和方程2定义的预测性能的2个公共度量，回忆率r和精确率p，来评估结果。回忆率r是实况中发现的现有用户连接的百分比。它们由具有最高相似性的前N个用户来评估，Si,j。更好的方法应该给出更高的p和r的值。
由于具有高密度的社交网络上的发现给出高的r和p，所以通过将它们分别除以Rand的r和p，将2个值归一化为Nr和Np，如等式3和5所示。
图8(A)和图8(B)示出了针对N的不同方法的Np和Nr。N的范围被设置为5到10，以模拟用户连接推荐系统的典型设置。可以观察到，所提出的方法比Rand好至少4倍，并且实现FoF的性能的25.8％。为了评估八个社交网络的性能，针对N等于5到10计算每个用户的曲线下面积(AUC)，其中更高的AUC意味着更好的发现性能。图8(C)和图8(D)示出了在不同来源的社交网络的AUC的比较。根据图8(C)，对于西方社交网络，BoFT针对p实现21.3％的FoF，对于那些东方社交网络实现41.3％。在图8(D)中发现针对r的相同的观察。对于西方和东方社交网络，BoFT针对r分别实现了FoF的AUC的21.3％和41.7％。图8(E)和图8(F)比较了社交网络的不同内容共享机制的表现。在图8(E)中，BoFT在图像定向和一般社交网络中分别实现37.9％和19.2％的FoF的AUC值。在图8(F)中在r方面可以发现相同的观察。BoFT在图像导向的社交网络中具有41.8％的FoF的AUC值，而对于一般社交网络，其为18.4％。
如所讨论的，SG通常难以被访问，因此，当今，使用用户注释的标签确实是当今用于发现许多社交网络中的用户连接的常见替代方案，例如FlickrTM。
因此，UserT和本发明的所提出的方法的结果之间的比较在图9(A)至图9(D)示出，使用具有来自FlickrTM的超过200,000个图像的数据集，其可以显示，用户连接发现的性能可以针对面向照片的社交网络(如FlickrTM)来改进。图9(A)示出了针对5至10个建议的p，图9(B)示出了针对5至10个建议的r。提出的BoFT方法执行优于UserT，当SG不可访问时，它可以是当今社交网络的更好的替代方案。图9(C)和图9(D)分别示出图9(A)和图9(B)的AUC。结果证明，在FlickrTM上所提出的方法在p和r方面比UserT好65％。
BoFT相似性和团体成员资格。类似地，基于同一团体的用户共享高度相似的图像的现象，通过预测具有不同Si,j值的用户对在同一团体中，进行基于Si,j的团体发现的评价的实验。
图10(A)和图10(B)分别在社会网络的起源和机制方面比较Si,j与p。证明p随着Si,j增加。结果证明当2个用户的共享图像更相似时，他们有更高的概率在同一团体中。这种现象贯穿社交网络的不同的起源和内容共享机制而发生。由于没有共享完全相同图像的用户对，在社交网络中发现，在图10(A)和图10(B)中未绘制2个用户的BoFT相似性Si,j＝1的情况。结果暗示可以使用BoFT相似性来发现团体，这将在下面使用所提出的方法进行讨论。比较图7，图10(A)和图10(B)示出了在给定相同Si,j的情况下的更高的p。背后的原因是团体仅仅是具有更多用户连接的用户集合，相同团体的用户不需要完全连接。结果，来自相同团体的用户的用户对的数量比被连接的用户对高得多，并且p在图10(A)和图10(B)中高得多。类似地，在图10(A)和图10(B)中，西方SN和一般社交网络在p方面具有更好的性能，因为它们具有如表1所示的更高的网络密度。
使用BoFT相似性的团体发现。基于同一团体中的用户共享高度相似的图像的现象，可以因此通过使用来自用户共享图像的BoFT相似性来发现团体。通过将共享相似图像的用户从最高相似性分组到最低相似性来进行发现，因为如果用户对的共享图像相似，则用户对更可能在相同团体中。在这个实验中，迭代层次聚类方法，它通过方程6基于团体的相似性来合并团体，用于获取团体赋值。在第一次迭代中，每个用户被认为是一个团体。2个最相似的团体被合并到一个新的团体，并且重新计算新合并的团体和其他团体之间的相似性，直到达到所需数量的团体，这取决于应用程序。分配的性能由实况、由用户之间的现有连接发现的团体指派来评估。
采用比较两个分配之间的所有可能的团体对的差异的测量，来自信息理论的规范化互信息(NMI)。当NMI＝1时，基于BoFT的团体分配与实况相同，而当分配完全不同于实况时，NMI＝0，例如，所有用户在同一团体中。还获得用于评估的基于FoF的团体分配，其通过与上述相同的分层方法利用FoF相似性被发现。然而，当一个作业中有更多的团体时，NMI通常给出更高的值。
图11(A)至图11(C)示出了根据本发明的实施例的具有相同数量的发现的团体的不同方法的性能的比较。评价结果示于图11(A)至图11(C)中，具有x轴，Rc，作为团体发现的数量，通过团体的最大可能数量归一化。例如，当有40个用户时，团体的可能最大数目是40。如果发现20个团体，则Rc是50％。
如图11(A)所示，可以观察到基于BoFT的团体分配实现与基于FoF的团体分配类似的性能。图11(B)和图11(C)显示了来自不同来源和机制的社会网络中NMI的AUC。根据图11(B)，可以观察到基于BoFT的团体指派具有与基于FoF的团体指派类似的性能。对于西方社交网络，基于BoFT的任务可以实现基于FoF的任务的87.2％，以及对于那些东方社交网络，为95.3％。根据图11(C)，可以观察到，所提出的方法通常在图像导向的社交网络中实现与基于FoF的分配相当的性能。通过图像导向的社交网络，所提出的方法实现了基于FoF分配的AUC的99.4％，且在一般的社交网络为82.5％。结果表明，BoFT相似性对于团体发现表现很好。背后的一个原因是，团体发现中提出的方法考虑了多个用户的相似性。用户之间的这些相似性提供比仅使用2个用户的相似性更丰富的信息，如在FoF中使用的。结果证明，基于BoFT的团体分配可以实现与基于FoF的团体分配的可比性能，无论要发现的团体数量如何。
根据本发明的实施例，基于BoF的标记方法可以产生匹配从上传的图像发现的用户兴趣的更好的推荐。基于BoF的方法可以帮助从社交网络上的共享图像发现隐藏的用户的连接以获得更好的推荐。由于用户好友关系/兴趣并不总是可用，可以根据无监督方法的图像的视觉特征对图像进行分类。这些视觉特征表示用户的兴趣，因此推荐。通过使用来自FlickrTM的刮取数据集的好友关系推荐来评估示例性实施例，该数据集具有超过500个用户和200,000个图像。示例性实施例可以基于由用户共享的图像向用户推荐好友。召回率和精确率提高约50％。
如下提供非用户生成的标签分配的示例性实现。
基于视觉特征和图像的特性来生成非用户生成的标签。它可以基于可以表明两个图像的相似性的任何图像处理/计算机视觉技术。例如，表明出现在图像上的物件名称的方法可以是非用户生成的。在实施例中，已经证明，通过使用信号处理方法、使用通用计算机视觉技术的BoFT，BoF(特征包)可以生成用于连接发现的非用户生成的标签。具有相同的非用户生成的标签的两个图像指示它们在视觉上相似，例如在两个图像上出现的物件。用户的共享图像的非用户生成标签的出现次数被用作他/她的用户简档文件。生成非用户生成的标签有五个步骤：
特征提取。这些独特的特征可以通过特征检测来检测。相同物件的提取的特征在不同视角和照明条件下拍摄的图像之间相对一致。它们以独立于大小和定向的方式表示，例如，使用尺度不变特征变换(SIFT)。SIFT的表示是128维向量，其中在图像上存在多个特征。替代地，任何特征描述符，例如GIST描述符和卷积神经网络(CNN)也适用于该部分。图12是描绘SIFT中的特征的示例的屏幕截图。
码本生成。该步骤开始于通过诸如基于它们的视觉相似性的k均值聚类的聚类技术将提取的视觉特征聚类成组，并且每组的平均向量被定义为视觉词。它与SIFT中的要素具有相同的维数。图13是描绘视觉词的示例的屏幕截图。图14是描绘从k均值生成的多个视觉词的示例的屏幕截图。用于生成视觉词的替代技术包括使用Canopy聚类算法和Linde-Buzo-Gray算法。
特征编码和池化。特征编码通过最接近的视觉词来表示每个视觉特征。它是一个向量距离计算。将图像中的每个特征与来自码本生成的平均向量进行比较，并且将其分配给该组。然后，图像由特征池中的特征向量表示。执行特征池的一种方式是将图像上每个唯一视觉词的出现次数计数为用于比较图像的相似性的图像的特征向量。图15是描绘图像的特征向量的屏幕截图。每个图像可以被表示为特征向量，例如，类似于图15中所示的向量。
聚类。由于具有相同物件的图像具有类似的视觉特征，这些图像具有类似的特征向量。聚类是基于图像的相似性对图像进行分组的过程。通过聚类特征向量获得的每个聚类对应于一组视觉上相似的图像。该步骤是无监督操作，意味着在没有任何手动输入和处理的情况下分析用户共享图像。在一个示例中，相似性计算基于来自特征向量的余弦相似性。然而，将理解地是相似性计算不限于余弦相似性；在其它示例性实施例中，其他相似性计算，例如Jaccard相似性也是可能的。对于聚类，也可以使用标准聚类技术，诸如k均值，以及其他聚类技术。
使用BoFT标签的非用户生成的标签分配。下一步，用BoFT标签标记，为每个聚类分配一个BoFT标签，使得具有相同BoFT标签的那些图像是视觉上相似的。
应当理解，如上所述，上述示例性框架不限于在每个步骤中使用的特定技术。例如，其他特征提取技术，例如哈里斯仿射检测器、最大稳定极值区域检测器和卡迪尔-布雷迪显著性检测器，也可应用于框架的特征提取。如果存在可以基于直接提取的特征来计算图像相似性的另一种方法，则可以跳过特征编码和合并。聚类可以使用不同的分类技术，例如K-NN和其他监督技术，诸如支持向量机(如果训练数据集可用)。
在其他示例性实施例中，也可以使用不依赖于特征提取、码本生成、特征编码和池化以及聚类的其他技术。例如，诸如模板匹配的技术可以用于识别没有特征提取的物件，并且所识别的物件的名称可以用作用于标记和简档生成步骤的非用户生成的标签。
图16是描绘示例性实施例中的图像分析系统的示例性处理流程的流程图，其中非用户生成的标签可以例如通过模板匹配从用户共享图像直接生成。系统提供：(A)在用户共享图像上的非用户生成的标签分配以及用于表示用户的非用户生成的标签的分布；(B)基于相似度计算(所述相似度计算是基于非用户生成标签的分布的)的连接发现；(C)基于相似性计算(所述相似性计算是基于非用户生成标签的分布的)的团体发现。
应当理解，在该示例中，用于表示用户的标签分布与对每个用户的每个非用户生成的标签的出现进行计数相对应。替代地，标签可以是由任何函数生成的分布，并且可以基于标签的那些分布(例如加权和)来计算标签分布。一个例子是，标签1和标签2的分布分别是{1,1,1}和{0.5,-0.5,0}。具有标签1的两个实例和标签2的一个实例的用户将具有{2.5,1.5,2}的分布。
使用从非用户生成的标签获得的分布来提供对用户之间的相似性的可扩展计算，诸如在下图中使用BoFT标签。例如，在常规方法中有许多计算(例如，仅针对5个图像和2个用户的6个计算)，而在所提出的方法中仅有一个计算(参见图18)。
在“US2012297038(A1)-针对基于低秩矩阵恢复的社交网络的建议”中，他们利用每个用户的共享图像的平均特征向量来表示用户，如下图所示。通过将每个特征向量视为唯一的BoFT标签，并使用特征向量作为该标签的分布(参见图19)，这是我们的发明的特殊情况。
如下讨论关于基于用户简档的性别识别的示例性实验，例如使用来自Flickr的数据。
社交媒体上的简档对于应用也是重要的，但不总是可用的。在简档中的信息中，性别是有利的，因为它对推荐有用。另一个展示使用一个超过1600万图像的新的Flickr数据集，以显示如何用发现的连接识别性别。1414个用户中的1311个提供了他们的性别，其中有371个女性和940个男性。在每个试验中，随机选择500个用户，并计算Si,j。实验使用K＝5和11的K-NN，其中前5/11用户的性别被预测为用户i的性别，具有用户i的最高Si,j，并且由实况验证。进行1000个试验，图17是描绘相对于随机确定的平均结果的图。因此证明，通过发现的连接，性别识别是可行的，并且比随机猜测好42％。
应当理解，也可以实现其他应用，例如病毒式预测、团体检测和联系强度计算。
本文描述的系统和方法的示例性优点包括效率和可扩展性，因为本文描述的系统和方法能够以相对有效的方式实现用户之间的相似性的确定。例如，虽然常规系统可能需要在各个图像之间进行许多计算以获得两个用户之间的相似性分数，但是所描述的系统和方法能够基于两个用户简档之间的单个计算来实现相似性分数。这对于涉及社交网络的应用是特别有利的，其可能涉及极大量的图像和用户。
本文描述的系统和方法的另外的示例性优点包括灵活性和分析深度。用于分析图像的常规方法通常遵循使信息丢失的刚性特征提取和分析算法，而本文描述的标签生成和用户简档系统的实施例能够利用提供相对更多信息的非用户生成的标签，并且能够表示更多不同类型的图像物件/特征。
此外，因为本文描述的系统和方法的实施例能够识别图像中的物件，并且识别来自其中的用户之间的连接，所以与这些用户相关联的信息可以用于各种各样的应用。例如，如果已知一个用户居住在一个城市中并且另一个用户的位置是未知的，但是两个用户共享视觉上相似的图像，则可以推断另一个用户的居住位置与第一用户相同。其他示例性应用包括但不限于发现关注者/被关注者关系、团体发现和性别识别，所有这些都不使用社交图或用户注释的标签。
应当理解，在示例性实施例中，用户图像包括由用户从用户相关设备或智能设备通过下述方式产生的图像：图像拍摄，诸如移动电话和照相机；绘图，诸如移动应用；屏幕捕获，诸如来自移动电话；从其他人接收，诸如从即时消息应用；喜欢/分享，诸如来自社交媒体的图片；保存，诸如来自社交媒体或网络浏览器的图像。
应当理解，在示例性实施例中，用户图像包括来自用户相关设备或智能设备的相机的用户生成的图像，其中用户相关设备或智能设备包括：智能电话、可穿戴设备和/或人类控制装置。
应当理解，在示例性实施例中，用户图像包括由相机拍摄并以数字格式存储的图像，无论它们是否可被人阅读，例如红外图像。
应当理解，在示例性实施例中，用户图像包括从视频(例如，包括图像序列的视频)捕获的图像。
应当理解，在示例性实施例中，视觉特征包括颜色、边缘、纹理、区域、物件和面部，和/或其他独特的特征描述符，例如SIFT、GIST或其他计算机视觉、图像/信号处理技术。
本文引用的所有参考文献，包括出版物、专利申请和专利，通过引用并入本文，其程度如同每个参考文献被单独地和具体地指示通过引用并入本文并且在本文中全部阐述。
在描述本发明的上下文中(特别是在所附权利要求的上下文中)，术语“一个”和“该”和“至少一个”和类似指示物的使用应被解释为：覆盖单数和复数，除非本文另有说明或与上下文明显矛盾。使用术语“至少一个”，随后是一个或多个项目的列表(例如，“A和B中的至少一个”)将被解释为表示从所列出的项目(A或B)或所列项目(A和B)中的两个或更多个的任何组合中所选的一个项目，除非本文另有说明或与上下文明显矛盾。除非另有说明，否则术语“包括”、“具有”、“包括”和“含有”应被解释为开放式术语(即，意味着“包括但不限于”)。除非本文中另有说明，否则本文中数值范围的列举仅意图用作单独提及落在该范围内的每个单独值的速记方法，并且每个单独值被并入本说明书中，如同其在本文中单独列举一样。本文所述的所有方法可以以任何合适的顺序进行，除非本文另有说明或上下文明显矛盾。本文提供的任何和所有实施例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本发明，而不对本发明的范围构成限制，除非另有声明。说明书中的语言不应被解释为指示任何未要求保护的组件对于实施本发明是必要的。
本文描述了本发明的优选实施例，包括发明人已知的用于实施本发明的最佳模式。在阅读前面的描述之后，那些优选实施例的变型对于本领域的普通技术人员来说是显而易见的。本发明人期望技术人员适当地采用这样的变化，并且本发明人意图以除本文具体描述之外的方式实施本发明。因此，本发明包括适用法律所允许的所附权利要求中所述的主题的所有修改和等同物。此外，除非本文另有说明或与上下文明显矛盾，否则本发明包括上述组件在其所有可能变型中的任何组合。
Claims (25)
1.一种用于分析与多个用户相对应的用户图像并生成与用户相对应的分布的系统，包括：
一个或多个处理器可读介质，被配置为存储用于图像分析和用户简档生成的处理器可执行指令；
一个或多个处理器，被配置为基于对所述所存储的处理器可执行指令的执行来：
用一个或多个非用户生成的标签来注释用户图像，其中所述非用户生成的标签对应于所述用户图像的视觉特征；以及
基于与对应于每个相应用户的图像相关联的非用户生成的标签来生成分布。
2.根据权利要求1所述的系统，其中所述用户图像包括以下中的至少一个：
用户通过图像拍摄、绘图、屏幕捕获、接收、喜爱或共享和/或保存而从用户相关设备或智能设备产生的图像；
用户从用户相关设备或智能设备的相机产生的图像，其中所述用户相关设备或智能设备包括：智能电话、可穿戴设备和/或人类控制设备；
由相机拍摄并以一种或多种数字格式存储的图像；和/或
从视频捕获的图像。
3.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为：
提取所述用户图像的特征；
生成表示所提取的特征的视觉词；
基于所述视觉词和与所述图像相关联的所述视觉词相对应的所述所提取的特征，利用至少一个特征向量来对多个用户图像的每个图像进行编码；
基于与所述图像相对应的特征向量来将所述多个用户图像的图像聚类为多个组；
确定与所述多个组中的每个组相对应的至少一个非用户生成的标签；以及
确定与对应于每个相应用户的图像相关联的非用户生成的标签的分布。
4.根据权利要求3所述的系统，其中将所述图像聚类成多个组是基于所述图像的视觉相似性的；并且
其中所述多个组中的每个组由与所述组相对应的所述至少一个非用户生成的标签来表示。
5.根据权利要求3所述的系统，其中将所述图像聚类成多个组是基于对所述多个组的预定义的；并且
其中所述多个组中的每个组由与所述组相对应的所述至少一个非用户生成的标签来表示。
6.根据权利要求3所述的系统，其中所述视觉特征包括颜色、边缘、纹理、区域、物件和面部和/或基于SIFT、GIST或其他计算机视觉和图像/信号处理技术的其他独特特征描述符。
7.根据权利要求3所述的系统，其中，利用哈里斯仿射检测器、最大稳定极值区域检测器、卡迪尔-布雷迪显著性检测器和比例不变特征变换(SIFT)中的至少一个来提取特征。
8.根据权利要求7所述的系统，其中，独特的视觉词是从作为特征表示的一组特征中产生的。
9.根据权利要求3所述的系统，其中，所述视觉词是通过组合所述多个图像的对应特征来表示的。
10.根据权利要求3所述的系统，其中，所述特征向量由每个图像中每个视觉词的出现次数来表示。
11.根据权利要求3所述的系统，其中，所述聚类是基于被聚类的所述图像的特征向量之间的相似性的。
12.根据权利要求4所述的系统，其中，相似性计算是基于余弦相似性的。
13.根据权利要求3所述的系统，其中，每个相应用户的标签分布指示与对应于所述相应用户的图像相关联的独特非用户生成的标签的出现次数。
14.根据权利要求3所述的系统，其中，每个相应标签的标签分布是基于与多个标签相对应的变换函数来确定的。
15.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为：
基于非用户生成的标签的相应分布中的相似性来确定两个用户是相关的。
16.根据权利要求15所述的系统，其中，通过两个用户的相应分布之间的直接比较来执行所述两个用户是否相关的确定。
17.根据权利要求1所述的系统，其中所述一个或多个处理器还被配置为：
比较所述多个用户中的至少两个用户的简档以计算与所述两个用户相对应的相似性值。
18.根据权利要求17所述的系统，其中所述一个或多个处理器还被配置为：
基于根据由非用户生成的标签生成的分布所计算的相似性值来识别或推荐用户之间的连接。
19.根据权利要求18所述的系统，其中，在不利用社交图或用户注释的标签的情况下进行连接的识别或推荐。
20.根据权利要求18所述的系统，其中社交图或用户注释的标签用于增强所述识别或推荐的结果。
21.根据权利要求17所述的系统，其中所述一个或多个处理器还被配置为：
基于所计算的相似性值来识别或推荐用户的用户团体。
22.根据权利要求17所述的系统，其中所述一个或多个处理器还被配置为：
基于所计算的用户与他人的相似性值或所有用户之间的具有相似性的相似性图来识别用户性别。
23.一个或多个其上存储有处理器可执行指令的非暂时性处理器可读介质，所述处理器可执行指令用于分析对应于多个用户的用户图像并生成用户简档，其中所述处理器可执行指令能够由一个或多个处理器执行以促进以下步骤：
用非用户生成的标签来注释用户图像，其中所述非用户生成的标签对应于所述用户图像的视觉特征；以及
基于与对应于每个相应用户的图像相关联的非用户生成的标签来生成用于可扩展计算的分布。
24.根据权利要求23所述的一个或多个非暂时性处理器可读介质，其中所述处理器可执行指令还能够由所述一个或多个处理器执行以便于以下步骤：
提取所述用户图像的特征；
生成表示所提取的特征的视觉词；
基于所述视觉词和对应于与所述图像相关联的所述视觉词的所述所提取的特征，用至少一个特征向量来编码多个用户图像的每个图像；
基于与所述图像相对应的特征向量将所述多个用户图像的图像聚类为多个组；
为所述多个组中的每个组分配至少一个非用户生成的标签；以及
确定与对应于每个相应用户的图像相关联的非用户生成的标签的分布。
25.一种用于分析与多个用户相对应的用户图像并生成用户简档的方法，包括：
用非用户生成的标签注释用户图像，其中所述非用户生成的标签对应于所述用户图像的视觉特征；以及
基于与对应于每个相应用户的图像相关联的非用户生成的标签来产生用于可扩展计算的分布。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462027501P | 2014-07-22 | 2014-07-22 | |
| US62/027,501 | 2014-07-22 | ||
| PCT/CN2015/084786 WO2016011946A1 (en) | 2014-07-22 | 2015-07-22 | System and methods for analysis of user-associated images to generate non-user generated labels and utilization of the generated labels |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106575280A true CN106575280A (zh) | 2017-04-19 |
| CN106575280B CN106575280B (zh) | 2020-08-11 |
Family
ID=55162518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580039477.3A Active CN106575280B (zh) | 2014-07-22 | 2015-07-22 | 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10460174B2 (zh) |
| CN (1) | CN106575280B (zh) |
| WO (1) | WO2016011946A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492200A (zh) * | 2018-02-07 | 2018-09-04 | 中国科学院信息工程研究所 | 一种基于卷积神经网络的用户属性推断方法和装置 |
| CN112818196A (zh) * | 2019-11-18 | 2021-05-18 | 香港科技大学 | 基于电子学习平台的数据处理方法、设备、电子装置及存储介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10609267B2 (en) * | 2014-07-23 | 2020-03-31 | Orcam Technologies Ltd. | Systems and methods for analyzing advertisement effectiveness using wearable camera systems |
| US10346466B2 (en) * | 2016-04-18 | 2019-07-09 | International Business Machines Corporation | Methods and systems of personalized photo albums based on social media data |
| KR20180006137A (ko) * | 2016-07-08 | 2018-01-17 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
| CN107153670B (zh) * | 2017-01-23 | 2020-08-14 | 合肥麟图信息科技有限公司 | 基于多幅图像融合的视频检索方法及系统 |
| TWI647609B (zh) * | 2017-04-14 | 2019-01-11 | 緯創資通股份有限公司 | 即時通訊方法、系統及電子裝置與伺服器 |
| CN108712287B (zh) * | 2018-05-22 | 2020-12-29 | 同济大学 | 基于节点相似度的vanet社区发现方法 |
| CN110070138B (zh) * | 2019-04-26 | 2021-09-21 | 河南萱闱堂医疗信息科技有限公司 | 对结肠内镜检测前排泄物图片进行自动评分的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200988A (zh) * | 2010-03-01 | 2011-09-28 | 微软公司 | 具有推荐的社交网络系统 |
| CN102782704A (zh) * | 2010-03-01 | 2012-11-14 | 微软公司 | 基于脸部图像分析的排名 |
| CN102831446A (zh) * | 2012-08-20 | 2012-12-19 | 南京邮电大学 | 单目视觉slam中基于图像外观的闭环检测方法 |
| CN103207879A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
| US8688782B1 (en) * | 2012-05-22 | 2014-04-01 | Google Inc. | Social group suggestions within a social network |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7860319B2 (en) | 2005-05-11 | 2010-12-28 | Hewlett-Packard Development Company, L.P. | Image management |
| KR100641791B1 (ko) * | 2006-02-14 | 2006-11-02 | (주)올라웍스 | 디지털 데이터에 대한 태깅 방법 및 시스템 |
| US20080136820A1 (en) | 2006-10-20 | 2008-06-12 | Microsoft Corporation | Progressive cut: interactive object segmentation |
| US10621307B2 (en) * | 2010-04-29 | 2020-04-14 | Definiens Gmbh | Image-based patient profiles |
| US20120294514A1 (en) * | 2011-05-19 | 2012-11-22 | Xerox Corporation | Techniques to enable automated workflows for the creation of user-customized photobooks |
| CN102207966B (zh) | 2011-06-01 | 2013-07-10 | 华南理工大学 | 基于对象标签的视频内容快速检索方法 |
| WO2013024338A1 (en) * | 2011-08-15 | 2013-02-21 | Equal Media Limited | System and method for managing opinion networks with interactive opinion flows |
| WO2013179558A1 (ja) * | 2012-05-29 | 2013-12-05 | パナソニック株式会社 | 画像評価装置、画像評価方法、プログラム、集積回路 |
| US9424279B2 (en) * | 2012-12-06 | 2016-08-23 | Google Inc. | Presenting image search results |
| KR101992310B1 (ko) * | 2013-03-25 | 2019-09-30 | 엘지디스플레이 주식회사 | 표시 장치의 영상 처리 방법 및 장치 |
| US9792289B2 (en) * | 2014-11-07 | 2017-10-17 | Semandex Networks Inc. | Systems and methods for file clustering, multi-drive forensic analysis and data protection |
| US10002136B2 (en) * | 2015-07-27 | 2018-06-19 | Qualcomm Incorporated | Media label propagation in an ad hoc network |
-
2015
- 2015-07-22 CN CN201580039477.3A patent/CN106575280B/zh active Active
- 2015-07-22 US US15/327,822 patent/US10460174B2/en active Active
- 2015-07-22 WO PCT/CN2015/084786 patent/WO2016011946A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200988A (zh) * | 2010-03-01 | 2011-09-28 | 微软公司 | 具有推荐的社交网络系统 |
| CN102782704A (zh) * | 2010-03-01 | 2012-11-14 | 微软公司 | 基于脸部图像分析的排名 |
| CN103207879A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
| US8688782B1 (en) * | 2012-05-22 | 2014-04-01 | Google Inc. | Social group suggestions within a social network |
| CN102831446A (zh) * | 2012-08-20 | 2012-12-19 | 南京邮电大学 | 单目视觉slam中基于图像外观的闭环检测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492200A (zh) * | 2018-02-07 | 2018-09-04 | 中国科学院信息工程研究所 | 一种基于卷积神经网络的用户属性推断方法和装置 |
| CN108492200B (zh) * | 2018-02-07 | 2022-06-17 | 中国科学院信息工程研究所 | 一种基于卷积神经网络的用户属性推断方法和装置 |
| CN112818196A (zh) * | 2019-11-18 | 2021-05-18 | 香港科技大学 | 基于电子学习平台的数据处理方法、设备、电子装置及存储介质 |
| CN112818196B (zh) * | 2019-11-18 | 2023-12-22 | 香港科技大学 | 基于电子学习平台的数据处理方法、设备、电子装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016011946A1 (en) | 2016-01-28 |
| US10460174B2 (en) | 2019-10-29 |
| US20170206420A1 (en) | 2017-07-20 |
| CN106575280B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106575280A (zh) | 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法 | |
| Park et al. | Relation network for person re-identification | |
| CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
| Zhao et al. | Learning mid-level filters for person re-identification | |
| Diem et al. | cBAD: ICDAR2017 competition on baseline detection | |
| Chen et al. | DISC: Deep image saliency computing via progressive representation learning | |
| Kim et al. | Salient region detection via high-dimensional color transform and local spatial support | |
| Wang et al. | Zero-shot person re-identification via cross-view consistency | |
| Papadopoulos et al. | Cluster-based landmark and event detection for tagged photo collections | |
| RU2668717C1 (ru) | Генерация разметки изображений документов для обучающей выборки | |
| Saito et al. | Illustration2vec: a semantic vector representation of illustrations | |
| Zhu et al. | Multi-view semi-supervised learning for image classification | |
| CN110472082B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| Celikkale et al. | Visual attention-driven spatial pooling for image memorability | |
| Jing et al. | A new method of printed fabric image retrieval based on color moments and gist feature description | |
| Parde et al. | Face and image representation in deep CNN features | |
| Panda et al. | Nyström approximated temporally constrained multisimilarity spectral clustering approach for movie scene detection | |
| Chen et al. | Name-face association in web videos: A large-scale dataset, baselines, and open issues | |
| Bhattacharjee et al. | Query adaptive multiview object instance search and localization using sketches | |
| Hu et al. | Unsupervised defect detection algorithm for printed fabrics using content-based image retrieval techniques | |
| Guo et al. | Person re-identification by weighted integration of sparse and collaborative representation | |
| Bhardwaj et al. | Palette power: Enabling visual search through colors | |
| Matzen et al. | Bubblenet: Foveated imaging for visual discovery | |
| Lei et al. | A new algorithm for sketch-based fashion image retrieval based on cross-domain transformation | |
| CN113705310A (zh) | 特征学习的方法、目标物体的识别方法和对应装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |