CN106796709A - 社交圈以及关系标识 - Google Patents

社交圈以及关系标识 Download PDF

Info

Publication number
CN106796709A
CN106796709A CN201380081097.7A CN201380081097A CN106796709A CN 106796709 A CN106796709 A CN 106796709A CN 201380081097 A CN201380081097 A CN 201380081097A CN 106796709 A CN106796709 A CN 106796709A
Authority
CN
China
Prior art keywords
people
social
relation
image
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380081097.7A
Other languages
English (en)
Other versions
CN106796709B (zh
Inventor
O·科伦
S·泰特
Y·格兰
T·莱德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106796709A publication Critical patent/CN106796709A/zh
Application granted granted Critical
Publication of CN106796709B publication Critical patent/CN106796709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

通过对诸如照片或视频之类的媒体内容的分析并确定个人或组之间的联系而自动地确定关系、组员身份以及社交网络和圈的系统、设备以及方法。各实施例包括标识照片中的个人,在不同的情况下有或者没有其他人,并基于照片中的对象,开发上下文。所提取的上下文可以存储在数据库中的预定义的本体结构中,并加以分析以确定关系或组员身份。可以分析自动地确定的关系的数据库,以便提供关系建议、社交建议,或支持执法部门调查。可以利用由个人所提供的或通过包括用户媒体或社会信息的辅助社交网络获取的额外的信息,连续地更新数据库。

Description

社交圈以及关系标识
背景技术
在社交上下文数据消费数据并创建社交圈或在线社交网络变得非常普遍,共享这些体验的希望显著地增大。这种期望为个人创建了新的联系-挑战,诸如一个人在什么情况下认识了谁,与谁联系,如何将人与特定的社交圈,以及那些联系和圈的上下文相关联。
各种系统能够基于用户创建的类别,诸如朋友、家庭,同事,等等,或归属于不同的组(例如,足球队或俱乐部),将人手动分组为社交圈。手动分组通过提示用户标识个人并将他们指定到组或社交圈来执行。例如,可以询问FACEBOOKTM用户,他或她是否认识某个人,为特定的组织工作,或在特定教育机构学习。然后,用户可以手动标识或将个人分组到社交圈或其他类别中。
附图简述
在不一定按比例绘制的附图中,类似编号可以描述不同的视图中的类似的组件。具有不同的字母后缀的类似编号可以表示类似的组件的不同的实例。附图作为示例,而不作为限制,一般示出了在本文档中讨论的各实施例。
图1是示出了根据一实施例的社交圈标识方案的示例的流程图。
图2是示出了根据一实施例的关系标识系统的示例的框图。
图3是示出了根据一实施例的用于社会关系标识的示例方案的流程图。
图4是根据一实施例的分层预定义的本体的示例。
图5是示出了可以在其上执行此处所讨论的技术中的任何一个或多个的示例机器的框图。
图6是示出了根据一实施例的关系标识系统的示例的框图。
具体实施方式
下列描述和图形充分示出了特定的实施例以使所属领域的技术人员实践它们。其他实施例可以包括结构、逻辑、电的过程及其他变化。一些实施例的部分和特征可以被包括在其他实施例的那些部分和特征中,或被它们代替。在权利要求书中阐述的实施例包含那些权利要求书的所有可用的等效内容。
尽管现有的社交分组具有优点和缺点,但是,它们不会自动化或完成社交上下文。此处所讨论的技术包括使用图像处理和分析能力来为各种应用提供自动化的社交圈生成和分析。在一个示例中,对向系统输入(或通过面部识别技术产生的)的一个人的个人信息可以提供交叉引用各种数据源以生成社会关系以及该关系的上下文的能力。此信息可以对诸如社交网络、安全特权控制以及个人助理之类的不同的应用有用。
在一个示例中,社交网络以及社交圈可以通过扫描用户的媒体内容(例如,存储在移动设备、个人计算机,或在线储存库中的照片或视频)并通过标识不同情况下的带有其他人的照片(例如,家庭成员、亲戚、姊妹会姐妹、军队朋友、队友,同事,等等),确定用户和个人或组之间的联系。在一个示例情况下,用户可以具有许多其中有他自己以及其他人穿着足球学校的类似的足球制服的照片。示例社会关系标识系统可以判断照片中的人是用户的足球伙伴,并将他们分组为带有包括检索词“足球”的标记的社交圈。
可以使用示例社会关系标识系统来控制安全特权,诸如对有线或无线网络、存储器或其他设备的访问。可以根据由系统通过使用社交或关系分析技术所标识的关系连接,确定对资源的访问。例如,如果一个人的姐妹进入此人的家中,摄像机可以捕捉她的图像,安全系统可以使用该图像来识别她,并基于通过关系标识系统对其他图像的处理确定的该个人的关系,安全系统可以允许她连接到用户的家庭有线或无线网络,或访问家中的其他资源。
示例社会关系标识系统可以被用作社交顾问。例如,通过确定并理解(例如,排序或映射)个人的与其他人的关系或社交联系,系统可以通过一个或多个人助理应用程序,提供有关该个人与其他人的关系状态的建议,或建议与他们的活动。例如,个人助理应用程序可以基于个人与其他人的关系状态按优先级处理提醒,或基于他们的关系状态,提供与特定的人(该个人与该特定的人时断时续地进行交互)保持接触的通知。
示例社会关系标识系统可以被执法机构用来基于对于身份的图像识别(例如,面部识别)以及共同的活动或参与违法活动,标识人之间的联系,并由此帮助执法机构减少犯罪和恐怖活动。例如,可以分析对一家商店快闪抢劫的监控录像,以识别参与了抢劫的人,从商店抢走的商品、以及基于其他图像分析(例如,社交网络帖子,街道级别的监控图像或视频),潜在地确定参与者之间的组从属关系。
图1是示出了根据一实施例的社交圈标识方案100的示例的流程图。对一个或多个图像中的属性的标识可以暗示人之间的信任关系或归属于不同的社交组。可以分析图像102,或其他媒体,以提取伪像,以推导人之间的信任关系以及归属于不同的组。在104,社交圈标识系统可以接收图像102,并标识媒体中所描绘的一个或多个人。例如,图像分析技术和机器学习能力(例如,面部识别过程)可以用于基于预先分析的媒体,标识图像102中所描绘的个人,或可以创建新身份,用于以后标识确认或与已知个人相关联。
在106,可以分析和标识图像102中所描绘的对象的属性。对象分析可以提供图像102中所描绘的场景的上下文,诸如徽标、文本、大楼、品牌、位置,等等,用于补充所描绘的个人的身份。如此,可以使用已标识的对象来创建关于图像102中所描绘的场景的上下文的额外的一层。例如,两个选手正在比赛中踢足球的图像102可能说明,两个选手在同一足球队,或至少在共同的足球同盟,两个选手潜在地是朋友或熟人。
在108,从图像中的对象提取的属性,可以被用来帮助标识一个人与一起工作的人,与此人一起上课的人,配偶、亲戚,或任何其他社交联系,还标识归属于不同的组。如此,方案100可以帮助个人理解他的或她的任何类型的社交圈。在一个示例中,可以只使用来自个人的背景或历史的最小量的信息来构建社交圈,在某些示例中或情况下,用户可能不需要手动或自愿地提供任何个人或上下文信息。
可以提供可以多个应用程序使用的用于定义属性或分组个人并了解与其他人的联系的自动机制。在一个示例中,两个正在接吻的人的照片可能暗示两个人之间的浪漫的或家庭的关系,在另一种情况下,照片中的公司大楼旁边的人,与额外的上下文一起,可能暗示,此人是公司的雇员、客户或访问者。
在110,任何标识的或潜在的与其他个人的联系或社会关系都可以以全自动的方式被添加到社交圈或组中,以存储在数据库112中。由此,方案100可以基于提供的或获取的可以用于各种应用的照片或视频,创建个人联系和组归属的表示。
图2是示出了根据一实施例的关系标识系统200的示例的框图。系统200可包括存储设备202,其中包括图像204、视频206或其他媒体208。存储设备202可以是单一设备,诸如硬盘驱动器、闪存驱动器,或其他有形的计算机可读介质,或连接到系统200的多个设备,例如,磁盘驱动器阵列、网络存储设备的集群,或基于云的存储服务。
可以将存储设备202的内容提供到图像识别模块210。图像识别模块可以是适用于执行图像分析的单个组件,或多个单独的组件,其中每一个都可以被用来执行专门的分析。例如,图像识别模块210可包括光学字符识别(OCR)模块212,可以被用来标识媒体中的文本,以帮助提取或确定任何所描绘的关系或归属,诸如一个人可能是其成员的足球组的名称。图像识别模块210可包括面部识别模块214以确定或匹配由存储设备202所提供的媒体中所描绘的个人的身份。面部检测和识别可以被实现为可以由图像处理模块210提取的属性的子集。
可以由图像识别模块210标识照片的各种不同的属性,诸如:某人穿着什么,一个人在什么位置,此人正在做什么,或此人和谁在一起,或其他“谁、什么、何时、哪里”类型的特征。标识这种上下文信息的示例技术可以使用被包括在训练集216的模块中的机器学习能力。例如,可以处理样本图像,提取唯一图案,以便训练系统200识别新的或未知图像中的类似的属性。
在标识图像中的人以及上文所提及的不同的属性之后,可以使用关系归属和提取本体218,然后,可以使用预定义的本体,来提取关系。可以创建相关关系并存储在耦合到关系归属和提取本体218的数据库222中。这些关系可以是概率性的,并可包括每一关系的置信水平。例如,对支持一种关系的假设的某一数量或阈值数量的图像的分析可以提供一种暗示与某种组的现实的关系或归属确定性级别,诸如如果系统200分析了两个人接吻的三个不同的照片,则系统200可以以强的肯定度估计两个人具有关系。然而,如果系统200只分析了一个人吻另一个人的面颊的一张照片,那么,只有将降到确认一种关系的阈值之下的部分确定性。
其他社交或关系代理220可以耦合到关系归属和提取本体218。例如,如果用户允许他的归属以及关系被与其他用户和社交代理共享,则此信息可以与从图像分析推导出的上下文相结合,对否则可能降到确认阈值之下的不同的归属以及关系的置信水平有贡献。在一个示例情况下,系统200可以分析约翰的图像,并识别足球制服,约翰是布赖恩的朋友,指出布赖恩位于一足球组,并使用相同社会服务,这可能加强由系统200形成的约翰位于足球组中的假设。
系统可以基于图像分析和社交关系归属和提取本体218处理,提供各种输出224。例如,可以生成包括带有共同的兴趣,关系或特征的成员的社交圈226。在一个示例中,可以基于身份以及个人之间的关系,提供安全特权228。例如,可以响应于判断用户的孩子出现于用户的家的正门,由系统200打开电子锁。另外,社交顾问230可以提供促进与其他人进行社会交往的社交建议。例如,社交顾问230可以提供有关关系状态的建议,在较长时间不联系之后,联系一个亲密朋友的提醒,或基于对两个人的对应的活动的分析,建议两个人可能共同感兴趣的活动或主题(例如,体育、艺术、孩子、消费品牌、职业、技术,等等)。
图3是示出了根据一实施例的用于社会关系标识的示例方案300的流程图。方案300可以,例如,通过图2的系统200来实现。
在302,系统或设备可以接收包括一个或多个人的图像。图像可包括照片或来自视频的一个帧。图像可以是系统或设备上本地地存储的,由设备获取的,例如,利用摄像机或数字视频记录器,或通过到网络上的第二设备或服务器的连接访问的。
在304,图像分析技术可以标识一个或多个人。图像分析可包括面部识别或用于确定一个或多个人的身份的其他技术。分析也可以包括对个人的活动评估。例如,此人(这些人)是否跑步、骑自行车、散步、坐着、站在一个组,触摸,看某种东西,或任何其他活动。
在306,图像分析技术可以标识对应于至少一个人的对象。例如,可以使用对象标识技术(例如,机器视觉)来确定在图像中存在哪些对象(例如,建筑物、小汽车、家具、体育设施、商品,衣服等等)。
在308,图像分析技术可以标识对象的特征或标志。例如,如果一个人穿着带有字母或徽标的衣服,则可以分析字母或徽标以确定字母的内容(例如,OCR)或徽标的身份(例如,团队、学校,或公司符号或徽章)。在一个更具体的示例中,在图像中被描绘为穿着包括特定标志或标记的类似的或相同的制服的一组人可以被确定为全部都是由标志或标记表明的组织的雇员(例如,一组警察穿着制服并佩戴徽章,或穿着带有一家制造公司的徽标的工作服或安全设备的制造人员团队)。
在310,系统或设备可以确定由特征或标志表明的组员身份。组员身份可包括两个人之间的关系。例如,描绘的穿着带有公司徽标的比赛垒球衫的两个人可以被确定为是公司垒球队的成员,并进一步可以判断这两个人是与徽标相关联的公司的雇员或顾客。
在312,可以进行检查以判断在图像中是否存在更多对象。例如,在306和308处对垒球衫的标识说明分析图像,是否有垒球或棒球设备,或其他运动设备,或体育场特征以提供个人是否是体育赛事的参与者或观众席中的球迷的进一步的上下文。
在314,设备或系统可以评估关系的置信水平。随着对带有共同的个人的多个图像的处理,可以调整置信水平。在316,设备或系统可以将关系与置信水平信息一起存储在数据库中。
图4是根据一实施例的分层预定义的本体400的示例。从照片中提取的标识特征以及关系可以被指定到分层的预定义的本体400中的条目中,描绘一个人可以与其相关联的可能的组,一个人可能所在的不同的关系类型,或其他特征。例如,本体400描绘了预定义的家庭本体的小的子集,作为可以预定义的可能的关系的示例。额外的本体可包括职业、活动、嗜好、兴趣等等。
图5是示出了在其上可以执行此处所讨论的技术(例如,方法)中的任何一个或多个的示例机器500的框图。在替代实施例中,机器500可以作为独立设备来操作或可以连接(例如,联网)到其他机器。在联网的配置中,机器500可以在服务器-客户端网络环境中服务器机器、客户端机器、或两者的身份来操作。在示例中,机器500可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器500可以是个人计算机(PC)、平板PC、个人数字助理(PDA)、移动电话、web设备、或能够执行指定要由该机器执行的动作的指令(顺序的或以其他方式的)的任何机器。进一步地,尽管只示出了单个机器,但是,术语“机器”也应该被视为包括分别地或联合地执行一组(或多组)指令以执行此处所讨论的方法中的任何一个或多个(诸如云计算、作为服务的软件(SaaS)、其他计算机集群配置)的机器的任何集合。
如本文中所描述,示例可包括逻辑或许多组件、模块或机制,或可以对它们进行操作。模块或组件是能够执行指定的操作的有形的实体,并可以以某一方式配置。在示例中,能以指定的方式将电路(例如,内部地或相对于诸如其他电路之类的外部实体)布置为模块或组件。在一个示例中,一个或多个计算机系统(例如,独立,客户端或服务器计算机系统)的全部或部分或一个或多个硬件处理器可以通过固件或软件(例如,指令、应用的一部分,或应用)作为操作以执行指定的操作的模块/组件来配置。在一个示例中,软件可以驻留(1)在非瞬态的机器可读取的介质上或(2)在传输信号中。在示例中,当由模块/组件的底层硬件执行时,软件使硬件执行指定的操作。
相应地,术语“模块”和“组件”被理解为包含有形的实体,只要该实体是在物理上构建的,专门配置的(例如,硬连线),或临时(例如,短暂地)配置的(例如,编程的)以指定的方式操作或执行此处所描述的任何操作中的一部分或全部的实体。考虑模块/组件是临时配置的示例,每一个模块/组件都不必在任何一个时刻实例化。例如,在模块/组件包括使用软件配置的通用硬件处理器的情况下,通用硬件处理器可以在不同的时间被配置用于相应的不同的模块/组件。例如,软件可以相应地配置硬件处理器以在一个时间实例时构成特定的模块,并在不同时间实例时构成不同的模块/组件。
机器(例如,计算机系统)500可包括硬件处理器502(例如,处理单元、图形处理单元(GPU)、硬件处理器核,或其任何组合)、主存储器504和静态存储器506,这些中的一些或全部可以通过链路(例如,总线、链路、互连或等等)508相互进行通信。机器500还可以包括显示设备510、输入设备512(例如,键盘)以及用户接口(UI)导航设备514(例如,鼠标)。在示例中,显示设备510、输入设备512以及UI导航设备514可以是触摸屏显示器。机器500可以另外包括大容量存储设备(例如,驱动单元)516、信号生成设备518(例如,扬声器),网络接口设备520以及一个或多个传感器521(诸如,全球定位系统(GPS)传感器、照相机、视频记录器、罗盘、加速度计或其他传感器)。机器500可以包括输出控制器528,诸如,用于通信或控制一个或多个外围设备(例如,打印机、读卡器等等)的串行连接(例如,通用串行总线(USB)、并行连接,或其他有线或无线(例如,红外(IR))连接。
大容量存储设备516可以包括机器可读取的介质522,在其上面存储了一组或多组实现了或用于此处所描述的技术或功能中的任何一个或多个数据结构或指令524(例如,软件)。指令524还可以在由机器504执行过程中完全地或至少部分地驻留在主存储器506内和/或在静态存储器502内,或在硬件处理器500内。在示例中,硬件处理器502、主存储器504、静态存储器506或大容量存储设备516中的一个或任何组合都可以构成机器可读介质。
尽管机器可读介质522被示出为单个介质,但是术语搣机器可读介质攠可包括配置成存储这一条或多条指令524的单个介质或多个介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”可包括能够存储、编码或承载由机器500执行并且使机器500执行本公开的技术中的任何一种或多种的指令,或能够存储、编码或承载由此类指令使用或与此类指令相关联的数据结构的任何可触摸介质。非限制性的机器可读介质的示例可以包括固态存储器以及光和磁介质。机器可读介质的具体示例可包括:非易失性存储器,诸如,半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))以及闪存设备;磁盘,诸如,内部硬盘和可移除盘;磁光盘;以及CD-ROM和DVD-ROM盘。
还可以经由利用许多传输协议(例如,帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等等)中的任何一种协议的网络接口设备520,通过使用传输介质的通信网络526来进一步发送或接收指令524。示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如,因特网)、移动电话网络(例如,蜂窝网络)、明文老式电话业务(POTS)网络,以及无线数据网络(例如,电气与电子工程师学会(IEEE)802.11的被称为的标准系列,被称为的IEEE 802.16标准系列)、对等(P2P)网络等等。在一个示例中,网络接口设备520可以包括连接到通信网络526的一个或多个物理插孔(例如,以太网、同轴,或耳机塞孔)或一个或多个天线。在示例中,网络接口设备520可包括使用单输入多输出(SIMO)、多输入多输出(MIMO),或多输入单输出(MISO)技术中的至少一种来以无线方式通信的多个天线。术语“传输介质”应当被视为包括能够存储、编码或承载用于由机器500执行的指令且包括数字或模拟通信信号的任何无形的介质,或用于促进此类软件的传递的其他无形的介质。
图6是示出了根据一实施例的关系标识系统600的示例的框图。系统600可以接收输入252,诸如图像204、视频206,或如参考图2的系统200所讨论的其他媒体208。输入252可以由系统600提供到关系行家组件254。
关系行家组件254可包括提供对输入252的自动化分析的多个子组件。例如,图像处理组件256适用于执行图像分析,诸如对个人的面部识别,或光学字符识别(OCR)以标识输入252中的文本。可以将图像处理组件256的结果提供到关系属性组件258,以便提取任何所描绘的关系标志。关系标志可包括图像中的个人相对于彼此的接近度(例如,正在接吻的两个人可能是浪漫关系的标志,正在拥抱的两个人可能是家庭关系的标志,正在一起用餐的两个人可能暗示友谊)。
关系结构组件260可以从关系属性组件258接收关系标志,并构建个人或组之间的关系结构。在一个示例中关系标志可以排列在预定义的分层本体中。例如,两个人在一起的阈值数量的图像可以支持对单一图像的分析,这些图像可能描绘两个人正在接吻或作出任何更亲密的动作,确认了他们的友谊,并提高他们有浪漫的关系的似然率。
关系映射组件262可以接收或分析关系由结构组件260构建的关系结构,并基于相应的关系结构中的共同的属性或熟人,生成带有多个人的社交圈,或建议的关系连接。
系统600可以生成各种输出264,作为由关系行家组件254执行的分析的结果。输出264可包括每个成员的属性266,分组信息268,每个成员270的特权以及关系顾问组件272。在一个示例中,每个成员的属性266可包括由系统600的任何一个组件确定的一个或多个特征。特征可包括诸如在图4中所描述的分层预定义的本体400之类的本体中的元素。分组信息268可包括个人之间的关系,诸如家庭、浪漫、友谊、业务,或其他类型的关系或联系。
各种注意事项与示例
以下示例关于进一步的实施例。这些示例中的细节可以在一个或多个实施例中的任何地方被使用。
示例1包括确定社会关系的主题(诸如设备、方法、用于执行动作的装置,或包括指令的机器可读的介质,所述指令当由机器执行时,导致机器执行动作),包括:设备包括:利用所述处理器和存储器实现的图像识别组件,所述图像识别组件用于:接收图像,所述图像包括至少一个人;标识所述图像中的所述至少一个人;以及,标识对应于所述图像中的所述至少一个人的对象,所述对象包括其中包括一组中的成员资格的指示的特征或标志;以及,关系归属组件,用于:至少部分地基于所述对象,确定所述社交联系的上下文;以及,至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
在示例2中,示例1的主题可以可任选地包括,其中,图像识别组件用于:对所述标志执行光学字符识别以确定所述组的身份。
在示例3中,示例1到2中的任何一个或多个的主题可以可任选地包括:耦合到所述图像识别组件的摄像机,所述摄像机适用于向所述图像识别组件提供所述图像。
在示例4中,示例1到3中的任何一个或多个的主题可以可任选地包括:其中,图像识别组件用进一步被配置为:对所述图像中所描绘的所有个人执行面部识别。
在示例5中,示例1到4中的任何一个或多个的主题可以可任选地包括:耦合到所述关系归属组件的数据存储,所述数据存储适用于在数据库中存储所述至少一个人与所述组的所述社交联系,包括所述至少一个人的多个社交圈。
在示例6中,示例1到5中的任何一个或多个的主题可以可任选地包括:其中,所述关系归属组件用于:计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
示例7包括主题(诸如设备、方法、用于执行动作的装置,或包括指令的机器可读的介质,所述指令当由机器执行时,导致机器执行动作):接收图像,所述图像包括至少一个人;标识所述图像中的所述至少一个人;标识对应于所述图像中的所述至少一个人的对象,所述对象包括其中包括一组中的成员资格的指示的特征或标志;以及,至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
在示例8中,示例7的主题可以可任选地包括,指令,当由所述计算设备执行时,使计算设备:对所述标志执行光学字符识别以确定所述组的身份。
在示例9中,示例7到8中的任何一个或多个的主题可以可任选地包括:指令,当由所述计算设备执行时,使计算设备:对所述图像中所描绘的所有个人执行面部识别。
在示例10中,示例7到9中的任何一个或多个的主题可以可任选地包括:指令,当由所述计算设备执行时,使计算设备:至少部分地基于所述对象,确定所述社交联系的上下文;其中,所述上下文包括与所述组的关联。
在示例11中,示例7到10中的任何一个或多个的主题可以可任选地包括:指令,当由所述计算设备执行时,使计算设备:在数据库中存储所述至少一个人与所述组的所述社交联系,包括所述至少一个人的多个社交圈。
在示例12中,示例7到11中的任何一个或多个的主题可以可任选地包括:指令,当由所述计算设备执行时,使计算设备:基于对多个图像的分析,创建所述至少一个人的多个社交联系的表示。
在示例13中,示例7到12中的任何一个或多个的主题可以可任选地包括:指令,当由所述计算设备执行时,使计算设备:计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
在示例14中,示例7到13中的任何一个或多个的主题可以可任选地包括:其中,所述特定的关系是下列各项中的至少一项:配偶、父或母-孩子、同事、同学、队友,或友谊。
示例15包括用于社会关系标识的主题(诸如方法、用于执行动作的装置,包括指令的机器可读的介质,所述指令,当由机器执行时,使机器执行动作,或被配置成执行下列各项的设备),包括:接收图像,所述图像包括至少一个人;标识所述图像中的所述至少一个人;标识对应于所述图像中的所述至少一个人的对象,所述对象包括与一个组相关联的特征或标志;以及,至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
在示例16中,示例15的主题可以可任选地包括,对所述标志执行光学字符识别以确定所述组。
在示例17中,示例15到16中的任何一个或多个的主题可以可任选地包括:对所述图像中所描绘的所有个人执行面部识别。
在示例18中,示例15到17中的任何一个或多个的主题可以可任选地包括:至少部分地基于所述对象,确定所述社交联系的上下文;其中,所述上下文包括与所述组的关联。
在示例19中,示例15到18中的任何一个或多个的主题可以可任选地包括:在数据库中存储所述至少一个人与所述组的所述社交联系,包括所述至少一个人的多个社交圈。
在示例20中,示例15到19中的任何一个或多个的主题可以可任选地包括:基于对多个图像的分析,创建所述至少一个人的多个社交联系的表示。
在示例21中,示例15到20中的任何一个或多个的主题可以可任选地包括:计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
示例22包括机器可读取的介质,包括指令,所述指令,当由机器执行时,使机器执行15-21的示例中的任何一个。
示例23包括用于提供用于执行1-22的示例中的任何一个的社会关系标识装置的主题。
示例24包括其中包括提供社会关系标识的系统的主题(诸如设备,或机器)捕捉图像的设备;图像分析模块,所述图像分析模块执行面部识别以标识所述图像中的一个或多个人以及对所述图像中的对象上的符号执行光学字符识别;关系归属模块,用于确定所述对象和社交组之间的关系,并至少部分地基于所述对象以及所述对象和所述社交组之间的所述关系,暗示所述图像中的个人和所述社交组之间的社会关系;以及,关系代理,所述关系代理耦合到网络,并适用于从外部源接收关系信息,所述关系信息包括与在所述图像中标识的所述一个或多个人相关联的上下文信息。
在示例25中,示例24的主题可以可任选地包括,其中,所述外部源是可公开访问的社交网络。
在示例26中,示例24的主题可以可任选地包括,其中,所述外部源是私有社交网络。
这些非限制性示例中的每一个都可以单独存在,或可以以与其他示例中的任何一个或多个的任何置换或组合地组合。
上述具体实施方式包括对构此具体实施方式的一部分的附图的引用。附图通过说明方式示出可实施的特定的实施例。这些实施例在本文中还被称为“示例”。此类示例还可包括除所示出的或所描述的那些元件之外的元件。然而,还构想了包括所示出的或所描述的元件的示例。此外,还构想了使用参照本文中所示出或所描述的特定示例(或其一个或多个方面)或参照本文中所示出的或所描述的其他示例(或其一个或多个方面)示出或描述的那些元件(或其一个或多个方面)的任何组合或排列。
在本文档中所引用的出版物、专利和专利文档通过引用被整体并入到本文中,就如同通过引用被单独地并入。在本文档与通过引用被并入的那些文档之间不一致的用法的情况下,被并入的参考文献中的使用是对本文档中的用法的补充;对于矛盾的不一致情况,本文中的用法为准。
在本文档中,如在专利文档中常见的那样,使用术语“一”或“一个”以包括一个或多于一个,并且独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文档中,使用术语“或”来表示非排他的“或”,使得“A或B”包括“A但非B”,“B但非A”,以及“A和B”,除非另外指示。在所附权利要求书中,术语“包括”和“其特征在于”被用作相应的术语“包含”和“其中”的普通英语等效词。此外,在所附权利要求中,术语“包括”和“包含”是开放式的,即,在权利要求中,在此类术语之后包括除那些列出的元件之外的元件的系统、设备、制品或过程仍被视为在那项权利要求的范围之内。此外,在所附权利要求中,术语“第一”、“第二”、以及“第三”等仅用作标记,并且不旨在表明它们的对象的数值顺序。
上文的描述旨在是说明性的而不是限制性的。例如,可结合其他示例来使用上文所描述的示例(或其一个或多个方面)。可诸如在由本领域普通技术人员回顾了上文的描述后来使用其他实施例。“摘要”旨在使读者快速地弄清本技术公开的本质,例如以符合美国的37C.F.R.§1.72(b)。提交此摘要应理解,它将不用于解释或限制权利要求的范围或含义。此外,在以上具体实施方式中,各种特征还可以一起成组以使本公开流畅。然而,权利要求可能没有阐述本文中所公开的每个特点,因为实施例可包括所述特征的子集。此外,实施例可包括比在特定示例中公开的那些特征更少的特点。由此,所附权利要求书进而被并入到“具体实施方式”中,并且权利要求本身作为单独的实施例而存在。旨在参照所附权利要求书以及此类权利要求书要求保护的等效方案的完整范围来确定本文中公开的实施例的范围。

Claims (26)

1.一种设备,包括处理器和存储器,用于确定社会关系,所述设备包括:
利用所述处理器和存储器实现的图像识别组件,所述图像识别组件用于:
接收图像,所述图像包括至少一个人;
标识所述图像中的所述至少一个人;以及
标识对应于所述图像中的所述至少一个人的对象,
所述对象包括其中包括了一组中的成员资格的指示的特征或标志;以及
关系归属组件,用于:
至少部分地基于所述对象,确定所述社交联系的上下文;以及
至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
2.如权利要求1所述的设备,其中,图像识别组件用于:
对所述标志执行光学字符识别以确定所述组的身份。
3.如要求1所述的装置,进一步包括:
耦合到所述图像识别组件的摄像机,所述摄像机适用于向所述图像识别组件提供所述图像。
4.如权利要求1所述的设备,其中,图像识别组件进一步被配置为:
对所述图像中所描绘的所有个人执行面部识别。
5.如要求1所述的装置,进一步包括:
耦合到所述关系归属组件的数据存储,所述数据存储适用于在数据库中存储所述至少一个人与所述组的所述社交联系,所述数据库包括所述至少一个人的多个社交圈。
6.如权利要求1所述的设备,其中,所述关系归属组件用于:
计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
7.包括多条指令的至少一个机器可读的存储介质,当由计算设备执行时,所述多条指令使所述计算设备:
接收图像,所述图像包括至少一个人;
标识所述图像中的所述至少一个人;
标识对应于所述图像中的所述至少一个人的对象,所述对象包括其中包括一组中的成员资格的指示的特征或标志;以及
至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
8.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
对所述标志执行光学字符识别以确定所述组的身份。
9.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
对所述图像中所描绘的所有个人执行面部识别。
10.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
至少部分地基于所述对象,确定所述社交联系的上下文;
其中,所述上下文包括与所述组的关联。
11.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
在数据库中存储所述至少一个人与所述组的所述社交联系,所述数据库包括所述至少一个人的多个社交圈。
12.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
基于对多个图像的分析,创建所述至少一个人的多个社交联系的表示。
13.如权利要求7所述的至少一个机器可读的介质,进一步包括指令,当被所述计算设备执行时使所述计算设备:
计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
14.如权利要求7所述的至少一个机器可读的介质,其中,所述特定的关系是下列各项中的至少一项:配偶、父或母-孩子、同事、同学、队友,或友谊。
15.一种用于社会关系标识的方法,包括:
接收图像,所述图像包括至少一个人;
标识所述图像中的所述至少一个人;
标识对应于所述图像中的所述至少一个人的对象,所述对象包括与一个组相关联的特征或标志;以及
至少部分地基于与所述组相关联的所述特征或标志,确定所述至少一个人与所述组的社交联系。
16.如权利要求15所述的方法,进一步包括:
对所述标志执行光学字符识别以确定所述组。
17.如权利要求15所述的方法,进一步包括:
对所述图像中所描绘的所有个人执行面部识别。
18.如权利要求15所述的方法,进一步包括:
至少部分地基于所述对象,确定所述社交联系的上下文;
其中,所述上下文包括与所述组的关联。
19.如权利要求15所述的方法,进一步包括:
在数据库中存储所述至少一个人与所述组的所述社交联系,所述数据库包括所述至少一个人的多个社交圈。
20.如权利要求15所述的方法,进一步包括:
基于对多个图像的分析,创建所述至少一个人的多个社交联系的表示。
21.如权利要求15所述的方法,进一步包括:
计算与所述社交联系相关联的置信水平,并响应于所述置信水平高于阈值,将所述社交联系分类为特定的关系。
22.非瞬时的机器可读的介质,包括指令,所述指令在由机器执行时导致所述机器执行权利要求15-21所述方法中的任一项的操作。
23.包括用于执行权利要求15-21所述的方法中的任一项的装置的设备。
24.一种社会关系标识系统,包括:
捕捉图像的设备;
图像分析模块,所述图像分析模块执行面部识别以标识所述图像中的一个或多个人以及对所述图像中的对象上的符号执行光学字符识别;
关系归属模块,用于确定所述对象和社交组之间的关系,并至少部分地基于所述对象以及所述对象和所述社交组之间的所述关系暗示所述图像中的个人和所述社交组之间的社会关系;以及
关系代理,所述关系代理耦合到网络并适用于从外部源接收关系信息,所述关系信息包括与在所述图像中标识的所述一个或多个人相关联的上下文信息。
25.如权利要求24所述的系统,其中,所述外部源是可公开访问的社交网络。
26.如权利要求24所述的系统,其中,所述外部源是私有社交网络。
CN201380081097.7A 2013-12-20 2013-12-20 社交圈以及关系标识 Active CN106796709B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/077223 WO2015094370A1 (en) 2013-12-20 2013-12-20 Social circle and relationship identification

Publications (2)

Publication Number Publication Date
CN106796709A true CN106796709A (zh) 2017-05-31
CN106796709B CN106796709B (zh) 2021-03-19

Family

ID=53403450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081097.7A Active CN106796709B (zh) 2013-12-20 2013-12-20 社交圈以及关系标识

Country Status (4)

Country Link
US (1) US9928447B2 (zh)
EP (1) EP3084715A4 (zh)
CN (1) CN106796709B (zh)
WO (1) WO2015094370A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928447B2 (en) 2013-12-20 2018-03-27 Intel Corporation Social circle and relationship identification
CN107944052A (zh) * 2017-12-21 2018-04-20 联想(北京)有限公司 一种电子设备的信息处理方法及电子设备
CN108256099A (zh) * 2018-01-30 2018-07-06 上海与德通讯技术有限公司 关系网的建立方法、基于关系网的提醒方法和智能设备
CN110413829A (zh) * 2019-07-31 2019-11-05 北京明略软件系统有限公司 标注图片实体关系方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386139B2 (en) * 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9846687B2 (en) * 2014-07-28 2017-12-19 Adp, Llc Word cloud candidate management system
US20180032882A1 (en) * 2016-07-27 2018-02-01 Fuji Xerox Co., Ltd. Method and system for generating recommendations based on visual data and associated tags
US10606866B1 (en) * 2017-03-30 2020-03-31 Palantir Technologies Inc. Framework for exposing network activities
EP3622434A1 (en) * 2017-05-11 2020-03-18 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
US11457076B2 (en) 2017-11-15 2022-09-27 Kyndryl, Inc. User profile creation for social networks
US11379517B2 (en) * 2018-01-20 2022-07-05 Griffin Kelly Photography searching system
EP3729373A4 (en) * 2018-02-08 2021-02-24 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR RENDERING THE BACKGROUND OF AN IMAGE
US11210499B2 (en) * 2018-07-06 2021-12-28 Kepler Vision Technologies Bv Determining a social group to which customers belong from appearance and using artificial intelligence, machine learning, and computer vision, for estimating customer preferences and intent, and for improving customer services
US11183140B2 (en) * 2018-10-10 2021-11-23 International Business Machines Corporation Human relationship-aware augmented display
US11244162B2 (en) 2018-10-31 2022-02-08 International Business Machines Corporation Automatic identification of relationships between a center of attention and other individuals/objects present in an image or video
US20200151453A1 (en) * 2018-11-08 2020-05-14 International Business Machines Corporation Reducing overlap among a collection of photographs
CN111275492A (zh) * 2020-02-07 2020-06-12 腾讯科技(深圳)有限公司 用户画像生成方法、装置、存储介质及设备
US11907269B2 (en) 2020-12-01 2024-02-20 International Business Machines Corporation Detecting non-obvious relationships between entities from visual data sources
US20230252787A1 (en) * 2022-02-04 2023-08-10 Kevin James CANNONS Systems, methods, and media for main group identification in images via social relation recognition
WO2023229752A1 (en) * 2022-05-25 2023-11-30 Paypal, Inc. Reducing false positives in entity matching based on image-linking graphs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110038512A1 (en) * 2009-08-07 2011-02-17 David Petrou Facial Recognition with Social Network Aiding
CN102461129A (zh) * 2009-06-12 2012-05-16 高通股份有限公司 提供有定位能力的群管理的系统、方法和机器可读介质
US20120158935A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Method and systems for managing social networks
US20130194438A1 (en) * 2011-08-18 2013-08-01 Qualcomm Incorporated Smart camera for sharing pictures automatically

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
KR100936198B1 (ko) 2008-03-21 2010-01-11 인하대학교 산학협력단 소셜 네트워크 분석 시스템
JP5247337B2 (ja) * 2008-10-02 2013-07-24 キヤノン株式会社 画像認識装置および画像認識方法
WO2010075430A1 (en) * 2008-12-24 2010-07-01 Strands, Inc. Sporting event image capture, processing and publication
US9514466B2 (en) * 2009-11-16 2016-12-06 Yahoo! Inc. Collecting and presenting data including links from communications sent to or from a user
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
EP3084715A4 (en) 2013-12-20 2017-09-27 Intel Corporation Social circle and relationship identification
WO2015186588A1 (ja) * 2014-06-03 2015-12-10 住友重機械工業株式会社 建設機械用人物検知システム
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
US9542766B1 (en) * 2015-06-26 2017-01-10 Microsoft Technology Licensing, Llc Intelligent configuration of data visualizations
JP6564295B2 (ja) * 2015-10-20 2019-08-21 オリンパス株式会社 合成画像作成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461129A (zh) * 2009-06-12 2012-05-16 高通股份有限公司 提供有定位能力的群管理的系统、方法和机器可读介质
US20110038512A1 (en) * 2009-08-07 2011-02-17 David Petrou Facial Recognition with Social Network Aiding
US20120158935A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Method and systems for managing social networks
US20130194438A1 (en) * 2011-08-18 2013-08-01 Qualcomm Incorporated Smart camera for sharing pictures automatically

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928447B2 (en) 2013-12-20 2018-03-27 Intel Corporation Social circle and relationship identification
CN107944052A (zh) * 2017-12-21 2018-04-20 联想(北京)有限公司 一种电子设备的信息处理方法及电子设备
CN108256099A (zh) * 2018-01-30 2018-07-06 上海与德通讯技术有限公司 关系网的建立方法、基于关系网的提醒方法和智能设备
CN110413829A (zh) * 2019-07-31 2019-11-05 北京明略软件系统有限公司 标注图片实体关系方法及装置

Also Published As

Publication number Publication date
EP3084715A1 (en) 2016-10-26
WO2015094370A1 (en) 2015-06-25
EP3084715A4 (en) 2017-09-27
US20160224871A1 (en) 2016-08-04
CN106796709B (zh) 2021-03-19
US9928447B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
CN106796709A (zh) 社交圈以及关系标识
CN110352595B (zh) 用于提供增强现实叠加的系统和方法
Sultana et al. Social behavioral information fusion in multimodal biometrics
Wang et al. Friendbook: a semantic-based friend recommendation system for social networks
JP6594329B2 (ja) 顔表現のためのシステムおよび方法
CN104254859B (zh) 建立社交网络组
CN108369652A (zh) 用于面部识别应用中的误判最小化的方法和设备
US20160028803A1 (en) Networking in a Social Network
CN103838834B (zh) 一种提及推荐方法、信息处理方法及系统
Corcoran Biometrics and consumer electronics: A brave new world or the road to dystopia?[Soapbox]
US9613014B2 (en) Systems and methods for personalization and engagement by passive connection
US20140032723A1 (en) System and Digital Token for Personal Identity Verification
US20130033611A1 (en) Search System of Face Recognition and Method Thereof, Computer Readable Storage Media and Computer Program Product
CN110162717A (zh) 一种推荐好友的方法和设备
KR101872733B1 (ko) 소셜 네트워크 서비스 팔로잉 추천 시스템 및 이를 이용한 소셜 네트워크 팔로잉 추천 방법
US8843518B2 (en) Method and apparatus for establishing a connection with known individuals
CN104423945B (zh) 一种信息处理方法及电子设备
US20200302897A1 (en) Business card management system and card case
CN112805722A (zh) 减少面部识别中的误报的方法和装置
CN105164696A (zh) 用于人物标识的方法和技术设备
US10915738B2 (en) Preference implementation system for acting on preferences of facility visitors
CN107656959A (zh) 一种留言方法、装置及留言设备
Teja et al. Secure smart room with intelligent power management
CN107004167A (zh) 公开招聘标准化和重复数据删除
US9811535B1 (en) Creating social network groups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant