CN106716393B - 用于辨别和匹配图像中描画的对象的方法和设备 - Google Patents

Abstract

本发明提供一种方法，所述方法包括识别与用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所述识别的一个或多个对象添加至与所述用户相关联的真实世界对象列表；基于对象辨别而为所述真实世界对象列表中的每个对象指派对象类别；以及向所述用户提供内容项已与指派给与所述用户相关联的所述真实世界对象列表上的所述对象之一的对象类别相关联的通知。计算机可读存储介质存储一个或多个计算机程序，并且设备包括基于处理器的装置。

Description

用于辨别和匹配图像中描画的对象的方法和设备

相关申请的交叉引用

本申请是于2014年12月9日提交的名称为“METHOD AND APPARATUS FORRECOGNITION AND MATCHING OF OBJECTS DEPICTED IN IMAGES”的美国专利申请号14/565,204的继续申请并且要求其权益，所述专利申请要求于2014年9月29日提交的名称为“METHOD AND APPARATUS FOR RECOGNITION AND MATCHING OF OBJECTS DEPICTED INIMAGES”的美国临时专利申请号62/057,223的权益，并且还要求于2014年9月29日提交的名称为“SCHEMES FOR RETRIEVING AND ASSOCIATING CONTENT ITEMS WITH REAL-WORLDOBJECTS USING AUGMENTED REALITY AND OBJECT RECOGNITION”的美国临时专利申请号62/057,219的权益，所述专利申请的全部内容和公开内容特此全部以引用的方式整体并入本文。

本申请涉及于2014年12月9日提交的名称为“SCHEMES FOR RETRIEVING ANDASSOCIATING CONTENT ITEMS WITH REAL-WORLD OBJECTS USING AUGMENTED REALITY ANDOBJECT RECOGNITION”的美国专利申请号14/565,236，所述专利申请的全部内容和公开内容特此完全以引用的方式整体并入本文。

发明背景

1.发明领域

本发明总体涉及计算机软件应用程序，并且更确切地说涉及对象辨别和匹配设备以及软件。

2.相关技术讨论

用户生成内容的共享已经发展成为因特网上最流行的功能之一。与人们受限于被动观看内容的Web站点相对比，所谓的“Web 2.0”站点允许用户作为用户生成内容的创建者在虚拟社区中以社交媒体对话彼此交互和协作。

发明概述

一个实施方案提供一种方法，所述方法包括：识别与用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与用户相关联的真实世界对象列表；基于对象辨别而为真实世界对象列表中的每个对象指派对象类别；以及向用户提供内容项已与指派给与用户相关联的真实世界对象列表上的对象之一的对象类别相关联的通知。

另一个实施方案提供一种设备，所述设备包括：基于处理器的装置；以及非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使基于处理器的装置执行多个步骤，所述步骤包括：识别与用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与用户相关联的真实世界对象列表；基于对象辨别而为真实世界对象列表中的每个对象指派对象类别；以及向用户提供内容项已与指派给与用户相关联的真实世界对象列表上的对象之一的对象类别相关联的通知。

另一个实施方案提供一种方法，所述方法包括：识别与第一用户相关联的一个或多个图像中的一个或多个对象，其中识别通过由基于处理器的设备运行的对象辨别技术来执行；对于每个识别的对象，通过与其他用户相关联的一个或多个图像进行搜索以识别感兴趣的一个或多个图像，其中感兴趣的一个或多个图像各自描画对象，所述对象(i)具有与所识别的对象基本上匹配的外观，并且(ii)已由其他用户中的一个指定包括在搜索中；生成至少部分基于任何识别的感兴趣的图像的通知；以及向第一用户提供通知。

另一个实施方案提供一种方法，所述方法包括：识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与第一用户相关联的真实世界对象列表；基于对象辨别而为真实世界对象列表中的每个对象指派对象类别；从第一用户接收用于真实世界对象列表中的真实世界对象的内容项；以及将真实世界对象的内容项和对象类别存储在服务器上，以使得内容项可由观看真实世界对象的对象类别中的对象的第二用户检索。

另一个实施方案提供一种设备，所述设备包括：基于处理器的装置；以及非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使基于处理器的装置执行多个步骤，所述步骤包括：识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与第一用户相关联的真实世界对象列表；基于对象辨别而为真实世界对象列表中的每个对象指派对象类别；从第一用户接收用于真实世界对象列表中的真实世界对象的内容项；以及将真实世界对象的内容项和对象类别存储在服务器上，以使得内容项可由观看真实世界对象的对象类别中的对象的第二用户检索。

通过参考阐述其中利用了本发明的实施方案的原理的说明性实施方案的以下详细描述和附图将获得对本发明的各种实施方案的特征和优点的更好的理解。

附图简述

根据以下结合下图所呈现的本发明的更具体的描述，本发明的实施方案的以上和其他方面、特征和优点将更为显而易见，在附图中：

图1、图2和图3是示出根据本发明的一些实施方案的对象辨别和匹配的方法的流程图；

图4是示出根据本发明的一些实施方案来识别真实世界场景的图像中的对象的图；

图5、图6、图7和图8是示出根据本发明的一些实施方案的用于基于对象的内容共享的用户界面的图；

图9是示出根据本发明的一些实施方案的可以用于进行、实施和/或执行本文所示和所述的任何方法和技术的系统的方框图。

详细描述

本发明的一些实施方案提供用于在一些实施方案中可以被描述为基于对象的内容共享的那些的方法和设备。基于对象的内容共享提供一种新颖的方式来基于真实世界对象而共享故事、记忆和录制的媒体。使用与用户相关联的图像，系统在一些实施方案中能够自动识别用户的环境中的各种对象。系统之后提供用户界面以供用户基于这些识别的对象来发布和观看内容。

在基于对象的内容共享下，用户可以基于其所拥有和/或碰到的真实世界对象来彼此交互。例如，具有珍藏漫画书而相距数英里生活的用户可以在系统识别出与用户相关联的图像中的相同的漫画书时彼此连接。用户之后可以通过基于对象的内容服务来共享用户生成内容并且讨论其共同兴趣。

在一些实施方案中，系统可以进一步对如何匹配对象以及出于共享如何将对象分组提供配置的灵活性以让用户主导其隐私及其社交网络经历。在一些实施方案中，基于对象的内容共享系统允许用户基于其所拥有和/或碰到的对象来同与所述用户共享共同兴趣、爱好、风格、品味、生活方式等的其他用户连接。

参考图1，示出了根据本发明的一些实施方案的用于提供对与对象相关联的内容项的通知的方法100的实例。在一些实施方案中，方法100的步骤可以由一个或多个服务器装置、用户装置或服务器和用户装置的组合来执行。

在步骤110中，系统识别与用户相关联的真实世界场景的图像中的对象。真实世界场景的图像可以包括以下一项或多项：与用户的在线简档相关联的在线相册中的照片或视频；用户装置上的本地存储；与用户相关联的云存储空间；以及用户在社交媒体服务中已经“标记”的图像的集合等。所述图像可以在多个位置处并在多个时间段内，诸如在几小时、几天、几个月或几年内捕获。在一些实施方案中，还可以在相机遥摄时识别由相机观看的图像中的对象，其中图像不会永久地存储在装置上。对象可以是用户和/或其他人的照片的背景中的对象。系统可以对与用户相关联的图像运行图像或对象辨别算法，并且识别图像中的一个或多个对象。在一些实施方案中，系统仅可以识别与用户相关联的图像中的无生命对象。

一般而言，系统可以利用各种已知的计算机对象辨别技术来辨别真实世界场景的图像中的对象。在一些实施方案中，对象辨别可以使用基于外观的方法，所述方法将图像与已知对象的参考图像进行比较以辨别对象。基于外观的方法的实例包括边缘匹配、灰度匹配、感受野反应直方图等。在一些实施方案中，对象辨别可以使用基于特征的方法，所述方法依赖于匹配对象特征和图像特征。基于特征的方法的实例包括形态聚类、几何散列、尺度不变特征变换、解释树等。系统可以组合方式使用一种或多种对象辨别方法来提高对象识别的准确度。

在步骤120中，将步骤110中识别的真实世界对象添加至与用户相关联的对象列表。对象列表可以保持在内容共享服务器上并且与用户的用户简档相关联。在一些实施方案中，将对象的图像存储在步骤120中的列表上。在一些实施方案中，将所识别的对象的属性存储到步骤120中的列表。例如，如果对象被识别为是

3 Slim，那么描述“

3 Slim”以及属性诸如“游戏控制台”和“红色”可以添加至列表。在一些实施方案中，列表存储对象的一个或多个图像和属性。在一些实施方案中，在将对象添加至列表之前，系统首先检查冗余度。例如，系统可以首先检查来查看与图像中的对象匹配的对象是否已经存在于列表上。在一些实施方案中，系统提供用户界面以供用户访问和编辑对象列表。例如，用户可以使用用户界面来将对象添加至与他/她相关联的对象列表并且将所述对象从其中去除。在一些实施方案中，用户还可以编辑和/或校正与对象相关联的属性。例如，用户可能能够选择列表上的

3 Slim，并且键入型号和/或序列号。在另一个实例中，系统在不能够使图像中的对象与已知对象匹配的情况下可以将所述对象抽离出来。用户可以手动地键入对象的属性信息。

在步骤130中，为对象列表上的多个对象之一指派对象类别。对象类别可以指代独特的对象、一组视觉上类似的对象、或共享一个或多个共同属性的一组对象。在一些实施方案中，基于对象的图像与已经指派了所述对象类别的对象的其他图像的比较来为所述图像指派对象类别。在一些实施方案中，步骤130中的指派是基于通过对象辨别而识别的对象的一个或多个属性。可以基于针对真实世界场景中的对象的一个或多个图像运行图像辨别算法来为真实世界对象指派对象类别。在一些实施方案中，将所识别的真实世界对象的特征和/或属性与同对象类别相关联的属性和/或已知对象的参考图像进行比较和匹配。特征和属性可以包括视觉特征，诸如颜色、形状、轮廓等。在一些实施方案中，特征和属性可以包括通过图像辨别而确定的属性。例如，系统可以将图像与已知对象的数据库进行比较以确定与图像有关的附加信息，诸如图像类型、名称和其他属性。

例如，对象可以基于其颜色、形状、商标图像等而识别为是红色

3超轻巧控制台。系统之后可以向红色

3超轻巧控制台指派一个或多个对象类别，诸如：

控制台、

3控制台、

3超轻巧控制台以及红色

3超轻巧控制台等。对象类别指派可以是基于真实世界对象的属性与同这些对象类别中的每一个相关联的属性的匹配。在一些实施方案中，可以基于对象的属性而向对象指派两个或更多个对象类别。在一些实施方案中，对象类别彼此可以具有层级关系，并且以所述关系呈现以供用户配置。在一些实施方案中，可以允许用户编辑指派给他的/她的对象列表上的每个对象的对象类别。例如，如果用户不想要接收对标记为“

3控制台”对象类别的所有内容项的通知，那么他/她可以将他的/她的控制台在“

3控制台”对象类别中的指派解除，并且仅向他的/她的控制台指派“红色

3超轻巧控制台”对象类别。在一些实施方案中，建议对象类别列表可以使用对象辨别来确定并且提供给用户以供用户选择。在一些实施方案中，用户可以手动地搜索系统上的对象类别以使其与他的/她的对象列表上的对象相关联。

在步骤140中，系统提供内容项已经添加至对象类别的通知，所述对象类别已被指派给用户的对象列表上的对象。例如，如果第二用户将照片标记到他的

(其还被指派了“红色

3超轻巧控制台”对象类别)，那么系统可以向用户提供红色

3超轻巧控制台存在于他的/她的对象列表上的通知。通知可以是以下一项或多项：弹出通知、声音通知、振动、基于对象的内容共享用户界面中的通知文本或图标、社交媒体服务中的通知消息、文本消息和/或邮件消息等。例如，一旦添加新的内容项，系统可以使用户的装置发出声音或振动。在另一个实例中，当用户打开基于对象的内容共享用户界面或社交网络服务时，系统可以向用户显示图标或消息，以指示新的内容项可供观看。在一些实施方案中，用户可以配置要接收何种类型通知。在一些实施方案中，用户可以个别地针对与用户相关联的每个对象和/或对象类别配置要接收的通知的类型。在一些实施方案中，用户可以个别地针对与用户相关联的每个对象和/或对象类别配置是否接收通知。

在一些实施方案中，在步骤140之前，系统首先基于内容项的共享设定和/或第一用户的偏好设定来确定内容项是否应与第一用户共享。在一些实施方案中，内容项的作者可以限制所述内容项的共享。例如，作者可能仅允许在社交网络服务中连接至其和/或关注(follow)其的用户观看内容。在一些实施方案中，作者可以基于年龄、地理位置、时间等来限制何人可以观看内容项。例如，作者可能希望标记的内容仅在未来几年内可供观看，或仅在一个时间段内可供观看。在一些实施方案中，第一用户还可以基于内容项的作者而关闭通知。例如，第一用户可能希望仅从其朋友、其关注的人、其社交群内的人等接收对内容项的通知。在另一个实例中，用户可能能够选择性地屏蔽来自选定作者的内容项。在这些情况下，系统仅可以进行到步骤140：确定内容项是否应与第一用户共享。

参考图2，示出了根据本发明的一些实施方案的用于提供对感兴趣的图像的通知的方法200的实例。在一些实施方案中，方法200的步骤可以由一个或多个服务器装置、用户装置或服务器和用户装置的组合来执行。

在步骤210中，识别与用户相关联的真实世界场景的图像中的真实世界对象。真实世界场景的图像可以包括以下一项或多项：与用户的在线简档相关联的在线相册中的照片或视频；用户装置上的本地存储；与用户相关联的云存储空间；以及用户在社交媒体服务中已经“标记”的图像的集合等。所述图像可以在多个位置处并在多个时间段内，诸如在几小时、几天、几个月或几年内捕获。在一些实施方案中，还可以在相机遥摄时识别由相机观看的图像中的对象，其中图像不会永久地存储在装置上。对象可以是用户和/或其他人的照片的背景中的对象。系统可以对与用户相关联的图像运行图像或对象辨别算法，并且识别图像中的一个或多个对象。在一些实施方案中，系统仅可以识别与用户相关联的图像中的无生命对象。

在步骤220中，针对步骤210中所识别的每个图像，系统通过与其他用户相关联的一个或多个图像进行搜索以识别感兴趣的一个或多个图像。感兴趣的图像可以描画外观基本上与所识别的对象匹配且已经由其他用户中的一个指定包括在搜索中的对象。

在一些实施方案中，为了匹配具有基本上匹配的外观的对象，将识别的真实世界对象的图像与同其他用户相关联的对象的图像进行比较。在一些实施方案中，将所识别的真实世界对象的特征和/或属性与同其他用户相关联的对象的特征和/或属性进行比较和匹配。特征和属性可以包括视觉特征，诸如颜色、形状、轮廓等。在一些实施方案中，特征和属性可以包括通过对象辨别而确定的属性。例如，系统可以将真实世界对象的图像和/或视觉属性与已知对象的数据库进行比较以确定与图像有关的附加信息，诸如图像类型、名称和其他属性。

系统可以基于感兴趣的每个图像的共享设定来进一步确定感兴趣的每个图像是否已经由其他用户中的一个指定包括在搜索中。在一些实施方案中，感兴趣的图像的共享设定可以由与感兴趣的图像相关联的用户来配置。共享设定可以限制何人可以查看与感兴趣的图像相关联的内容项。例如，用户可以基于用户是否通过社交网络服务连接而限制对内容的共享。感兴趣的图像仅可以包括在用户的朋友、关注者、群成员等的搜索中。在一些实施方案中，用户还可以基于与所识别的对象相关联的用户的年龄、位置等来限制共享。在一些实施方案中，用户可以限制感兴趣的图像可搜索的时间段。例如，用户可以针对感兴趣的图像配置仅可搜索两天。

在步骤230中，当在步骤220中发现感兴趣的图像时，生成通知。例如，如果棒球帽的图像具有与步骤210中所识别的棒球帽的外观基本上匹配的外观并且已经由其他用户指定包括在搜索中，那么在步骤230中生成通知。通知可以是以下一项或多项：弹出通知、声音通知、振动、基于对象的内容共享用户界面中的通知文本或图标、社交媒体服务中的通知消息、文本消息和/或邮件消息等。在一些实施方案中，通知可以包括所识别的感兴趣的图像的列表。在一些实施方案中，在步骤230中是否提供通知以及如何提供通知是进一步基于第一用户的配置的偏好。

在步骤240中，向用户提供步骤230中生成的通知。在一些实施方案中，一旦发现感兴趣的图像，系统就可以使用户的装置发出声音或振动。在一些实施方案中，当用户打开基于对象的内容共享用户界面或社交网络服务时，系统向用户显示图标或消息以指示已经发现一个或多个感兴趣的匹配图像。在一些实施方案中，用户可以配置要接收何种类型通知。

在一些实施方案中，系统可以进一步确定内容项是否已与外观与所识别的对象基本上匹配的对象相关联。用户可以通过基于对象的内容共享系统来使内容项与对象相关联。具有基本上匹配的对象的用户可以通过使内容项诸如文本注释、图像、音频片段、视频片段以及超链接与对象相关联来彼此共享其记忆和经历。步骤240中的通知还可以包括对任何内容项已与外观与任何识别的对象基本上匹配的任何对象相关联或标记到所述任何对象的指示。

参考图3，示出了根据本发明的一些实施方案的用于使内容项与真实世界对象相关联的方法300的实例。在一些实施方案中，方法300的步骤可以由一个或多个服务器装置、用户装置或服务器和用户装置的组合来执行。

在步骤310中，系统识别与用户相关联的真实世界场景中的对象。真实世界场景的图像可以包括以下一项或多项：与用户的在线简档相关联的在线相册中的照片或视频；用户装置上的本地存储；与用户相关联的云存储空间；以及用户在社交媒体服务中已经“标记”的图像的集合等。所述图像可以在多个位置处并在多个时间段内，诸如在几小时、几天、几个月或几年内捕获。在一些实施方案中，还可以在相机遥摄时识别由相机观看的图像中的对象，其中图像不会永久地存储在装置上。对象可以是用户和/或其他人的照片的背景中的对象。系统可以对与用户相关联的图像运行图像或对象辨别算法，并且识别图像中的一个或多个对象。在一些实施方案中，系统仅可以识别与用户相关联的图像中的无生命对象。

在步骤320中，将步骤110中识别的真实世界对象添加至与用户相关联的对象列表。对象列表可以保持在内容共享服务器上并且与用户的用户简档相关联。在一些实施方案中，将对象的图像存储到步骤320中的列表。在一些实施方案中，将所识别的对象的属性存储到步骤320中的列表。例如，如果对象被识别为是

3 Slim，那么描述“

3 Slim”以及属性诸如“游戏控制台”和“红色”可以添加至列表。在一些实施方案中，列表存储对象的一个或多个图像和属性。在一些实施方案中，在将对象添加至列表之前，系统首先检查冗余度。例如，系统可以首先检查来查看与图像中的对象匹配的对象是否已经存在于列表上。在一些实施方案中，系统提供用户界面以供用户访问和编辑对象列表。例如，用户可以使用用户界面来将对象添加至与他/她相关联的对象列表并且将所述对象从其中去除。在一些实施方案中，用户还可以编辑和/或校正与对象相关联的属性。例如，用户可能能够选择列表上的

3 Slim，并且键入型号和/或序列号。在另一个实例中，系统在不能够使图像中的对象与已知对象匹配的情况下可以将所述对象抽离出来。用户可以手动地键入对象的属性信息。

在步骤330中，为对象列表上的多个对象之一指派对象类别。对象类别可以指代独特的对象、一组视觉上类似的对象、或共享一个或多个共同属性的一组对象。可以基于针对真实世界场景中的对象的一个或多个图像运行图像辨别算法来为真实世界对象指派对象类别。在一些实施方案中，将所识别的真实世界对象的特征和/或属性与同每个对象类别相关联的属性进行比较和匹配。例如，指派给识别为是红色

3超轻巧控制台的对象的对象类别可以是所有

3、

3超轻巧以及红色

3超轻巧控制台等。特征和属性可以包括视觉特征，诸如颜色、形状、轮廓等。在一些实施方案中，特征和属性可以包括通过图像辨别而确定的属性。例如，系统可以将图像与已知对象的数据库进行比较以确定与图像有关的附加信息，诸如图像类型、名称和其他属性。在一些实施方案中，如果步骤310中识别的对象不与任何现有对象类别匹配，那么用户可以选择来通过定义对象类别的共同属性来创建新的对象类别。

在一些实施方案中，步骤330中的指派是基于通过对象辨别而识别的对象的一个或多个属性。在一些实施方案中，可以基于对象的属性而向所述对象指派两个或更多个对象类别。在一些实施方案中，可以允许用户编辑指派给他的/她的对象列表上的每个对象的对象类别。例如，如果用户不想要与所有

3控制台的所有者共享内容项，那么他/她可以将他的/她的控制台在

3对象类别中的指派解除。在一些实施方案中，建议对象类别列表可以使用对象辨别来确定并且提供给用户以供用户选择。在一些实施方案中，用户可以手动地搜索系统上的对象类别以使其与他的/她的对象列表上的对象相关联。一般而言，在一些实施方案中，步骤310、320和330可以分别类似于步骤110、120和130。在一些实施方案中，步骤310、320和330与步骤110、120和130相同。

在步骤340中，接收用于标记到真实世界对象的内容项。内容项可以是视频、音频、图像以及文本注释中的一项或多项。在一些实施方案中，用户界面可以包括用于捕获用于标记到对象的视频片段、音频片段和图像中的一项或多项的选项。在一些实施方案中，用户可以进一步配置步骤340中的内容项的共享设定。例如，用户可以限制内容项的共享，以使得所述内容项仅可供通过社交网络服务连接的其他用户观看。在一些实施方案中，内容项的共享设定可以基于年龄和/或地理位置来进一步限制共享。地理位置限制可以由用户使用来将两个视觉上类似的项目彼此区分开来。例如，用户可以使用公园长椅的GPS位置来限制标记到所述公园长椅的内容项的共享，以使得内容项将仅匹配到其他用户的照片中的精确的公园长椅。位置限制可以是基于用户装置的当前位置和/或含有对象的真实世界场景的图像的位置元数据信息。在一些实施方案中，位置信息可以是针对对象类别定义的属性之一，而不是共享设定的部分。例如，位置A处的长椅和位置B处外观几乎相同的长椅可以处于两个单独的对象类别。在一些实施方案中，用户可能能够选择一个或多个对象类别以与内容项相关联。

在步骤350中，存储真实世界对象的内容项和相关联的对象类别，以使得内容项可由其对象列表上的对象已被指派相同对象类别的另一个用户检索。例如，可以真实世界对象的属性和/或所指派的对象类别存储内容项。当另一个用户在其对象列表上具有共享选择的共同属性的对象时，可以向其他用户提供内容项以供观看。在一些实施方案中，内容项的可用性可以进一步基于与内容项相关联的共享设定，诸如社交网络连接和位置限制。

参考图4，存在示例图，其示出根据本发明的一些实施方案的与用户相关联的对象列表的构建。在图4中，与用户相关联的真实世界场景410和420的图像由服务器440处理来生成如用户界面430所示的与用户相关联的对象列表。真实世界场景410和420的图像可以包括在线相册中的照片或视频、存储在用户装置上的图像、云存储上的相簿中的图像以及用户在社交媒体服务中“标记”的图像等。图像可以是在几小时、几天、几个月或几年的时段内捕获的且在不同位置处捕获的图像的集合。在一些实施方案中，还可以在相机遥摄时识别由相机观看的图像中的对象，其中图像不会永久地存储在装置上。系统可以对与用户相关联的图像运行对象辨别算法，并且识别图像中的一个或多个对象。在一些实施方案中，系统仅识别与用户相关联的图像中的无生命对象。

如图4所示，系统在真实世界场景410的第一图像中识别士兵玩偶412和闹钟413，并且在真实世界场景420的第二图像中识别奖杯421和棒球帽422。之后将所识别的对象中的每一个添加至对象列表用户界面430中所示的与用户相关联的对象列表。用户可以使用对象列表用户界面430来使内容项与所识别的对象相关联。用户可以进一步通过对象列表用户界面430来配置对象的对象类别和共享设定。

在图4中，用户已将音频片段添加至奖杯列表433，并且将对象类别配置为“JoeSmith的1985的棒球奖杯”。奖杯列表433的共享设定已被设定为“每个人”，而不具有位置限制。在此设定下，在与其相关联的图像中具有Joe Smith的1985的棒球奖杯的图像的任何人都可以收听标记到所述奖杯的音频片段。例如，在未来几年内荣获此奖杯的某人将能够收听由转播他的/她的有关奖杯的记忆的用户留下的音频片段。

同样在图4中，用户已将图像标记到棒球帽列表434。针对棒球帽434具有的对象类别是“道奇队棒球帽”，并且共享设定被设定为“仅限朋友”以及“在加利福尼亚州的圣地亚哥的5英里以内”。在此设定下，用户在社交网络上的在加利福尼亚州的圣地亚哥的5英里以内具有道奇队棒球帽的图像的朋友可能能够观看用户戴着棒球帽的图像436。

用户并未使任何内容项与士兵玩偶列表431和闹钟列表432相关联。用户可以选择“添加备注”、“添加图像”、“添加视频”以及“添加音频”按钮之一来使新内容与对象相关联。

虽然共享和位置设定被示出为是与所识别的对象相关联的设定，但是在一些实施方案中，共享和位置设定中的一个或多个替代地可以与内容项相关联。用户可以使多个内容项与一个对象相关联。与对象列表上的同一个对象相关联的不同的内容项可以具有不同的对象类别、共享设定和/或位置设定。

参考图5，示出了根据本发明的一些实施方案的用于观看与对象列表中的真实世界对象相关联的内容项的用户界面500的实例。当用户登录到基于对象的内容共享系统时，用户可以选择观看与他/她相关联的对象列表并且观看由其他用户标记到对象或使之与所述对象相关联的任何内容项。在一些实施方案中，每个对象列表511、512、513和515包括对象530的图像、标记到对象520的任何内容项以及用于将附加内容项添加至对象的注释选项540。

对象530的图像可以是从与用户相关联的真实世界场景的图像提取的图像和/或表示对象的指派的对象类别的对象的图像。相关联的内容项520可以包括以下一项或多项：与添加内容项的用户相关联的头像、内容项、内容项的预览以及用于播放内容项的选项。注释选项540允许用户生成和/或附上新的内容项并且以与图4中所示类似的方式配置共享设定。

在一些实施方案中，可以将用户界面430和用户界面500合并，以使得用户在同一个用户界面中既可以观看对象列表上的内容项，又可以在所述对象列表上添加内容项。在一些实施方案中，对象列表511、512、513和515可以标记到每个对象的最新内容项的次序和/或以与用户相关联的最新对象的次序排序。

参考图6，示出了用于基于对象的内容共享的用户界面600的另一个实例。用户界面600展示对象或对象类别的内容共享页面。所述页面可以包括相关联的对象的一个或多个图像610、用于添加内容的选项620以及标记到对象或对象类别的内容项631、632和633。

在图6中，示出了“圣地亚哥教士蓝色徽标帽子”的页面。内容项631、632和633中的每一个可以包括以下一项或多项：与添加内容项的用户相关联的头像、内容项、内容项的预览以及用于播放内容项的选项。在一些实施方案中，用户界面600仅可以由以下这样的用户观看：其对象列表上的对象与图像610中所示的帽子匹配和/或具有与“圣地亚哥教士蓝色徽标帽子”对象类别相关联的共同属性。例如，如果用户已拍摄戴着教士蓝色徽标帽子的照片，那么系统可以将所述帽子辨别为从属于这个对象类别，并且将用户连接至所示的对象类别。

在一些实施方案中，对象页面的内容仅可供其对象列表上具有匹配对象的用户观看。在一些实施方案中，用户界面600可以可供每个人观看，但是只有其列表上具有与对象类别匹配的对象的用户可以将内容项添加至页面。在一些实施方案中，对象页面的管理者可以选择来配置何人可以观看对象页面和/或将内容项添加至所述对象页面。在一些实施方案中，用户将仅看到共享设定允许用户查看内容项的内容项。在一些实施方案中，用户界面是界面430和500的替代视图。在一些实施方案中，对象页面可以通过以下方式来访问：选择图5和图6中的对象列表之一和/或如下文参考图7和图8所描述的真实世界场景的图像中的对象。

参考图7和图8，示出了根据本发明的一些实施方案的基于对象的内容共享系统的用户界面的附加实例。在用户界面710中，用户可以选择真实世界场景712中的识别的对象714以将内容项标记到对象。真实世界场景712可以是由装置当前观看的场景或先前由装置或另一个装置捕获的图像。用户可以观看存储在用户装置或远程存储的照片或视频，并且选择真实世界场景的图像中的对象之一，诸如汽车714来标记。

在选择汽车714之后，标记的用户界面720可以提供给用户以便供用户为所述对象键入或附上内容项。标记的用户界面720可以包括所选择的对象722的图像和用于附上内容项的一个或多个选项724。选项可以包括“添加备注”、“添加视频”、“添加图像”以及“添加音频”。在一些实施方案中，标记的用户界面720还可以包括用于如上文参考图4所描述配置和指派对象类别和内容项的共享设定的选项。

用户界面810展示显示对标记到真实世界场景812的图像中的对象的内容项的通知。真实世界场景812可以是由装置当前观看的场景或先前由装置或另一个装置捕获的图像。例如，用户可以浏览照片或视频的专辑，并且可以在当前正观看的图像含有一个或多个标记对象的情况下提供通知。图形指示器诸如图标814可以与真实世界场景812的图像一起显示以向用户指示图像中的对象已经标记有用户可用的内容项。

当在真实世界场景的图像中选择图形指示器诸如图标814时，可以在内容项观看界面820中显示相关联的内容项824。在一些实施方案中，内容项可以覆盖到如所示的真实世界场景822的图像，或者以全屏显示。

虽然图8中的用户界面被示出为由移动装置显示，但是用户界面可以显示在具有显示器的任何类型的用户装置上并且可以是应用程序(“app”)和/或网站的一部分。

图9是示出根据本发明的实施方案的可以用于进行、实施和/或执行本文所示和所述的任何方法和技术的系统的方框图。基于对象的内容共享系统900包括用户装置910、920和930，内容共享服务器940以及通过网络905通信的社交网络服务器970。

用户装置910可以是任何用户装置，诸如台式计算机、膝上型计算机、智能手机、平板计算机、类似平板电脑的装置、头戴式显示器和/或可穿戴装置。用户装置910可以包括处理器911、存储器912、网络接口913、显示器915、一个或多个其他输入/输出装置916。处理器911被配置来执行存储在存储器912中的计算机可读指令以便利参考图1-3描述的方法的多个步骤之一。存储器912可以包括RAM和/或硬盘驱动存储器装置。网络接口913被配置来通过网络905将数据传输到至少内容共享服务器940并且从其接收数据。显示器915可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、硅上液晶(LCoS)显示器、LED发光显示器等等。在一些实施方案中，显示器915是被配置来从用户接收输入的触摸显示器。在一些实施方案中，显示器915是将图像投射到透镜或穿戴者的眼睛中的头戴式显示器。显示器可以用于以不同方式显示上文参考图4-8描述的用户界面。用户装置910还可以包括其他输入/输出装置916，诸如麦克风、扬声器、倾斜传感器、罗盘、USB端口、相机、图形处理器等。输入/输出装置916可以用于键入和/或回放内容项。

用户装置920和930可以是由一个或多个其他用户操作来访问基于对象的内容共享系统900的用户装置。应理解，虽然图9中示出了三个用户装置，但是任何数目的用户装置和用户都可以访问系统900。

内容共享服务器940包括处理器942、存储器941和网络接口944。在一些实施方案中，处理器942被配置来执行存储在存储器941中的计算机可读指令以执行本文参考图1-3描述的方法的一个或多个步骤。内容共享服务器940可以连接至或包括对象数据库960和内容项数据库950中的一个或多个。

内容项数据库950可以存储与以下每一项有关的信息：标记对象或对象类别、标记到每个对象或对象类别的内容项和与内容项和/或标记对象相关联的共享设定。在一些实施方案中，图3中的步骤350通过将信息存储到内容项数据库950中来执行。

对象数据库960可以包括由系统的对象辨别算法使用来识别一个或多个真实世界对象及其属性的已知对象的数据库。在一些实施方案中，将真实世界对象的图像与对象数据库960中的对象的一个或多个图像进行比较。当存在匹配时，对象数据库960可以提供与对象有关的进一步的信息，诸如对象名称、对象类型、对象型号等。

在一些实施方案中，对象数据库960和内容项数据库950中的一个或多个可以是内容共享服务器940的部分。在一些实施方案中，对象数据库960和内容项数据库950可以实施为单一数据库。在一些实施方案中，内容共享服务器940也通过网络905来与对象数据库960和内容项数据库950中的一个或多个通信。在一些实施方案中，对象数据库960可以由第三方维护和控制。在一些实施方案中，对象数据库960可以通过接收用户提供的图像和属性，并将用户提供的信息添加至其数据库来“了解”新的对象。例如，当用户拍摄汽车的照片并且键入其制造商和型号时，对象数据库随后可能能够辨别相同汽车的另一个图像并且能够提供有关所述相同汽车的制造商和型号的信息。虽然仅示出了一个内容共享服务器940，但是应理解，内容共享服务器940、对象数据库960和内容项数据库950可以用通过网络连接的一个或多个物理装置来实施。

社交网络服务器970为用户提供社交网络功能以彼此连接并且构建社交网络和社交群。社交网络服务器970可以是内容共享服务器940的部分或第三方服务。社交网络服务中的连接和构建的群可以用于配置本文论述的共享设定。例如，如果内容项被配置成仅与作者的“朋友”共享，那么内容共享服务器940可以向社交网络服务器970查询两个用户之间的社交网络状态以确定内容项是否应提供给第二用户。在一些实施方案中，当用户配置共享设定时，可以从社交网络服务器979检索信息，以使得用户可以在他的/她的朋友和/或社交群当中进行选择以共享内容项。

在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一项或多项可以在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用程序中实施。作为举例，这种基于处理器的系统可以包括基于处理器的设备或系统900、或者计算机、娱乐系统、游戏控制台、图形工作站、服务器、客户端、便携装置、类似平板电脑的装置等。这类计算机程序可以用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可以适于使基于处理器的设备或系统执行和实现上文描述的功能或者配置所述设备或系统来执行和实现上文描述的功能。例如，这类计算机程序可以用于实施上文描述的方法、步骤、技术或特征的任何实施方案。作为另一个实例，这类计算机程序可以用于实施任何类型的使用上文描述的实施方案、方法、途径和/或技术中的任一项或多项的工具或类似实用工具。在一些实施方案中，计算机程序之内或之外的程序代码宏指令、模块、循环、子例程、调用等可以用于执行上文描述的方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可以存储或包括在一个或多个计算机可读存储或记录介质上，诸如本文描述的一个或多个计算机可读存储或记录介质中的任一个。

因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括介质，所述介质用于包括用于计算机输入的计算机程序；以及所述介质中包括的计算机程序，所述计算机程序用于使计算机进行或执行步骤，所述步骤包括本文描述的实施方案、方法、途径和/或技术的任一项或多项中所涉及的任一个或多个步骤。例如，在一些实施方案中，本发明提供一种或多种非暂态计算机可读存储介质，其存储一个或多个计算机程序，所述一个或多个计算机程序适于使基于处理器的设备或系统执行步骤，所述步骤包括：识别与用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与用户相关联的真实世界对象列表；基于图像辨别而为真实世界对象列表中的每个对象指派对象类别；以及向用户提供内容项已与指派给与用户相关联的真实世界对象列表上的对象之一的对象类别相关联的通知。在另一个实例中，在一些实施方案中，本发明提供一种或多种非暂态计算机可读存储介质，其存储一个或多个计算机程序，所述一个或多个计算机程序适于使基于处理器的设备或系统执行步骤，所述步骤包括：识别与第一用户相关联的一个或多个图像中的一个或多个对象，其中识别通过由基于处理器的设备运行的图像辨别技术来执行；对于每个识别的对象，通过与其他用户相关联的一个或多个图像进行搜索以识别感兴趣的一个或多个图像，其中感兴趣的一个或多个图像各自描画对象，所述对象(i)具有与所识别的对象基本上匹配的外观，并且(ii)已由其他用户中的一个指定包括在搜索中；生成至少部分基于任何识别的感兴趣的图像的通知；以及向第一用户提供通知。在另一个实例中，在一些实施方案中，本发明提供一种或多种非暂态计算机可读存储介质，其存储一个或多个计算机程序，所述一个或多个计算机程序适于使基于处理器的设备或系统执行步骤，所述步骤包括：识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；将所识别的一个或多个对象添加至与第一用户相关联的真实世界对象列表；基于图像辨别而为真实世界对象列表中的每个对象指派对象类别；从第一用户接收用于真实世界对象列表中的真实世界对象的内容项；以及将真实世界对象的内容项和对象类别存储在服务器上，以使得内容项可由观看真实世界对象的对象类别中的对象的第二用户检索。

虽然本发明已借助于特定实施方案及其应用描述了本文公开的发明，但是在不脱离权利要求书中阐述的本发明的范围的情况下，本领域技术人员可以对其作出众多修改和改变。

Claims (19)

1.一种对象识别方法，所述方法包括：

识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；

将所述识别的一个或多个对象添加至与所述第一用户相关联的真实世界对象列表；

基于对象辨别而为所述真实世界对象列表中的每个对象指派对象类别；以及

向所述第一用户提供由第二用户提供的内容项已与指派给与所述第一用户相关联的所述真实世界对象列表上的所述对象之一的对象类别相关联的通知，

其中，所述第二用户向与所述第二用户相关联的图像中显示的对象添加所述内容项，并且其中，所述内容项不同于与所述第二用户相关联的所述图像。

2.如权利要求1所述的方法，其中所述内容项包括文本注释、图像、音频片段或视频片段中的一项或多项。

3.如权利要求1所述的方法，其中所述一个或多个真实世界场景图像包括在多个位置处以及在多个时间段内捕获的相册中的图像。

4.如权利要求1所述的方法，其中所述真实世界对象列表被配置成由所述第一用户编辑。

5.如权利要求1-4中任一项所述的方法，其中每个对象类别对应于以下一项或多项：独特的对象、一组视觉上类似的对象或共享一个或多个共同属性的一组对象。

6.如权利要求1-4中任一项所述的方法，其中所述提供所述通知的步骤是进一步基于用户装置的位置、共享设定或所述第一用户与所述内容项的作者之间的社交网络连接中的一项或多项。

7.一种对象识别设备，所述设备包括：

基于处理器的装置；以及

非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使所述基于处理器的装置执行多个步骤，所述步骤包括：

识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；

将所述识别的一个或多个对象添加至与所述第一用户相关联的真实世界对象列表；

基于对象辨别而为所述真实世界对象列表中的每个对象指派对象类别；以及

向所述第一用户提供由第二用户提供的内容项已与指派给与所述第一用户相关联的所述真实世界对象列表上的所述对象之一的对象类别相关联的通知，

其中，所述第二用户向与所述第二用户相关联的图像中显示的对象添加所述内容项，并且其中，所述内容项不同于与所述第二用户相关联的所述图像。

8.一种对象识别方法，所述方法包括：

识别与第一用户相关联的一个或多个图像中的一个或多个对象，其中所述识别通过由基于处理器的设备运行的对象辨别技术来执行；

将所述识别的一个或多个对象添加至与所述第一用户相关联的真实世界对象列表；

对于所述真实世界对象列表中的每个识别的对象，通过与其他用户相关联的一个或多个图像进行搜索以识别感兴趣的一个或多个图像，其中所述感兴趣的一个或多个图像各自描画对象，所述对象(i)具有与所述识别的对象基本上匹配的外观，并且(ii)已由所述其他用户中的一个指定包括在所述搜索范围中；

其中，对于所述感兴趣的一个或多个图像中的至少一个，所述其它用户中的所述一个还向具有与所述识别的对象基本上匹配的外观的所述对象添加内容项；以及

向所述第一用户提供所述内容项已被添加到具有与所述识别的对象基本上匹配的外观的所述对象的通知。

9.如权利要求8所述的方法，其中所述通知包括任何识别的感兴趣的图像的列表。

10.如权利要求8-9中任一项所述的方法，其中所述通知包括对任何内容项是否已与具有与任何识别的对象基本上匹配的外观的任何对象相关联的指示。

11.如权利要求8-9中任一项所述的方法，其中与所述第一用户相关联的所述一个或多个图像中的至少一个被包括在与所述第一用户相关联的一个或多个视频中。

12.如权利要求8-9中任一项所述的方法，其中所述识别与所述第一用户相关联的所述一个或多个图像中的一个或多个对象包括：

识别与所述第一用户相关联的一个或多个图像中的仅一个或多个无生命对象。

13.一种对象识别方法，所述方法包括：

识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；

将所述识别的一个或多个对象添加至与所述第一用户相关联的真实世界对象列表；

基于对象辨别而为所述真实世界对象列表中的每个对象指派对象类别；

从所述第一用户接收用于添加到所述真实世界对象列表中的真实世界对象的内容项，所述内容项和与所述第一用户相关联的所述一个或多个真实世界场景图像不同；

将所述接收到的内容项添加到所述真实世界对象列表中的所述真实世界对象中；

将所述真实世界对象的所述内容项和对象类别存储在服务器上，以使得所述内容项可由观看所述真实世界对象的所述对象类别中的对象的第二用户检索；以及

从所述第一用户接收设定，其中所述设定还限制允许检索所述内容项的人。

14.如权利要求13所述的方法，其中：

所述设定包括所述真实世界对象是会只与所述真实世界对象的图像匹配还是与同所述真实世界对象共享一个或多个共同属性的任何对象的图像匹配；并且

为所述真实世界对象指派对象类别是至少部分基于所述设定。

15.如权利要求13或14所述的方法，其中所述内容项包括文本注释、图像、音频片段或视频片段中的一项或多项。

16.如权利要求13或14所述的方法，其中所述一个或多个真实世界场景图像包括在多个位置处以及在多个时间段内捕获的相册中的图像。

17.如权利要求13或14所述的方法，其中每个对象类别对应于以下一项或多项：独特的对象、一组视觉上类似的对象或共享一个或多个共同属性的一组对象。

18.如权利要求13或14所述的方法，其中对象辨别包括将所述对象的一个或多个图像的特征与多个已知对象的特征进行比较。

19.一种对象识别设备，所述设备包括：

基于处理器的装置；以及

非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使所述基于处理器的装置执行多个步骤，所述步骤包括：

识别与第一用户相关联的一个或多个真实世界场景图像中的一个或多个对象；

将所述识别的一个或多个对象添加至与所述第一用户相关联的真实世界对象列表；

基于对象辨别而为所述真实世界对象列表中的每个对象指派对象类别；

从所述第一用户接收用于添加到所述真实世界对象列表中的真实世界对象的内容项，所述内容项与和与所述第一用户相关联的所述一个或多个真实世界场景图像不同；

将所述接收到的内容项添加到所述真实世界对象列表中的所述真实世界对象中；

将所述真实世界对象的所述内容项和对象类别存储在服务器上，以使得所述内容项可由观看所述真实世界对象的所述对象类别中的对象的第二用户检索；以及

从所述第一用户接收设定，其中所述设定还限制允许检索所述内容项的人。

Images