CN103870485A - 实现增强现实应用的方法及设备 - Google Patents

实现增强现实应用的方法及设备 Download PDF

Info

Publication number
CN103870485A
CN103870485A CN201210539054.6A CN201210539054A CN103870485A CN 103870485 A CN103870485 A CN 103870485A CN 201210539054 A CN201210539054 A CN 201210539054A CN 103870485 A CN103870485 A CN 103870485A
Authority
CN
China
Prior art keywords
augmented reality
picture
pictures
pattern
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210539054.6A
Other languages
English (en)
Other versions
CN103870485B (zh
Inventor
李国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Kaihong Zhigu Digital Industry Development Co ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201210539054.6A priority Critical patent/CN103870485B/zh
Priority to EP13861576.0A priority patent/EP2851811B1/en
Priority to PCT/CN2013/085080 priority patent/WO2014090034A1/zh
Publication of CN103870485A publication Critical patent/CN103870485A/zh
Priority to US14/575,549 priority patent/US20150103097A1/en
Application granted granted Critical
Publication of CN103870485B publication Critical patent/CN103870485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种实现增强现实应用的方法，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。本发明还公开了一种实现增强现实应用的设备。本发明实施例能够解决增强现实应用中对无标记物环境中随机对象的识别问题。

Description

实现增强现实应用的方法及设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种实现增强现实应用的方法及设备。
背景技术
增强现实(Augmented Reality，简称AR)的概念产生于20世纪90年代。1994年，保罗·米尔格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)提出现实-虚拟连续统一体(Milgram′s Reality-Virtuality Continuum)，他们将真实环境和虚拟环境分别作为连续系统的两端，位于它们中间的被称为“混合现实(Mixed Reality)”。其中靠近真实环境的是增强现实(Augmented Reality)，靠近虚拟环境的则是增强虚境(Augmented Virtuality)。
增强现实AR是一种用于帮助人们以更直观、更形象的方式获取关于现实世界中物体的相关信息的技术。增强现实应用(简称AR应用)的处理流程可以简单描述为感知、识别、匹配和渲染四个步骤，具体如下：
感知，是指用户使用终端设备提供的摄像头和各种传感器感知身边真实世界中的各种对象，采集图片或图像、位置、方向、速度、温度、光照强度等等各种参数，供AR软件使用。
识别，是指AR软件处理传感器所收集的数据，例如，对摄像头捕捉到的图片进行分析和处理，尝试识别出照片中的对象。AR软件将从图片中提取到的对象特征模式，与本地或者在线的模式库中保存的模式进行匹配，如果匹配到则识别成功，否则识别失败。
匹配，是指识别成功后，AR软件准备好与某个模式相关的多媒体内容，如图文信息、音视频、3D模型等等。这些媒体信息可以保存在终端本地，也可以在线获得。
渲染，是指AR软件将多媒体内容同摄像头捕获的真实世界影像合并起来，渲染在用户的终端显示设备上。
目前，针对标志性建筑物、书籍、著名画作、条码、商标和文本等特殊类型的图片，AR应用具有很好的识别效果。然而，对于不属于上述特殊类型的图片，AR应用的识别成功率不高，其可识别对象的种类有限，应用场景是受限制的。
发明内容
本发明实施例的多个方面提供了一种实现增强现实应用的方法及设备，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
第一方面，本发明实施例提供了一种实现增强现实应用的方法，包括：
收集用户上传的图片和所述图片的标签信息；
根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；
从所述评论信息中提取出现频率大于第一门限值的关键词；
根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；
根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
结合第一方面，在第一种实现方式下，所述标签信息包括所述图片所描述对象的地理位置信息；
则所述根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集，包括：
根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；
根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
结合第一方面或第一方面的第一种实现方式，在第二种实现方式下，所述根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容，包括：
从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；
结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；
根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；
建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
结合第一方面的第二种实现方式，在第三种实现方式下，在生成图片所描述对象的增强现实模式和增强现实内容之后，还包括：
接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；
根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；
若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；
若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
结合第一方面的第三种实现方式，在第四种实现方式下，在所述收集用户上传的图片和所述图片的标签信息的步骤中，所收集的图片是用户上传的被标记为不可识别的图片。
第二方面，本发明实施例提供了一种实现增强现实应用的设备，包括：
图片收集单元，用于收集用户上传的图片和所述图片的标签信息；
评论获取单元，用于根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；
关键词获取单元，用于从所述评论信息中提取出现频率大于第一门限值的关键词；
图片归类单元，用于根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；和，
增强现实处理单元，用于根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
结合第二方面，在第一种实现方式下，所述标签信息包括所述图片所描述对象的地理位置信息；所述图片归类单元包括：
第一归类子单元，用于根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；和，
第二归类子单元，用于根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
结合第二方面或第二方面的第一种实现方式，在第二种实现方式下，所述增强现实处理单元包括：
图像优选子单元，用于从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；
增强现实模式生成子单元，用于结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；
增强现实内容获取子单元，用于根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；和，
增强现实内容存储子单元，用于建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
结合第二方面的第二种实现方式，在第三种实现方式下，所述设备还包括：
请求接收单元，用于接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；
增强现实模式匹配单元，用于根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；
增强现实内容提供单元，用于若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；和，
图片标记单元，用于若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
结合第二方面的第三种实现方式，在第四种实现方式下，所述图片收集单元所收集的图片是用户上传的被标记为不可识别的图片。
本发明实施例提供的实现增强现实应用的方法及设备，收集用户上传的图片及标签信息，以及所述用户的社交网络联系人对所述图片的评论信息；从所述评论信息中提取用于识别图片的关键词；根据所述图片的标签信息和关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和关键词，实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生成。利用所生成的增强现实模式与增强现实内容，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
附图说明
图1是本发明实施例提供的一种实现增强现实应用的方法的流程示意图；
图2是图1所示的实现增强现实应用的方法中的步骤S105的流程示意图；
图3是本发明实施例提供的另一种实现增强现实应用的方法的流程示意图；
图4是本发明实施例提供的一种实现增强现实应用的设备的结构示意图；
图5是本发明实施例提供的一种实现增强现实应用的设备的图片归类单元的结构示意图；
图6是本发明实施例提供的一种实现增强现实应用的设备的增强现实处理单元的结构示意图；
图7是本发明实施例提供的另一种实现增强现实应用的设备的结构示意图；
图8是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的实现增强现实应用的方法及设备，所要解决的技术问题是：在一个普通的、没有经过处理的、没有标记物的环境里，提取任意的对象，作为AR识别的模式并生成相关的AR内容，解决增强现实应用中对无标记物环境中随机对象的识别问题。
参见图1，是本发明实施例提供的一种实现增强现实应用的方法的流程示意图。
本发明实施例提供一种实现增强现实应用的方法，包括步骤S101～S105，具体如下：
S101，收集用户上传的图片和所述图片的标签信息。
具体的，所述图片的标签信息可以是文本格式的任意内容，可以是所述图片所描述对象的地理位置信息、所述图片的辅助描述信息、拍摄时间等内容。例如，在天安门广场拍摄一张照片，则“天安门广场”为图片所描述对象，“天安门广场”的地理位置为图片所描述对象的地理位置信息，用户给照片添加的关于“天安门广场”的景物、建筑、历史等信息为图片的辅助描述信息。
具体实施时，采用具有地理位置显示功能的相机拍摄照片，可自动为拍摄的JPEG格式的图片添加扩展信息，该扩展信息以EXIF格式保存，其内容包括地理位置(经纬度、海拔)和拍摄时间。
S102，根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息。
随着Facebook等网站的爆炸式发展，社交网络受到越来越多的关注，由此衍生了社交图谱和兴趣图谱的概念。其中，社交图谱揭示了人与人之间的关系；兴趣图谱揭示了用户的爱好与兴趣，以及由此衍生出的人与人之间的关系。
本发明实施例根据用户在互联网上的社交图谱和兴趣图谱，向用户的社交网络联系人发布图片，可以推断该图片是所述社交网络联系人感兴趣的内容。从所述社交网络联系人中获得的图片评论信息，更能精准地反应出图片所描述对象的特征，利用从所述图片评论信息中提取的关键词来构建增强现实模式和增强现实内容，能够提高增强现实应用中对无标记物环境中随机对象的识别成功率，提升用户体验。
S103，从所述评论信息中提取出现频率大于第一门限值的关键词。
其中，所述关键词可以是所述图片所描述对象的景物特征、人文、历史渊源等信息。从所述评论信息中提取的关键词可以是一个或者多个。
S104，根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集。
在一个实施方式中，所述标签信息包括所述图片所描述对象的地理位置信息。则上述步骤S104包括：根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
具体实施时，可以先根据图片所描述对象的地理位置信息建立图片库，将具有相同地理位置信息的图片添加到同一图片库中。当图片库中的图片数量达到设定的边界条件后，再根据不同的关键词，在图片库中创建至少一个图片集，将具有相同关键词的图片添加到同一图片集中，从而实现对图片库中的图片作进一步分类。例如，某个图片库保存有与地理位置“天安门广场”相关的图片，此“天安门广场”图片库进一步划分为“人民英雄纪念碑”图片集、“毛主席纪念堂”图片集和“正阳门”图片集，形成“地理位置图片库-关键词图片集”这样的二级图片存储结构。其中，“人民英雄纪念碑”图片集用于存放具有“人民英雄纪念碑”这一关键词的图片，“毛主席纪念堂”图片集用于存放具有“毛主席纪念堂”这一关键词的图片，“正阳门”图片集用于存放具有“正阳门”这一关键词的图片。同一图片集内的每张图片所描述的对象相同。
上述的“具有相同地理位置信息的图片”并非要求地理位置严格一致，这里的地理位置相同是一个范围，比如，分析照片的地理位置信息，发现一些照片都是在以人民英雄纪念碑为圆心、半径为500米的圆这个范围内拍摄的，那么就把这些照片归为一类。
S105，根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式(简称AR模式)和增强现实内容(简称AR内容)。
物理空间中的每一个对象都具有多个特征，例如长、宽、高、颜色、纹理、地理位置等；AR模式是指数字化格式保存的一组用于在AR应用中标识一个物理空间中的对象的特征，这些特征可以是颜色、纹理、形状、位置等。
AR应用把数字化的多媒体信息(图片、文字、3D对象等)与物理空间中的真实对象合并，在用户终端设备上显示为一个融合的AR体验。这里的所有可以用于叠加到物理空间真实对象之上的多媒体信息都是AR内容。
具体实施时，可以在图片集内的所有图片的数量达到设定的边界条件后，或者在图片集内的所有图片具有的关键词数量达到设定的边界条件后，再执行步骤S105。其中，所述边界条件可以是：图片集内的所述图片的数量大于设定的图片数量门限值，或者图片集内的所述图片具有的关键词的数量大于设定的关键词数量门限值。
参见图2，步骤S105具体包括步骤S201～S204，如下：
S201，从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征。
其中，所述第一百分比可以根据实际应用来设定，例如设为80％。
具体实施时，从所述图片集内的每张图片中提取图像特征，假设一共提取出n个图像特征，包括图像特征X1、X2、X3、...、Xn。例如，一张拍摄有天安门广场的图片，从图片中提取的“毛主席像”、“天安门城楼”的图像信息均为图像特征。
分别使用图像特征X1、X2、X3、...、Xn去识别所述图片集内的图片，获得每个图像特征对图片的检出率。例如，图片集内的90％的图片中都具有图像特征X1，则图像特征X1对图片的检出率为90％。
在获得每个图像特征对图片的检出率后，对检出率做归一化处理，其中检出率中的最大值归一化为1，其他检出率做归一化处理后都小于1，每个归一化处理后的检出率为其对应的图像特征的加权值。当有新的图片加入图片集时，按照上述方法重新对图片集内的图片进行识别。每个图像特征的加权值将根据每次的识别结果不断地刷新，在经过多次识别后，将检出率长期大于门限值(例如，0.6)的图像特征标记为共有图像特征，所述共有图像特征与图片所描述对象(即AR目标)相匹配。而检出率长期小于或等于所述门限值的图像特征则被剔除。
此外，还可以设定一个相似度评价函数：
Figure BDA00002580067700091
其中，Ki是图像特征Xi的归一化加权值。如果使用图像特征Xi能够判定某张用户上传的图片包含AR目标，则bi＝1，否则bi＝0。加权值会根据每次的识别结果不断刷新，则相似度评价函数是一个动态更新的函数，使用此函数可评价用户上传的某张图片与AR目标的匹配度。显然，如果某个图像特征和AR目标的相关度不大，则此图像特征的归一化加权值对相似度评价函数的影响很小；经过多次迭代后，归一化加权值小于某个门限值的图像特征，可以从AR模式中剔除。
S202，结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中。
S203，根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容。
S204，建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
本发明实施例提供的实现增强现实应用的方法，收集用户上传的图片及标签信息，以及所述用户的社交网络联系人对所述图片的评论信息；从所述评论信息中提取用于识别图片的关键词；根据所述图片的标签信息和关键词，将所述图片添加到图片集；根据所述图片集内所有图片的图像特征和关键词，实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生成。利用所生成的增强现实模式与增强现实内容，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
参见图3，是本发明实施例提供的另一种实现增强现实应用的方法的流程示意图。
本发明实施例提供另一种实现增强现实应用的方法，包括上述步骤S101～S105和S201～S204。此外，在生成增强现实模式与增强现实内容之后，还可以利用所生成的增强现实模式与增强现实内容，对无标记物环境中随机对象进行识别，包括以下步骤：
S301，接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息。
S302，根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式。
S303，若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户。
S304，若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
在又一个实施方式中，在步骤S304的将所述待识别的图片标记为不可识别的图片之后，还可以执行上述实施例中的步骤S101～S105和S201～S204的方法，以生成“被标记为不可识别的图片”所描述对象的增强现实模式与增强现实内容。即在步骤S101中，所收集的图片是用户上传的被标记为不可识别的图片。在生成所述“被标记为不可识别的图片”所描述对象的增强现实模式与增强现实内容之后，当用户再次上传所述“被标记为不可识别的图片”时，就可以识别出所述“被标记为不可识别的图片”，从而解决增强现实应用中对无标记物环境中随机对象的识别问题。
本发明实施例提供的实现增强现实应用的方法，在用户使用增强现实应用服务时，还具备学习能力，能够利用识别失败的图片，自动生成该图片所描述对象的增强现实模式与增强现实内容。这种方法使用的时间越长，使用的用户越多，所生成的新的增强现实模式与增强现实内容就越丰富，设备的可用性越高，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
本发明还提供一种实现增强现实应用的设备，能够实现上述的实现增强现实应用的方法的所有流程，下面结合图4～图7进行详细说明。
参见图4，是本发明实施例提供的一种实现增强现实应用的设备的结构示意图。
本发明实施例提供的一种实现增强现实应用的设备，包括图片收集单元41、评论获取单元42、关键词获取单元43、图片归类单元44和增强现实处理单元45；具体如下：
图片收集单元41，用于收集用户上传的图片和所述图片的标签信息。
评论获取单元42，用于根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息。
关键词获取单元43，用于从所述评论信息中提取出现频率大于第一门限值的关键词。
图片归类单元44，用于根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集。
增强现实处理单元45，用于根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
参见图5，是本发明实施例提供的一种实现增强现实应用的设备的图片归类单元的结构示意图。
所述标签信息包括所述图片所描述对象的地理位置信息；则所述图片归类单元44包括第一归类子单元51和第二归类子单元52，如下：
第一归类子单元51，用于根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集。
第二归类子单元52，用于根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
参见图6，是本发明实施例提供的一种实现增强现实应用的设备的增强现实处理单元的结构示意图。
本发明实施例提供一种增强现实处理单元45，包括图像优选子单元61、增强现实模式生成子单元62、增强现实内容获取子单元63和增强现实内容存储子单元64；具体如下：
图像优选子单元61，用于从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征。
增强现实模式生成子单元62，用于结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中。
增强现实内容获取子单元63，用于根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容。
增强现实内容存储子单元64，用于建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
参见图7，本发明实施例提供的另一种实现增强现实应用的设备的结构示意图。
本发明实施例提供另一种实现增强现实应用的设备，除了包括上述实施例中的图片收集单元41、评论获取单元42、关键词获取单元43、图片归类单元44和增强现实处理单元45，还包括请求接收单元71、增强现实模式匹配单元72、增强现实内容提供单元73和图片标记单元74，具体如下：
请求接收单元71，用于接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息。
增强现实模式匹配单元72，用于根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式。
增强现实内容提供单元73，用于若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户。
图片标记单元74，用于若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
在又一个实施方式中，所述图片收集单元41所收集的图片是用户上传的被标记为不可识别的图片。
本发明实施例提供的实现增强现实应用的设备，收集用户上传的图片及标签信息，以及所述用户的社交网络联系人对所述图片的评论信息；从所述评论信息中提取用于识别图片的关键词；根据所述图片的标签信息和关键词，将所述图片添加到图片集；根据所述图片集内所有图片的图像特征和关键词，实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生成。利用所生成的增强现实模式与增强现实内容，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
下面结合步骤S801～S814，仅以用户上传的图片为照片为例，对本发明提供的实现增强现实应用的方法及设备的处理流程进行详细说明。
S801，用户使用智能手机拍摄一张照片，照片中所描述的对象是用户感兴趣的一个对象(AR目标)，同时用户为所述照片添加地理位置信息(GeoTagging)和其他用户自定义的标签信息；然后，将所述照片和地理位置信息标签提交给实现增强现实应用的设备(以下简称AR设备)。其中，所述AR设备能够实施本发明实施例中的实现增强现实应用的方法。
S802，AR设备对所述照片进行图像处理，提取出了所述照片中对象的AR模式，如果能够在可识别模式库中匹配到了所述照片中对象的AR模式，则根据所述AR模式，从AR内容库中搜索相关联的AR内容。
S803，AR内容库将搜索到的AR内容返回给智能手机，之后智能手机上的本地应用把AR内容与摄像头捕捉到的真实场景合并成一个AR体验，呈现给用户。
当AR设备无法识别照片中的对象的AR模式时，执行本发明提供的实现增强现实应用的方法的处理流程，产生AR模式和AR内容，为以后的用户再次试图识别上述对象时提供服务。如下步骤S804～S815：
S804，AR设备对所述照片进行图像处理，提取出了照片中对象的AR模式，但是无法在可识别模式库中搜索到上述的AR模式，或者AR识别模块无法从照片中提取一个有效的AR模式，则把该照片标记为不可识别图片，并将该照片发送到不可识别图片库。
假如，多个用户在同一地点拍摄并上传了大量照片，AR设备则依据GeoTagging建立图片库，将具有相同地理位置信息的照片存放到同一图片库中。
S805，从不可识别图片库中获取不可识别的照片及其标签信息。
S806，根据用户在互联网上的社交图谱，将所述照片发布给用户在社交网站上的好友，或者根据用户添加的标签和用户的兴趣图谱，把照片发送给用户的相关社交网络联系人。
S807，在社交网站SNS发布照片之后，期望用户的好友会针对上述照片添加评论、展开讨论，SNS将这些评论信息返回给AR设备。
S808，AR设备对收到的评论信息进行综合分析，提取热门关键词或者使用频率较高的关键词，以此作为描述上述照片的信息。
S809，AR设备在收集到足够多的关键词之后，对依据地理位置信息建立的图片库再作进一步的分割。例如，某个图片库保存的是与地理位置“天安门广场”相关的照片，AR设备收集到的关键词包括“人民英雄纪念碑”、“毛主席纪念堂”和“正阳门”，则此“天安门广场”图片库可以进一步的划分为三个图片集，分别存储包含上述三个关键词的照片，这样，图片存放库将逐渐被划分为“不可识别图片库-地理位置图片库-关键词图片集”这样的三级存储结构。
S810，在图片集内的图片数量达到设定的边界条件后，启动图像处理算法，从所述图片集内的照片中提取共有图像特征。对于无法提取图像特征的照片可作为样本，训练识别算法，提高识别精度。
S811，结合所述共有图像特征和所述关键词，生成所述图片所描述对象的AR模式，并保存到可识别模式库。因此，可识别模式库将逐渐丰富，本次不可识别的对象，在识别失败若干次，可识别模式库积累足够多的数据之后将变成一个可识别的对象。
S812，将所述关键词发送给搜索引擎，由搜索引擎收集AR内容。
S813，将搜索引擎收集到的AR内容保存到AR内容库。此外，还可以把AR模式提供给第三方内容提供商，由第三方内容提供商为该AR模式提供AR内容，这部分的AR内容同样也被存储到AR内容库中。
S814，AR内容库返回一组内容给智能手机，智能手机上的AR设备合并虚拟信息和真实场景，呈现一个AR体验给用户。
综上所述，步骤S804～S814利用用户上传的不可识别的照片生成了新的AR模式和AR内容。这种方法使用的时间越长，使用的用户越多，生成的新AR模式和AR内容就越丰富，AR设备的对图片的识别性能越高。
下面结合三个应用场景，对本发明提供的实现增强现实应用的方法及设备的有益效果进行详细说明。
应用场景一：
每天有大量游客前往天安门广场，天安门广场附近大型目标包括天安门城楼、金水桥、观礼台、国旗杆、人民大会堂、正阳门、人民英雄纪念碑、毛主席纪念堂和国家博物馆等等，此外，还有一些其他的用户可能关注的目标，例如，毛主席纪念堂门前的雕塑、人民英雄纪念碑上的浮雕、人民大会堂的廊柱、地铁一号线的入口以及每逢五一、国庆日会摆放在广场上的临时性景观等。下面结合这个场景，对本发明提供的实现增强现实应用的方法及设备的有益效果进行描述。
来自杭州的小A国庆日到北京旅游，来到了天安门广场，广场周围的宏伟建筑引发了小A的浓厚兴趣，其中小A最感兴趣的是正阳门城楼上的牌匾，小A很喜欢书法，想知道正阳门城楼上的牌匾是谁书写的。
为了解除疑问，小A拍摄了正阳门城楼牌匾的照片，启动AR设备尝试识别，不幸的是AR设备没有成功的识别这个牌匾，只是提示小A可以添加一些描述信息和地理位置信息，并提示小A过一段时间再使用AR设备进行识别。
AR设备把牌匾照片发送到了小A在人人网上的好友，并留了一个问题给好友们：你们知道这个牌匾是谁题写的吗？AR设备依据人人网提供的API(Application Programming Interface，应用程序编程接口)把照片发送给了那些在小A的爱好中添加了书法项目的好友。
小A的好友们收到照片后，纷纷对这张照片发表了评论，AR设备使用人人网的API获得了所有评论信息，并经过分析得到了关键词“牌匾”。
同时，大量的游客聚集在天安门广场游览，不少和小A有着类似兴趣点的游客，使用相同的AR设备尝试识别正阳门城楼牌匾，短时间内，AR设备接收到了大量关于正阳门城楼(地理位置)的照片，并且从这些用户的好友对照片的评论中分析出了关键词“牌匾”，因此AR设备将所有带有牌匾标签(来源于用户定义标签或者好友评论)的照片划分为一个子集，并进行了图像处理，提取了这类照片的特征，记录了地理位置信息和关键词“牌匾”，并把这个特征(也就是AR模式)保存到了可识别模式库。
AR设备向搜索引擎提供了地理位置信息和“牌匾”关键词，搜索引擎检索到了一系列的相关内容，例如，牌匾相关的图片，牌匾的颜色和材质，牌匾何时挂到城楼上，牌匾为何人书写等等。同时，AR设备把照片、地理位置信息和关键词“牌匾”提供给了自己的一个第三方内容提供商，此内容提供商拥有老北京商户牌匾和城门楼牌匾的详细信息，记录了牌匾书写人及其生平。检索到的这些内容后，返回给AR内容库，并与上一步提取的AR模式关联起来。
第二天，小A带自己在北京的朋友小D一起来到正阳门城楼下，再次使用AR设备尝试识别牌匾，惊喜的发现可以成功的识别这块牌匾，并且获得了牌匾书写人的信息及其生平。小A高兴地和朋友一起交流关于这块牌匾的故事。
应用场景二：
国家博物馆经常举行文物和艺术品展览，最近国家博物馆将推出《佛造像艺术展》，该展览计划持续3个月，前两周为预展，邀请部分专家和一定数目的观众参观；两周后开放普通观众参观。同时，国家博物馆使用了本发明提供的实现增强现实应用的方法及设备，AR后台与国家博物馆的数据库和一个内部搜索引擎相连，进入国家博物馆时观众可以使用无线连接下载和安装这个AR设备，并提示用户可以通过使用该AR设备为改进展览提供帮助，为普通观众提供更多的内容。
第一批受邀请观众大多配合主办方安装了AR设备，他们是佛造像领域的专家，参观展览时深感介绍文字太简单，提供的相关信息不够丰富。于是纷纷拿出手机使用AR设备对各种造型的佛造像进行拍照和评论。
专家的照片和评论很快上传到了AR后台，AR设备依据专家评论(例如，专家添加的标签，专家针对佛造像的提问等)，对照片进行了分类，将收集到的照片精确的划分成了一个个的子集，并提取了AR模式，保存到了模式库。同时，AR设备将这些专家的照片发送给了该专家的不能亲自前来参观展览的朋友们，这些专家的朋友们针对照片发表了大量的评论和提问。AR设备收集了这些评论和提问，提取了关键词。
AR设备分析了专家的评论和提出的问题，获得了一些关键词和关键问题，之后在国家博物馆数据库中检索到了大量的相关内容，作为AR内容和上一步生成的AR模式关联了起来。
2周之后，AR设备积累了足够多的AR模式和与之相关联的AR内容，开放普通用户参观之后，普通用户使用AR设备可以很轻易的识别出摄像头中的佛造像并获得详细的朝代、来源地、造像名字等信息。
应用场景三：
A和B两人通过社交图片分享网站Instagram建立了好友关系，二人有着共同的喜欢宠物猫的兴趣爱好，A和B对自己家附近的流浪猫也很关心，经常拍摄照片进行分享，二人都是本发明公开的AR设备的用户。
A尝试使用自己终端上的AR设备识别自己家附近的一只流浪猫，但由于AR设备后台模式库中没有这只猫的“模式”(pattern)，识别失败。A给这张照片添加了一个标签“猫叔”，然后提交给了AR设备。
AR设备调用SNS网站提供的API，把这张无法识别的照片发送给SNS好友B，B对此照片添加了评论“猫叔是新华社资深员工”，那么AR设备可以从B的评论中提取关键词猫叔。假定AR设备不可识别图片库内有大量地理位置不同、标签是“猫叔”的照片，那么这张照片可以加入到地理位置是A家、标签是“猫叔”的照片子集。该子集内还包含了一些其他用户在A家附近拍摄上传的标签为“猫叔”的照片。
AR设备根据地理位置、用户自定义辅助信息和用户关系，找到了在A家这个地理位置附近关于猫的照片，和B家附近拍摄的关于猫的照片。这两个图片的地理位置信息不同，属于不同图片集的照片，但是这两个照片都是包含“猫叔”标签，AR设备认为这两类照片是有内在联系的，因此将这两个图片集整合成一个子集，使照片的分类不受地理位置的限制。
当AR设备获取的具有内在联系(如具有相同标签)的照片达到一定数量后，通过特征提取，获得了标签为“猫叔”的照片的图像特征，如花纹、颜色等特征，并将此图像特征作为模式，注册到AR设备，AR设备获得了一个新的可识别的AR模式。
AR设备的后台连接了第三方内容提供商，例如某宠物医院网站，该网站向AR设备提供了一些为宠物猫定制的服务信息。通过搜索引擎，AR设备收集到了一些很可爱的宠物猫的照片、养猫注意事项等信息。
A或B以后再使用AR设备识别上述的那只猫的照片时，由于AR设备中注册了那只猫的AR模式，因此可以识别这个目标，并向AR设备的用户提供AR内容，如宠物医院提供的服务信息，搜索引擎搜到的信息和A、B对这只猫的评论等等。
本发明实施例提供的实现增强现实应用的方法及设备，收集用户上传的图片及标签信息，以及所述用户的社交网络联系人对所述图片的评论信息；从所述评论信息中提取用于识别图片的关键词；根据所述图片的标签信息和关键词，将所述图片添加到图片集；根据所述图片集内所有图片的图像特征和关键词，实现对无标记物环境中随机对象的增强现实模式与增强现实内容的自动生成。利用所生成的增强现实模式与增强现实内容，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。
参见图8，本发明实施例提供一种终端，包括接收装置81、发送装置82、存储器83和处理器84。
除图8所示的连接方式之外，在本发明的其它一些实施例中，接收装置81、发送装置82、存储器83和处理器84还可以通过总线连接。该总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。所述总线可以是一条或多条物理线路，当是多条物理线路时可以分为地址总线、数据总线、控制总线等。
处理器84可执行如下步骤：通过该接收装置81收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，通过该发送装置82发布所述图片和所述标签信息给所述用户的社交网络联系人，并通过该接收装置81获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
处理器84执行程序的进一步详细技术方案，可以但不限于如图1～图3所示的实施例的详细描述。
存储器83用于存储处理器84需要执行的程序，进一步的，存储器83还可以存储处理器84在计算过程中产生的结果。
在本发明实施例中还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序可执行如图1～图3所示的实施例中的步骤。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-On1yMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种实现增强现实应用的方法，其特征在于，包括：
收集用户上传的图片和所述图片的标签信息；
根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；
从所述评论信息中提取出现频率大于第一门限值的关键词；
根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；
根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
2.如权利要求1所述的实现增强现实应用的方法，其特征在于，所述标签信息包括所述图片所描述对象的地理位置信息；
则所述根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集，包括：
根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；
根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
3.如权利要求1或2所述的实现增强现实应用的方法，其特征在于，所述根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容，包括：
从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；
结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；
根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；
建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
4.如权利要求3所述的实现增强现实应用的方法，其特征在于，在生成图片所描述对象的增强现实模式和增强现实内容之后，还包括：
接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；
根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；
若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；
若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
5.如权利要求4所述的实现增强现实应用的方法，其特征在于，在所述收集用户上传的图片和所述图片的标签信息的步骤中，所收集的图片是用户上传的被标记为不可识别的图片。
6.一种实现增强现实应用的设备，包括：
图片收集单元，用于收集用户上传的图片和所述图片的标签信息；
评论获取单元，用于根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；
关键词获取单元，用于从所述评论信息中提取出现频率大于第一门限值的关键词；
图片归类单元，用于根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；和，
增强现实处理单元，用于根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。
7.如权利要求6所述的实现增强现实应用的设备，其特征在于，所述标签信息包括所述图片所描述对象的地理位置信息；所述图片归类单元包括：
第一归类子单元，用于根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；和，
第二归类子单元，用于根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。
8.如权利要求6或7所述的实现增强现实应用的设备，其特征在于，所述增强现实处理单元包括：
图像优选子单元，用于从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；
增强现实模式生成子单元，用于结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；
增强现实内容获取子单元，用于根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；和，
增强现实内容存储子单元，用于建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。
9.如权利要求8所述的实现增强现实应用的设备，其特征在于，所述设备还包括：
请求接收单元，用于接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；
增强现实模式匹配单元，用于根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；
增强现实内容提供单元，用于若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；和，
图片标记单元，用于若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。
10.如权利要求9所述的实现增强现实应用的设备，其特征在于，所述图片收集单元所收集的图片是用户上传的被标记为不可识别的图片。
CN201210539054.6A 2012-12-13 2012-12-13 实现增强现实应用的方法及设备 Active CN103870485B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210539054.6A CN103870485B (zh) 2012-12-13 2012-12-13 实现增强现实应用的方法及设备
EP13861576.0A EP2851811B1 (en) 2012-12-13 2013-10-12 Method and device for achieving augmented reality application
PCT/CN2013/085080 WO2014090034A1 (zh) 2012-12-13 2013-10-12 实现增强现实应用的方法及设备
US14/575,549 US20150103097A1 (en) 2012-12-13 2014-12-18 Method and Device for Implementing Augmented Reality Application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210539054.6A CN103870485B (zh) 2012-12-13 2012-12-13 实现增强现实应用的方法及设备

Publications (2)

Publication Number Publication Date
CN103870485A true CN103870485A (zh) 2014-06-18
CN103870485B CN103870485B (zh) 2017-04-26

Family

ID=50909028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210539054.6A Active CN103870485B (zh) 2012-12-13 2012-12-13 实现增强现实应用的方法及设备

Country Status (4)

Country Link
US (1) US20150103097A1 (zh)
EP (1) EP2851811B1 (zh)
CN (1) CN103870485B (zh)
WO (1) WO2014090034A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615769A (zh) * 2015-02-15 2015-05-13 小米科技有限责任公司 图片分类方法及装置
CN105989623A (zh) * 2015-02-12 2016-10-05 上海交通大学 基于手持移动设备的增强现实应用的实现方法
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN106896732A (zh) * 2015-12-18 2017-06-27 美的集团股份有限公司 家用电器的展示方法和装置
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN107221346A (zh) * 2017-05-25 2017-09-29 亮风台（上海）信息科技有限公司 一种用于确定ar视频的识别图片的方法与设备
CN107251103A (zh) * 2014-12-23 2017-10-13 M·D·富克斯 增强现实系统及其操作方法
CN107305571A (zh) * 2016-04-22 2017-10-31 中兴通讯股份有限公司 提供导游信息的方法及装置、获取导游信息的方法及装置
CN108108012A (zh) * 2016-11-25 2018-06-01 腾讯科技（深圳）有限公司 信息交互方法和装置
CN109062523A (zh) * 2018-06-14 2018-12-21 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN110046313A (zh) * 2019-02-19 2019-07-23 阿里巴巴集团控股有限公司 信息分享的方法、客户端和服务器
CN110352595A (zh) * 2016-12-30 2019-10-18 脸谱公司 用于提供增强现实叠加的系统和方法
CN110674081A (zh) * 2019-09-23 2020-01-10 地域电脑有限公司 一种学生成长档案的管理方法、计算机装置和计算机可读存储介质
CN110989840A (zh) * 2019-12-03 2020-04-10 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN111090817A (zh) * 2019-12-20 2020-05-01 掌阅科技股份有限公司 书籍扩展信息的展示方法、电子设备及计算机存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280561A1 (en) * 2013-03-15 2014-09-18 Fujifilm North America Corporation System and method of distributed event based digital image collection, organization and sharing
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9697235B2 (en) * 2014-07-16 2017-07-04 Verizon Patent And Licensing Inc. On device image keyword identification and content overlay
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10242047B2 (en) * 2014-11-19 2019-03-26 Facebook, Inc. Systems, methods, and apparatuses for performing search queries
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
KR102217723B1 (ko) 2015-03-18 2021-02-19 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
US20180197223A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based product identification
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN110089076B (zh) * 2017-11-22 2021-04-09 腾讯科技（深圳）有限公司 实现信息互动的方法和装置
US10891526B2 (en) * 2017-12-22 2021-01-12 Google Llc Functional image archiving
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073937A1 (en) * 2005-09-15 2007-03-29 Eugene Feinberg Content-Aware Digital Media Storage Device and Methods of Using the Same
CN101652769A (zh) * 2007-04-09 2010-02-17 微软公司 内容评论和货币化
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
US20120019526A1 (en) * 2010-07-23 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for producing and reproducing augmented reality contents in mobile terminal
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
US20120179751A1 (en) * 2011-01-06 2012-07-12 International Business Machines Corporation Computer system and method for sentiment-based recommendations of discussion topics in social media

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2364590B (en) * 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US20080189336A1 (en) * 2007-02-05 2008-08-07 Namemedia, Inc. Creating and managing digital media content using contacts and relational information
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
US8934661B2 (en) * 2011-12-09 2015-01-13 Facebook, Inc. Automatic photo album creation based on social information
US8867841B2 (en) * 2012-08-08 2014-10-21 Google Inc. Intelligent cropping of images based on multiple interacting variables
US20140078174A1 (en) * 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073937A1 (en) * 2005-09-15 2007-03-29 Eugene Feinberg Content-Aware Digital Media Storage Device and Methods of Using the Same
CN101652769A (zh) * 2007-04-09 2010-02-17 微软公司 内容评论和货币化
US20120019526A1 (en) * 2010-07-23 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for producing and reproducing augmented reality contents in mobile terminal
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
US20120179751A1 (en) * 2011-01-06 2012-07-12 International Business Machines Corporation Computer system and method for sentiment-based recommendations of discussion topics in social media
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111740B (zh) * 2014-09-29 2021-03-23 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
US11182609B2 (en) 2014-09-29 2021-11-23 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
US11113524B2 (en) 2014-09-29 2021-09-07 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US11003906B2 (en) 2014-09-29 2021-05-11 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
CN107251103A (zh) * 2014-12-23 2017-10-13 M·D·富克斯 增强现实系统及其操作方法
CN107251103B (zh) * 2014-12-23 2021-03-12 M·D·富克斯 增强现实系统及其操作方法
CN105989623A (zh) * 2015-02-12 2016-10-05 上海交通大学 基于手持移动设备的增强现实应用的实现方法
CN105989623B (zh) * 2015-02-12 2019-01-11 上海交通大学 基于手持移动设备的增强现实应用的实现方法
CN104615769B (zh) * 2015-02-15 2018-10-19 小米科技有限责任公司 图片分类方法及装置
CN104615769A (zh) * 2015-02-15 2015-05-13 小米科技有限责任公司 图片分类方法及装置
CN106896732B (zh) * 2015-12-18 2020-02-04 美的集团股份有限公司 家用电器的展示方法和装置
CN106896732A (zh) * 2015-12-18 2017-06-27 美的集团股份有限公司 家用电器的展示方法和装置
CN107305571A (zh) * 2016-04-22 2017-10-31 中兴通讯股份有限公司 提供导游信息的方法及装置、获取导游信息的方法及装置
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN108108012A (zh) * 2016-11-25 2018-06-01 腾讯科技（深圳）有限公司 信息交互方法和装置
CN108108012B (zh) * 2016-11-25 2019-12-06 腾讯科技（深圳）有限公司 信息交互方法和装置
CN110352595A (zh) * 2016-12-30 2019-10-18 脸谱公司 用于提供增强现实叠加的系统和方法
CN110352595B (zh) * 2016-12-30 2021-08-17 脸谱公司 用于提供增强现实叠加的系统和方法
US11030440B2 (en) 2016-12-30 2021-06-08 Facebook, Inc. Systems and methods for providing augmented reality overlays
CN107221346A (zh) * 2017-05-25 2017-09-29 亮风台（上海）信息科技有限公司 一种用于确定ar视频的识别图片的方法与设备
CN109062523A (zh) * 2018-06-14 2018-12-21 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN109062523B (zh) * 2018-06-14 2021-09-24 北京三快在线科技有限公司 增强现实数据的展示方法、装置、电子设备及存储介质
CN110046313A (zh) * 2019-02-19 2019-07-23 阿里巴巴集团控股有限公司 信息分享的方法、客户端和服务器
CN110046313B (zh) * 2019-02-19 2023-09-22 创新先进技术有限公司 信息分享的方法、客户端和服务器
CN110674081A (zh) * 2019-09-23 2020-01-10 地域电脑有限公司 一种学生成长档案的管理方法、计算机装置和计算机可读存储介质
CN110989840A (zh) * 2019-12-03 2020-04-10 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN111090817A (zh) * 2019-12-20 2020-05-01 掌阅科技股份有限公司 书籍扩展信息的展示方法、电子设备及计算机存储介质

Also Published As

Publication number Publication date
EP2851811A1 (en) 2015-03-25
WO2014090034A1 (zh) 2014-06-19
EP2851811A4 (en) 2015-07-29
US20150103097A1 (en) 2015-04-16
EP2851811B1 (en) 2019-03-13
CN103870485B (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN103870485A (zh) 实现增强现实应用的方法及设备
US9977951B2 (en) Picture ranking method, and terminal
JP6438135B2 (ja) ソーシャルプラットフォームに基づくデータマイニング方法及び装置
Jain et al. Content without context is meaningless
CN101960795B (zh) 用于递送扩充消息的系统和方法
CN103631819A (zh) 一种图片命名的方法及系统
CN109189959B (zh) 一种构建图像数据库的方法及装置
US11393208B2 (en) Video summarization using selected characteristics
CN104965921A (zh) 信息匹配的方法
US9665773B2 (en) Searching for events by attendants
CN102929969A (zh) 一种基于互联网的移动端三维城市模型实时搜索与合成技术
WO2018072207A1 (zh) 一种信息推送方法、装置和系统
CN103546634A (zh) 一种手持设备主题控制方法及装置
Adams et al. Extraction of social context and application to personal multimedia exploration
CN105518644A (zh) 在地图上实时处理并显示社交数据的方法
CN107479906A (zh) 基于Cordova的跨平台在线教育移动终端
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN107948312B (zh) 一种以位置点作为信息出入口的信息归类发布方法及系统
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
GENTILE Using Flickr geotags to find similar tourism destinations
CN111125511B (zh) 用于智慧园区的信息建设应用系统及相关产品
CN106331776A (zh) 一种用户分类方法及系统
CN111813980A (zh) 图片处理方法、装置、电子设备及存储介质
Katsumi et al. Characterizing Generic POI: A Novel Approach for Discovering Tourist Attractions
CN112347260A (zh) 数据处理方法、装置以及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171030

Address after: Metro Songshan Lake high tech Industrial Development Zone, Guangdong Province, Dongguan City Road 523808 No. 2 South Factory (1) project B2 -5 production workshop

Patentee after: Huawei terminal (Dongguan) Co.,Ltd.

Address before: 518129 Longgang District, Guangdong, Bantian HUAWEI base B District, building 2, building No.

Patentee before: HUAWEI DEVICE Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: HUAWEI DEVICE Co.,Ltd.

Address before: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee before: Huawei terminal (Dongguan) Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20240103

Address after: 410000 South of the third floor of the R&D Building of Hunan Tuowei Information System Co., Ltd., No. 298, Tongzipo West Road, Changsha Hi tech Development Zone, Changsha, Hunan

Patentee after: Hunan Kaihong Zhigu Digital Industry Development Co.,Ltd.

Address before: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee before: HUAWEI DEVICE Co.,Ltd.

TR01 Transfer of patent right