CN103620594A - 对于移动网络中的视觉搜索和增强现实的缓存支持 - Google Patents

对于移动网络中的视觉搜索和增强现实的缓存支持 Download PDF

Info

Publication number
CN103620594A
CN103620594A CN201180071813.4A CN201180071813A CN103620594A CN 103620594 A CN103620594 A CN 103620594A CN 201180071813 A CN201180071813 A CN 201180071813A CN 103620594 A CN103620594 A CN 103620594A
Authority
CN
China
Prior art keywords
metadata
request
intermediate node
augmented reality
visual search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180071813.4A
Other languages
English (en)
Other versions
CN103620594B (zh
Inventor
A.达莫拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103620594A publication Critical patent/CN103620594A/zh
Application granted granted Critical
Publication of CN103620594B publication Critical patent/CN103620594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及用于在通信系统(10)中执行视觉搜索和增强现实的方法,该通信系统(10)包括附连到移动网络(11)的因特网网络(12)。与对象有关的数据存储在移动网络中的至少一个或多个中间节点(2,3,4)中,所述对象在地理上与该至少一个或多个中间节点有关。该方法包括以下另外的步骤:-对于元数据的请求从移动网络(11)中的用户设备(1)经由至少一个或多个中间节点(2,3,4)朝因特网网络(12)传送(22)。该请求包括与对象有关的对象识别数据,该对象在地理上与至少一个或多个中间节点有关;-请求在所述至少一个或多个中间节点(2,3,4)中的中间节点(3)中被去遂穿(103b)和拦截(104)。

Description

对于移动网络中的视觉搜索和增强现实的缓存支持
技术领域
本发明大体上涉及系统和方法,并且更特定地涉及用于在通信系统中实现视觉搜索和增强现实的机制和技术。
背景技术
视觉搜索是通过使用摄像机(例如,移动电话中的)来捕获物理对象的图像并且通过计算机算法来识别它并且将有用信息呈现回给关于该物理对象的用户的概念。
视觉搜索的目的主要是识别物理对象并且由此对用户呈现一些信息。该信息叫作元数据,并且它可以具有各种格式,例如视频文件、音频文件、Web页面、图像动画文件等。
当到算法的输入数据太大而不能处理并且怀疑它非常冗余(很多数据,但不是很多的信息)时,则输入数据将变换成特征的简化表示集(也称作特征向量)。将输入数据变换成特征集叫作特征提取。如果仔细地选择提取的特征,预期特征集将从输入数据提取有关信息以便使用该简化表示代替全尺寸输入来执行期望的任务。
大部分的当前视觉搜索系统采用基于特征的图像匹配方法[参见,例如2008年10月加拿大温哥华关于多媒体信息检索的ACM国际会议G. Takacs等人的“outdoors augmented reality on mobile phone using loxel-based visual feature organization”]。通过使用局部特征集来表示图像或对象,识别可以通过匹配查询图像与候选数据库图像之间的特征而实现。快速大型图像匹配使用词汇树(VT)来实现。从图像的数据库提取特征并且分级的k-均值聚类算法应用于这些特征中的全部来产生VT。查询图像的描述符还通过VT而分类并且生成树节点上的节点访问的柱状图。
候选图像然后根据候选数据库图像柱状图的相似度来存储并且在特征匹配后应用查询图像柱状图几何验证(GV)[参见2008年10月加拿大温哥华关于多媒体的ACM国际会议S. S. Tsai、D. Chen、J Singh和B. Girod的“Rate-efficient, real-timer CD cover recognition on a camera-phone”]来消除错误的特征匹配。在该过程中,查询对象的特征使用最接近的描述符或比率测试而与数据库对象的特征匹配。然后,使用随机采样一致性(RANSAC)算法[参见1981年ACM通信,卷24、1期、381-395页的M. Fiscler和R. Bolles的“Random sample consensus: a paragigm for model fitting with applications to image analysis and automated cryptography”]来估计查询对象中的特征的位置和数据库对象中的特征的位置的几何变换。
提出在移动终端中执行图像捕获和特征操纵,同时在因特网中的服务器上执行VT和GV。
增强现实(AR)是将物理对象的元数据实时呈现为物理对象的图像或视频上的叠加的即将到来的范例。叫作增强现实浏览器(AR浏览器)的特殊应用在例如移动电话的终端中使用并且这些日益普及。AR浏览器执行两个主要功能;最终用户终端显示器上元数据的视觉搜索发起和叠加显示。AR服务器包含视觉搜索和叠加对象服务器的元件。视觉搜索组件对数据集执行图像的匹配并且文件服务器执行将对应的叠加数据发送到AR浏览器用于向最终用户显示的功能。应该注意叠加数据的范围可以从简单文本到包含文本、音频和视频分量的复杂网页。而且,最终用户进一步与显示的叠加数据交互(例如开始/终止视频、滚动文本、放大图像,等),这可以是可能的。叠加数据也叫作物理对象的元数据并且这是将在该文献中使用的术语。商业可以以许多方式来利用AR,例如
-个性化购物:在商店周围散步变得与加入个性化和目标锁定的能力有关。在这里潜在客户的信息可以通过对于打折或个人有关的产品扫描商店、街道或货架而传递。
-位置层面:到新地点、旅游、增强旅行或主题空间的混合引导。
-混合品牌:虚拟招贴广告的等同物。
在所有情况下存在一实体,其使用增强现实AR来向最终用户传递服务或增强体验。最终用户与该实体的物理对象交互。该实体在该文献中将叫作服务提供商(SP)。
图1属于现有技术并且公开了一系统,其包括附连到移动网络11的因特网网络12。无线电基站RBS 2的小区区域内的移动电话1能够经由中间节点2、3和4而与因特网网络中的服务器5通信。现有技术示例中的中间节点是RBS 2、无线电网络控制器RNC 3和网关GPRS支持节点GGSN 4。服务器5包括特征图像的第一缓存(即,存储装置)5a、元数据的第二缓存5b和处理器单元5c。无线电基站2附连到服务提供商SP。服务提供商在该示例中是图书馆;服务提供商包括不同的对象,其的图片可以被摄像机捕获,例如书的图片。在该现有技术示例中,物理项目的图像由移动电话的摄像机捕获。图像然后利用对与图像有关的元数据的请求而转发到服务器5。在服务器中由处理器执行图像与缓存的特征之间的成功匹配后,找到元数据并且将它从服务器5发送到移动电话1并且在电话上呈现例如作为增强信息。
对于增强现实的视觉搜索将在运营商网络中的内容流方向上引起偏移。现今,内容通常经由接入网络从因特网流到终端(如在下载情景中)。利用视觉搜索,内容流将反向;经由运营商的网络从终端到因特网。
新的业务流由此在存在的那个的顶部上引入;图像的上载和匹配数据的返回(重要的是要注意这些流可以是延迟敏感的)。因此新的业务流对网络增加了额外负担。鉴于此,运营商将希望
(a)以减少网络利用为目的地控制业务流
(b)使该新的业务流货币化
利用当前移动网络架构,对于增强现实应用,运营商没有执行(a)或(b)的手段并且本发明旨在提出对于该问题的解决方案。
存在的视觉搜索解决方案的另一个主要问题是它们通常在因特网中执行视觉搜索算法。如果在因特网中存在传送问题,视觉搜索算法需要将特征的图像发送到因特网,答复将延迟并且这将不利地影响使用视觉搜索系统的服务质量QoE并且用户将被迫很长时间地等待结果并且最终可能放弃服务。
发明内容
本发明的目的是克服上文识别的现有技术的限制。本发明聚焦于在运营商的网络内部执行视觉搜索程序上。
本发明的基本概念是允许运营商通过在运营商网络中使用缓存来控制视觉搜索和增强现实业务的流的系统。业务汇聚点(也叫作中间节点)中的缓存由此填充有在地理上与业务汇聚点有关的物理对象的元数据。该解决方案进一步利用在无线电接入网络RAN的无线电小区布局内部的物理对象与RAN的业务汇聚点(其具有缓存)之间的接近关系。缓存包含用于做出与来自用户的请求的匹配的对象识别数据,和如果匹配成功则返回给请求用户的元数据。
该解决方案在一个例示实施例中是用于在包括附连到移动网络的因特网网络的通信网络中执行视觉搜索和增强现实的方法。移动网络中的至少一个或多个中间节点(也叫作移动网络运营商节点)填充(即,存储)有数据,其对应于在地理上与该至少一个或多个中间节点有关的对象。对于元数据的请求经由至少一个或多个中间节点从移动网络中的用户设备朝因特网网络传送。请求包括与物理对象(其与至少一个或多个中间节点有关)有关的对象识别数据。请求被至少一个或多个中间节点的中间节点拦截。
该解决方案在另一个例示实施例中是通信系统中的移动网络运营商节点。该节点配置成执行视觉搜索和增强现实。该节点包括接收数据用于用对应于在地理上与节点有关的对象的数据来填充(即,存储)节点的部件以及用于去遂穿并且拦截对于与物理对象(其在地理上与节点有关)有关的元数据的接收请求的部件。
该解决方案在再另一个例示实施例中是能加载到通信系统的处理器的计算机程序,其中该计算机程序包括代码,其适于执行用于执行视觉搜索和增强现实的方法。
本发明的目标是以减少网络利用并且改进使用AR应用的QoE为目的来控制业务流。
本发明的一些优势如下:
-业务减少:运营商能够使中间节点与核心之间的链路上以及直联(peering)上的业务减少。这是因为所有数据现在将在终端与中间节点之间发送。
-托管:运营商能够从希望向他们的客户提供视觉搜索和增强现实服务的提供商产生新的收益。响应性和因此对于系统提供的最终用户的体验质量是胜过基于因特网的解决方案的主要优势。
现在将借助于优选实施例连同附图更详细地描述本发明。
附图说明
图1是现有技术的部分并且公开因特网网络中的服务器托管元数据和在请求元数据的移动网络中的用户设备的框示意图示。
图2公开附连到移动网络的因特网网络和请求元数据的用户设备的框示意图示。请求经由包括缓存的中间节点发送。
图3公开图示本发明的步骤的流程图。
图4公开定位在用户设备与网关GPRS支持节点之间的路径上的无线电网络控制器的框示意图示。
图5公开控制着小区区域的无线电网络控制器的框示意图示。数据在无线电网络控制器中被缓存。
图6公开用于拦截对于元数据的请求并且传递请求的元数据的方法的信号序列图。
图7a公开3G移动网络的图示。
图7b公开4G移动网络的图示。
具体实施方式
在下列描述中,为了解释而非限制的目的,阐述例如特定电路、电路组件、技术等具体细节以便提供对本发明的全面理解。然而,本发明可在脱离这些具体细节的其他实施例中实践,这对于本领域内技术人员将是明显的。在其他情形中,省略众所周知的方法、装置和电路的详细描述以便不用不必要的细节使本发明的描述晦涩。
图2公开包括附连到移动网络11的因特网网络12的系统。网关GPRS支持节点GGSN 4向希望与移动网络中的移动订户通信的因特网网络中的外部主机提供网络访问。除GGSN外,在图中示出其他节点,像无线电网络控制器RNC和无线电基站。节点(所谓的中间节点,即在该示例中是GGSN、RNS和RBS)充当对于来自下铺设节点的业务的汇聚器,例如RNC使来自一组RBS节点的业务汇聚,GGSN使来自一组RNC节点的业务汇聚,等。图2中的GGSN 4附连到移动网络中的无线电网络控制器RNC 3、7、8。无线电网络控制器3附连到无线电基站RBS 2、6。用户设备1定位在无线电基站RBS 2的小区区域内。中间节点配备有缓存(即,存储单元)和处理器单元。RBS 2包括:第一缓存2a,其根据本发明填充有例如定位在RBS 2所覆盖的小区区域内的物理对象的特征的图像的数据(也叫作对象识别数据);第二缓存2b,其根据本发明填充有例如与定位在RBS 2所覆盖的小区区域内的物理对象有关的元数据的数据,该RBS 2的特征的图像被缓存在2a中;和处理器单元2c。为了使本发明的一般原理更清楚的目的,RBS 2在该示例中称为中间节点,其包括缓存。然而,要注意在例如3G(高速分组接入HSPA)系统中,缓存要定位在RNC和GGSN中,而在4G(长期演进LTE)系统中,缓存要定位在eNodeB(即,基站)和GGSN中。无线电网络控制器3在该示例中采用相同的方式包括定位在由RNC 3经由RBS而处理的所有小区区域内的物理对象的特征的图像的第一缓存3a、与定位在属于RBS(其由RNC 3处理并且缓存在3a中)的小区区域内的物理对象有关的元数据的第二缓存3b和处理器单元3c。而且,GGSN 4采用相同的方式包括定位在由GGSN 4经由RBS而处理的所有小区区域内的物理对象的特征的图像的第一缓存4a、与定位在属于RBS(其由GGSN 4处理并且缓存在4a中)的小区区域内的物理对象有关的元数据的第二缓存4b和处理器单元4c。
作为已经被缓存在第一缓存中的对象识别数据的示例可以是斯德哥尔摩的Ericsson Globe比赛场的图像,而已经缓存在对应的第二缓存中的附属元数据可以是可能在接下来的两周期间在该比赛场看到的事件。应该注意缓存的数据不必定存储在两个不同的存储节点2a-2b;3a-3b;4a-4b中,相反可以使用单个实体。缓存的填充可以例如通过将选择的数据传送到下铺设中间节点(例如来自在图1中看到的服务器5的3、7、8、2、6)中的缓存的每一个而执行。备选地,填充可以通过用根据运营商政策的内容经由接口来“手动”充填每个缓存而执行。填充根据数据的相关性来进行,即在GGSN级处,跨所有小区(例如,“国家”)的现实世界对象的对象识别数据和元数据被缓存,在RNC级处,跨若干小区(例如,“城市”)的现实世界对象的对象识别数据和元数据被缓存并且在RBS级处,RBS小区(例如,“几个街道”)中的现实世界对象的对象识别数据和元数据被缓存。填充稍后将在该申请的描述部分中连同图5进一步论述。
现在将首先采用广泛的方式借助于在图3中公开的流程图并且接着稍后在该申请的描述部分中借助于在图6中公开的信号序列图更详细地论述本发明的方法。
图3公开流程图,其给出根据本发明的方法的概观。该流程图要连同之前示出的图2一起阅读。该流程图包括以下步骤:
-移动网络11中的缓存2a-b、3a-b、4a-b分别填充有与每个中间节点处理的小区区域内的物理对象有关的对象识别数据,并且进一步填充有对应于与这些物理对象有关的缓存的对象识别数据的元数据。框101在图3中公开该步骤。
-物理对象的图像例如通过使用移动电话1(用户设备)的摄像机而被用户捕获。框102在图3中公开该步骤。
-对于与捕获的图像有关的元数据的请求从用户设备1朝因特网12发送。图像的特征或图像本身可能由此构成在请求中发送的对象识别数据。在该示例中,请求包括图像的特征。框103在图3中公开该步骤。
-包括请求的业务被去遂穿到要经过的第一节点,即RBS 2。框103b在图3中公开该步骤。
-要经过的第一节点(即RBS 2的缓存设备2a-2c)在该示例中通过执行业务突破(break-out)而拦截请求。第一节点中的业务突破和分类器功能配置成进行突破。在该通用示例中,RBS包括缓存,要注意的是(如已经提出的)在系统是3G系统的情况下缓存将仅在RNC和GGSN中存在。在4G系统的情况下,缓存将仅在eNodeB(基站)和GGSN(对于进一步的细节参见图7)中存在。框104在图3中公开该步骤。
-拦截的请求与业务过滤器相匹配。过滤器配置成识别属于节点的业务。这可以基于与目的地IP地址(例如因特网中的服务器5的目的地IP地址)、端口、协议或URL或这些的组合有关的规则。框105在图3中公开该步骤。
-如果发现拦截的请求未对应于规则,由执行的业务突破而突破的业务重新插入上游隧道,即,被重新遂穿用于进一步朝因特网传输。框106在图3中公开该步骤。
-如果相反发现拦截的请求对应于规则,包括捕获的图像的特征的对象识别数据从业务的有效载荷部分提取。框107在图3中公开该步骤。
-提取的对象识别数据与存储在RBS 2中的第一缓存2a中的对象识别数据匹配。框108在图3中公开该步骤。
-如果匹配不成功,业务重新插入上游隧道内用于进一步朝因特网传输。框106在图3中公开该步骤。
-如果相反匹配成功,即如果请求中的对象识别数据对应于缓存2a中的对象识别数据,执行进一步的匹配来看看对应于捕获的图像的特征的元数据是否在RBS中的第二缓存2b中存在。框109在图3中公开该步骤。
-如果进一步的检查不成功意指在对应于匹配的对象识别数据的缓存中不存在元数据,元数据将在层级中的更高层级在另一个缓存中查找。消息然后重新插入上游方向到更高级缓存。框106在图3中公开该步骤。
-如果相反检查成功,对应于捕获的图像的元数据从RBS 2中的第二缓存2b获取。框111在图3中公开该步骤。
-创建答复消息。如果匹配成功,获取的元数据插入答复消息中。元数据可由此被个性化。示例是从对于埃菲尔铁塔的10个不同的广告仅选择一个广告作为与应用交互的人(即用户设备1)最相关。相关性可以基于例如用户设备1的注册所有者的年龄组、性别和职业等。该选择程序例如通过考虑用户简档而由处理器3c处理。用户简档是来自例如归属位置寄存器的汇聚信息(预订类型、服务类型、服务购买历史、性别、年龄、地址等)以及还来自最终用户因特网浏览历史的汇聚信息。移动订户用户简档对于本领域内技术人员是众所周知的概念。框112在图3中公开该步骤。
-答复消息通过RBS中的业务突破和分类器功能而被重新遂穿(即,强行进入)朝用户设备1引导的业务内。框113在图3中公开该步骤。
图4公开之前论述的定位在用户设备1与GGSN 4(也参见图2)之间的路径上的无线电网络控制器RNC 3的框示意图示。要注意的是RNC 3中对应于在图4中示出的那些的实体也可以在其他中间节点中发现,即其他中间节点在RNC 3来填充缓存时也可具有与它相同种类的量,从而拦截请求并且传递元数据。无线电网络控制器RNC 3包括:用对象识别数据填充的第一缓存3a,在该示例中是用特征的图像(可以看作缓存内的方形符号);用元数据填充的第二缓存3b;和处理器单元3c。处理器单元3c包括图像匹配引擎3c1和增强现实AR服务器3c2。AR服务器3c2主要负责接收拦截的业务消息、解析消息并且提取图像的特征(如果尚未进行的话)以及将特征递送到3c1,并且进一步在3b中找到对应的元数据。图像匹配引擎3c1主要负责在3a中执行算法(参见背景技术)查找。上游和下游隧道可以在图4中在1与4之间看到。RNC进一步包括之前提到的业务突破和分类器功能3d,其能够突破业务,即拦截在上游路径中在用户设备1与GGSN 4之间经过RNC的业务,并且检查业务过滤规则。3d进一步能够使消息强行进入在下游或上游朝1或4引导的业务内。图4中的RNC进一步包括接口3e,其配置成接收数据用于填充缓存3a和3b。要注意的是填充其他中间节点(参见图2)中的缓存通过经由对应于RNC中的接口3e的接口接收数据而执行。填充的方式对于LTE eNodeB是相似的,差异是在LTE缓存的情况下,附近的eNodeB可能需要具有内容叠加,因为由于信号功率波动,终端可在短时段内与任一个节点关联。作为选项,计费系统可连接到接口3e和/或到增强现实AR服务器3c2。计费由此可以执行并且计费数据记录CDR可以产生并且例如根据服务的每个视觉搜索请求而发送给运营商。
图5公开之前在图2中示出的移动网络11。无线电网络控制器RNC 3在图5中连同被无线电网络控制器RNC处理的无线电基站RBS 2、6、9一起公开。RNC 3包括之前提到的处理器单元3c。图公开了依附到RBS 2、6、9(无线电网络控制器RNC 3对其充当汇聚器)的无线电覆盖区域中的若干服务提供商(SP)。在该示例中,无线电基站2、6、9中的每一个分别依附到一个服务提供商SP1、SP2和SP3。SP3在该示例中对应于图书馆;SP2对应于博物馆并且SP1对应于购物中心。每个服务提供商包括不同的现实世界对象,其的图片可以被摄像机的用户捕获,例如不同种类的书、博物馆样本和杂货店的图片。
图像的第一缓存3a基于现实世界对象与运营商基础设施(在该示例中是RNC 3)的接近性而填充。除上文提到的那些(书、博物馆样本和杂货店)以外的现实世界对象例如在游客数据的背景下是建筑物。被给定RNC覆盖的街道中的建筑物的图像(或特征)是包括到第一缓存3a内的候选。下面是用于填充缓存的算法的示例:
-识别RNC。
-对于游客AR/视觉搜索应用;识别RNC的基站的无线电覆盖内的街道。
-识别街道上的建筑物。选择合适的建筑物:例如建筑物列表可以缩小到从道路等可见的那些。对每个建筑物指派ID。
-对于选择的建筑物中的每个得到图像数据集用于视觉搜索,这将用于通过图像识别软件来执行匹配。根据图像识别软件,相反可使用图像的特征并且因此数据集将是特征数据集。
-对于选择的建筑物中的每个得到元数据,这是如果图像识别成功则将返回给最终用户的额外数据。
-用图像/特征数据集和元数据两者来填充RNC缓存。图像/特征数据集将被缓存在3a中并且元数据将缓存在3b中。当GGSN 4(参见图2)充当对于RNC 3的汇聚器时,图像特征数据集和附属的元数据将从GGSN输送到RNC以及可能从那里进一步向下到选择的RBS。缓存中的数据要视为对象集,其的普及将随时间改变。因此最初所有图像和元数据将在GGSN中(或作为因特网中的服务器5的选项)。然后用户开始用他们的终端来搜索并且因此普及模式开始出现。非常普及的图像-元数据将存储在RBS缓存中,这在RNC缓存中不太普及。GGSN将总是存储系统中可用的所有图像和元数据并且这基本上是“长尾”内容。然而如上文提到的,可选地,因特网服务器可以假设是长尾服务器。
-如果新的建筑物被建造或如果存在的建筑物被更改(例如,由于重建/维护)则执行图像/特征数据集刷新。
-执行元数据的刷新。进行此来确保关于现实世界对象的最新数据集。而且如果广告与元数据联系起来,这些可能需要随时间改变来反映当前广告活动。
图6公开当对于RNC接收的请求对应于过滤规则、接收的图像与缓存的图像匹配并且找到对应的元数据时根据本发明的一个实施例的信号序列图。图要连同之前示出的图一起阅读。信令点2(RBS)、3(RNC)、3a(第一缓存)、3b(第二缓存)、3c(处理器单元)、3c1(图像匹配)、3c2(AR服务器)和3d(突破)已经之前全部在该申请中论述。信令点1(用户设备)包括摄像机1x、显示器1y和增强现实应用1z。图6将公开请求的拦截、执行成功匹配和将请求的元数据传递到请求用户。对于方法的先决条件是无线电网络控制器3中的缓存3a和3b已经用数据填充。方法包括以下步骤:
-图像在博物馆样本的该示例中被用户使用移动终端1中的摄像机1x捕获20。该图像在无线电基站RS 6的小区区域内在服务提供商SP2中捕获(参见图5)。
-图像进入21增强现实应用1z,其中依赖应用版本的特征可选地从图像提取(参见现有技术)。在该示例中,未在1z中执行提取。
-1的用户离开RBS 6的小区区域并且相反进入RBS 2的小区区域。因为未执行提取,对于数据的请求(包括原始图像)在业务中从RBS 2朝因特网中的服务器5(参见图1)发送22。这可以通过使用HTTP协议来进行,但其他协议是可能的,例如ftp。
-业务中的图像首先由RBS 2接收、拦截并且过滤。因为图像在RBS 6的小区区域内捕获,未在RBS 2中的缓存2a中发现匹配并且业务被重新插入上游隧道用于朝因特网进一步传输(也参见图3)。
-业务中的图像由RNC 3中的业务突破和分类器功能3d接收22。
-突破功能通过封装业务而不是如在正常情况下的那样将它放置在上游隧道中来拦截业务,业务被发送到过滤功能,其检查这是否是增强现实AR请求。检查在该示例中基于表明请求的目的地IP地址是否是服务器5的IP地址、请求是否是AR请求(即,请求在该示例中是否被正匹配)。
-请求被转发23到AR服务器3c2。因为请求包括原始图像,从图像提取特征。特征提取是取决于缓存在2a中的数据是否由图像或特征组成(即稍后是否将执行特征匹配或图像匹配)的选项。在该示例中,3c2由特征组成并且因此提取特征。
-图像的提取特征被转发24到图像匹配引擎3c1。作为选项,如果之前未进行,可以在该阶段在3c1中执行特征提取。
-特征与缓存在第一缓存3a(其用特征来填充)中的特征匹配25。该匹配继续直到找到匹配或确定不存在匹配。
-在该示例中,找到匹配特征并且匹配的结果返回26到AR服务器3c2。
-因为匹配结果是正的,得到对应元数据的请求从3c2发送27到第二缓存3b。
-在该示例中,找到对应于请求的元数据,并且找到的元数据返回28到AR服务器3c2。
-找到的元数据被转发29到业务突破和分类器功能3d。突破功能3d将元数据插入答复消息中。
-答复消息通过业务突破和分类器功能3d而强行进入朝用户设备1引导并且发送到用户设备1中的增强现实应用1z的业务内。
-增强现实应用1z构成要向用户设备中的最终用户显示的消息,例如作为捕获图像的叠加,并且该叠加被发送到用户设备1中的显示器1y。
图7公开其中可以应用本发明的移动系统的示例。图7a公开3G(高速分组接入HSPA)系统,其中缓存定位在RNC和GGSN中。为了简单起见,对于与之前示出的图中的中间节点RNC和GGSN相同的参考符号已经在图7a中使用。图7b公开4G(长期演进LTE)系统,其中缓存定位在eNodeB(在图7b中具有与在先前图中的RBS相同的参考符号)和分组数据网络PDN网关(在图7b中具有与在先前图中的GGSN相同的参考符号)中。
可以用于将本发明付诸实践的系统和节点示意地在图中示出。列举的项目作为单独元件在图中示出。然而,在本发明的实际实现中,它们是其他电子装置(例如数字计算机)的不可分开的组件。从而,上文描述的动作可在软件中实现,该软件可在包括程序存储介质的制品中实施。程序存储介质包括在载波、计算机盘(磁或光(例如,CD或DVD,或两者))、非易失性存储器、带、系统存储器和计算机硬驱动器中的一个或多个中实施。
本发明的系统和方法可例如在第三代合作伙伴项目(3GPP)、欧洲电信标准协会(ETSI)、美国国家标准协会(ANSI)、长期演进(LTE)或其他标准电信网络架构中的任一个上实现。其他示例是电气和电子工程师协会(IEEE)或因特网工程任务组(IETF)。
该描述(为了解释而非限制的目的)阐述例如特定组件、电子电路、技术等具体细节以便提供对本发明的全面理解。然而,本发明可在脱离这些具体细节的其他实施例中实践,这对于本领域内技术人员将是明显的。在其他情形中,省略众所周知的方法、装置和技术等的详细描述以便不用不必要的细节使该描述晦涩。在一个或多个图中示出单独功能框。本领域内技术人员将意识到功能可使用分立组件或多功能硬件来实现。处理功能可使用编程的微处理器或通用计算机来实现。本发明不限于上文描述的和在图中示出的实施例,而可以在附上的权利要求的范围内修改。

Claims (15)

1.一种用于在通信系统(10)中执行视觉搜索和增强现实的方法,所述通信系统(10)包括附连到移动网络(11)的因特网网络(12),其特征在于,将与对象有关的数据存储在所述移动网络中的至少一个或多个中间节点(2,3,4)中,所述对象在地理上与所述至少一个或多个中间节点有关,该方法包括以下另外的步骤:
-将对于元数据的请求从所述移动网络(11)中的用户设备(1)经由所述至少一个或多个中间节点(2,3,4)朝所述因特网网络(12)传送(22),该请求包括与对象有关的对象识别数据,所述对象在地理上与所述至少一个或多个中间节点有关;
-去遂穿(103b)并且拦截(104)在所述至少一个或多个中间节点(2,3,4)中的中间节点(3)中的请求。
2.如权利要求1所述的用于执行视觉搜索和增强现实的方法,该存储的数据包括对象识别数据和元数据。
3.如权利要求2所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-将所述请求与所述中间节点(3)中的过滤功能成功地匹配(105)。
4.如权利要求3所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-由于成功的匹配(105),进一步使拦截的请求中的对象识别数据与存储在所述中间节点(3)中的对象识别数据成功地匹配(108)。
5.如权利要求4所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-由于成功的进一步匹配(108),确定(109)对应于所述对象的元数据的存在;
-重新遂穿(113)并且将存在的元数据从所述中间节点(3)转发(30)到所述用户设备(1)。
6.如权利要求1或2所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-未成功地使所述请求与所述中间节点(3)中的过滤功能匹配(105);
-由于未成功的匹配(105),重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
7.如权利要求3所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-由于成功的匹配(105),进一步未成功地使拦截的请求中的对象识别数据与存储在所述中间节点(3)中的对象识别数据匹配(108);
-由于未成功的进一步匹配(108),重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
8.如权利要求4所述的用于执行视觉搜索和增强现实的方法,该方法包括以下另外的步骤:
-由于成功的进一步匹配(108),确定对应于所述对象的元数据的不存在;
-由于确定的元数据的不存在,重新遂穿(106)并且将对于元数据的请求从所述中间节点(3)朝所述因特网网络(12)转发。
9.如权利要求5所述的用于执行视觉搜索和增强现实的方法,该元数据基于所述用户设备(1)的特性在所述中间节点(3)中被个性化。
10.如前述权利要求中任一项所述的用于执行视觉搜索和增强现实的方法,由此数据在所述至少一个或多个中间节点(2,3,4)中的存储根据与所述至少一个或多个中间节点有关的元数据的相关性并且通过将所述数据从较高层输送到较低层而执行。
11.如前述权利要求中任一项所述的用于执行视觉搜索和增强现实的方法,由此计费数据记录根据产生的搜索请求而产生并且被转发给运营商。
12.一种能加载到通信系统的处理器中的计算机程序,其中所述计算机程序包括代码,其适于执行先前的权利要求中的一个或多个的方法。
13.一种通信系统(10)中的移动网络运营商节点(2,3,4),所述节点配置成执行视觉搜索和增强现实,所述节点包括:
-用于接收的部件(3e)和用于将数据存储在所述节点中的部件(3a,3b);
-用于去遂穿并且拦截接收的对于元数据的请求的部件(3d)。
14.如权利要求13所述的移动网络运营商节点(2,3,4),该节点进一步包括:
-用于使拦截的请求与存储的数据匹配的部件(3c1);
-用于从所述节点中的存储装置(3b)提取存储的元数据的部件(3c2),该提取的元数据对应于请求的数据;
-用于重新遂穿并且将所述提取的元数据朝用户设备(1)转发的部件(3d)。
15.如权利要求14所述的移动网络运营商节点(2,3,4),该节点进一步包括:
-用于重新遂穿并且将所述请求朝所述因特网转发的部件(3d)。
CN201180071813.4A 2011-06-21 2011-06-21 对于移动网络中的视觉搜索和增强现实的缓存支持 Active CN103620594B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2011/050814 WO2012177194A1 (en) 2011-06-21 2011-06-21 Caching support for visual search and augmented reality in mobile networks

Publications (2)

Publication Number Publication Date
CN103620594A true CN103620594A (zh) 2014-03-05
CN103620594B CN103620594B (zh) 2018-01-26

Family

ID=47422817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071813.4A Active CN103620594B (zh) 2011-06-21 2011-06-21 对于移动网络中的视觉搜索和增强现实的缓存支持

Country Status (4)

Country Link
US (1) US9489773B2 (zh)
EP (1) EP2724262A4 (zh)
CN (1) CN103620594B (zh)
WO (1) WO2012177194A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509493A (zh) * 2018-02-13 2018-09-07 北京邮电大学 一种ar视觉搜索推荐服务方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587442B1 (ko) * 2011-10-07 2016-01-22 한국전자통신연구원 타겟팅 증강 콘텐츠 제공 시스템, 증강 콘텐츠 제공 방법 및 장치, 증강 콘텐츠 등록 방법 및 장치
WO2013116901A1 (en) * 2012-02-08 2013-08-15 Fairweather Corporation Pty Ltd. Computing device for facilitating discounting and promotions using augmented reality
US8948897B2 (en) 2012-06-27 2015-02-03 Ebay Inc. Generating audio representative of an entity
US9509803B2 (en) 2012-10-08 2016-11-29 Patrick Soon-Shiong Distributed storage systems and methods
US9473913B2 (en) 2013-11-12 2016-10-18 At&T Intellectual Property I, L.P. System and method for small cell based augmented reality
US9582160B2 (en) 2013-11-14 2017-02-28 Apple Inc. Semi-automatic organic layout for media streams
US20150134661A1 (en) * 2013-11-14 2015-05-14 Apple Inc. Multi-Source Media Aggregation
US9489104B2 (en) 2013-11-14 2016-11-08 Apple Inc. Viewable frame identification
JP6208898B2 (ja) 2014-02-10 2017-10-04 ジーニー ゲゼルシャフト ミット ベシュレンクテル ハフツング 画像特徴式認識のためのシステムおよび方法
US11741704B2 (en) * 2019-08-30 2023-08-29 Qualcomm Incorporated Techniques for augmented reality assistance
AU2021330970A1 (en) 2020-08-24 2023-03-23 Fd Ip & Licensing Llc Previsualization devices and systems for the film industry
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007036842A2 (en) * 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Method and apparatus for capturing metadata for a content item
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及系统
CN101167335A (zh) * 2005-04-26 2008-04-23 艾利森电话股份有限公司 用于提供上下文信息的方法和装置
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
US20090061901A1 (en) * 2007-09-04 2009-03-05 Juha Arrasvuori Personal augmented reality advertising
CN101842788A (zh) * 2007-09-24 2010-09-22 诺基亚公司 用于使用基于网格的特征组织来执行视觉搜索的方法、设备和计算机程序产品
CN102171664A (zh) * 2008-08-06 2011-08-31 莫维克网络公司 无线电接入网(ran)中的内容高速缓存

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI106990B (fi) * 1996-12-31 2001-05-15 Nokia Mobile Phones Ltd Menetelmä informaation välittämiseksi käyttäjälle
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
KR101661269B1 (ko) * 2008-09-02 2016-09-29 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
IL196115A0 (en) 2008-12-22 2009-09-22 Adi Gaash Method and system of searching for information pertaining target objects
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167335A (zh) * 2005-04-26 2008-04-23 艾利森电话股份有限公司 用于提供上下文信息的方法和装置
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
WO2007036842A2 (en) * 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Method and apparatus for capturing metadata for a content item
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及系统
US20090061901A1 (en) * 2007-09-04 2009-03-05 Juha Arrasvuori Personal augmented reality advertising
CN101842788A (zh) * 2007-09-24 2010-09-22 诺基亚公司 用于使用基于网格的特征组织来执行视觉搜索的方法、设备和计算机程序产品
CN102171664A (zh) * 2008-08-06 2011-08-31 莫维克网络公司 无线电接入网(ran)中的内容高速缓存

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KLAUS MOCHALSKI, HENDRIK SCHULZE: "White paper Deep Packet Inspection", 《网络文章,网址:HTTP://WWW.IPOQUE.COM/SITES/DEFAULT/FILES/MEDIAFILES/DOCUMENTS/WHITE-PAPER-DEEP-PACKET-INSPECTION.PDF》 *
LUYING ZHOU, PAT S.Y.CHAN, R.RADHAKRISHNA PILLAI: "Effect of TCP/LLC protocol interaction in GPRS networks", 《COMPUTER COMMUNICATIONS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509493A (zh) * 2018-02-13 2018-09-07 北京邮电大学 一种ar视觉搜索推荐服务方法

Also Published As

Publication number Publication date
EP2724262A1 (en) 2014-04-30
EP2724262A4 (en) 2015-04-01
US9489773B2 (en) 2016-11-08
CN103620594B (zh) 2018-01-26
US20140111545A1 (en) 2014-04-24
WO2012177194A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
CN103620594A (zh) 对于移动网络中的视觉搜索和增强现实的缓存支持
JP5784236B2 (ja) グラフモデルを使用して導出される、インターネット接続可能デバイスに関連するインテリジェンスデータに基づいてデータネットワークを使用するモバイル広告
CN103051725B (zh) 应用识别方法、数据挖掘方法、装置及系统
US20180192101A1 (en) Systems and methods for identifying matching content
US8930806B2 (en) Providing toolbars
EP2840544A1 (en) Methods and systems for using mobile device specific identifiers and short-distance wireless protocols to manage, secure and target content
JP2009533954A (ja) メディアメッセージを提供するために無線ビーコンブロードキャストを使用するための方法およびそのシステム
US20090042545A1 (en) System and a method for unifying the social realities of the online internet and real world of the mobile phone
US20100029326A1 (en) Wireless data capture and sharing system, such as image capture and sharing of digital camera images via a wireless cellular network and related tagging of images
US20080125090A1 (en) Methods and systems for securing content played on mobile devices
JP2001222601A (ja) 情報通信システム及びその方法並びに情報提供ビジネス方法
CN104581624A (zh) 用于利用网络移动性事件来建立广告人口统计的系统和方法
US9295070B2 (en) Quality of service level adaptation for visual services in mobile communication networks
WO2009094397A2 (en) Real world behavior measurement using mobile device specific identifiers
CN107491997A (zh) 信息推送方法及系统
CN105794175A (zh) 输送web内容的系统的性能度量
CN106937176A (zh) 视频处理方法、装置以及视频交互方法和装置
WO2016169241A1 (zh) 一种用于在计算机设备中搜索私有资源的方法和装置
CN105933237A (zh) 一种无线路由器及其信息植入系统、方法
Ghys 3G multimedia network services, accounting, and user profiles
JP3898547B2 (ja) 捜索サービスシステムに適用される情報処理装置及び捜索サービス方法
KR20180036819A (ko) 스마트 멀티제보중개모듈을 이용한 제보 활성화 장치 및 방법
Bonzom Barcelona, London, and Beijing free Wi-Fi hotspots
KR20230062129A (ko) 사용자 단말의 통신환경에 따른 광고 제공 방법 및 저장기록매체
CN106209833A (zh) 一种防止网页劫持的方法及网关

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant