CN103168294A - 图像匹配装置和图像匹配方法 - Google Patents
图像匹配装置和图像匹配方法 Download PDFInfo
- Publication number
- CN103168294A CN103168294A CN2010800697491A CN201080069749A CN103168294A CN 103168294 A CN103168294 A CN 103168294A CN 2010800697491 A CN2010800697491 A CN 2010800697491A CN 201080069749 A CN201080069749 A CN 201080069749A CN 103168294 A CN103168294 A CN 103168294A
- Authority
- CN
- China
- Prior art keywords
- equipment
- view data
- images match
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003860 storage Methods 0.000 claims abstract description 25
- 230000008878 coupling Effects 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 16
- 238000005859 coupling reaction Methods 0.000 claims description 16
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Abstract
本发明提供了图像匹配装置。该装置包括：存储单元，被配置为存储连接到局域网的一个或更多个设备的图像数据；获取单元，被配置为获得通过捕获设备而获得的设备图像的图像数据；指定单元，被配置为指定要被用于图像匹配的一个或更多个局域网；以及图像匹配单元，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。
Description
技术领域
本发明涉及图像匹配装置和图像匹配方法。
背景技术
利用在从相机接收到的图像上覆盖(overlay)从网络接收到的图像以及还可从网络接收到的任何附加信息(例如在设备上正在播放哪首音乐等)，将环境视觉化变为了可能。这种类型的增强型视图经常被称为“增强现实”(AR)。
AR应用需要识别用户向其请求获得信息的设备。作为AR应用的示例的Sekai相机基于已捕获到目标设备的移动设备的位置信息来识别目标设备。该位置信息是使用移动设备中的GPS、运动和角度传感器来计算的。然而，GPS不提供足够的精确度，并且插入各个设备的位置会打扰到最终用户并且将是不被接受的。作为AR应用的另一示例的ARToolKit通过利用要被相机捕获的标记来识别目标设备。然而，最终用户需要在不同位置放置标记，并因而最终用户不会接受该解决方案。
US2010135527提出了通过执行图像匹配来识别设备的AR应用。根据该申请，移动互联网设备将捕获的设备图像与图像数据库中存储的多个候选设备图像相比较，以识别所捕获的设备。该解决方案优于Sekai相机和ARToolKit，因为该解决方案不需要使用位置信息和标记。然而，当图像数据库存储很多设备图像时，图像匹配的处理时间将增加，并且图像匹配的精确度也将退化。因此，期望改进图像匹配的处理时间和精确度。
发明内容
根据本发明的一个方面，提供了图像匹配装置。该装置包括：存储单元，被配置为存储连接到局域网的一个或更多个设备的图像数据；获取单元，被配置为获得通过捕获设备而获得的设备图像的图像数据；指定单元，被配置为指定要被用于图像匹配的一个或更多个局域网；以及图像匹配单元，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。
参考附图，由下面的示例性实施例的描述，本发明的其他特征将变得显而易见。
附图说明
图1示意了示例性系统，其可包括根据一些实施例的图像匹配装置。
图2示意了根据第一实施例的组件的示例性部署。
图3A-3C示意了根据一些实施例的组件的示例性细节。
图4示意了根据一些实施例的示例性上下文表。
图5示意了根据一些实施例，用于管理上下文表的总体操作的示例。
图6示意了根据本实施例，用于产生AR图像的总体操作的示例。
图7示意了示例性的捕获图像和AR图像。
图8示意了根据第二实施例的组件的示例性部署。
图9示意了根据第三实施例的组件的示例性部署。
图10示意了根据第三实施例，用于执行图像匹配的总体操作的示例。
图11示意了根据第四实施例的组件的示例性部署。
具体实施方式
现在将参照附图描述本发明的实施例。下面描述的各个实施例将有助于从一般到更特殊地理解多种概念。应该注意到，本发明的技术范围由权利要求所限定，而不受下面描述的各个实施例限制。此外，在实施例中描述的特征的所有组合对于本发明来说不一定都是必不可少的。
本发明的一个方面涉及执行图像匹配的图像匹配装置。图像匹配是用于通过设备的图像数据来识别设备的过程。设备的图像数据可以是设备自己的图片，或者是从设备的图片提取的特征值，例如，形状、颜色等等。用于图像匹配的图像数据取决于图像匹配的算法，诸如缩放不变特征变换(Scale Invariant Feature Transform，SIFT)、加速鲁棒性特征(Speeded-Up Robust Features，SURF)以及来自加速段测试(AcceleratedSegment Test，FAST)的特征。下文中，术语“设备图像”表示设备的图片，以及术语“图像数据”表示用于执行对设备的图像匹配的数据。设备图像可以是静止图像或是运动图像的帧。
图1示意了示例性系统100，在该系统100中，可以应用根据本发明的一些实施例的图像匹配装置。下面，将在增强现实(AR)应用的上下文中描述图像匹配装置。然而，可以将图像匹配装置用于稍后描述的其他应用。系统100可以包括移动电话101、个人网络应用服务器(PNAS)102、网关(G/W)103和一个或更多个设备104。移动设备101、PNAS 102和G/W 103中的任何设备可以作为下面描述的图像匹配装置操作。
移动电话101是向用户107提供AR图像的移动设备。移动电话101是用户终端的示例，并且可以使用其他用户终端，例如膝上型PC、桌面型PC和数字相机。
G/W 103是LAN 105和互联网106之间的网关设备，并且可以管理LAN 105。设备104连接到LAN 105并经由G/W 103向PNAS 102提供其信息。可以由根据本发明的实施例的图像匹配装置来识别可连接到局域网的任何设备。局域网包括图1中示出的家庭网络，以及车内网络、办公室网络和其他闭合网络。通过使用已知的远程接入技术，设备104是从PNAS 102可达的。根据本发明的实施例，为了保持图像匹配简单和资源需求较小，要与输入设备相比较的设备被缩减为连接到局域网的设备。
PNAS 102是用于聚合在局域网(例如家庭网络和车内网络)中发现的设备能力和状态信息的服务器。在一些实施例中，PNAS102向移动电话101提供图像匹配服务。
<第一实施例>
图2示意了根据本发明的第一实施例，系统100中的各个设备的示例性配置。图2中的移动电话210、PNAS 220和G/W 230分别对应于图1中的移动电话101、PNAS 102和G/W 103。在第一实施例中，PNAS 220作为图像匹配装置进行操作。
移动电话210可以包括CPU 211、存储器212、相机213、触摸屏214和AR浏览器215。CPU 211控制移动电话210的整体操作。为了简单起见，没有示出CPU 211和移动电话210中的各个组件之间的箭头。存储器212存储用于移动电话210的操作的计算机程序和数据。相机213是用于捕获图像(包括设备104的设备图像)的图像形成单元。相机213可以根据来自用户107的指令捕获静止图像或运动图像。相机213向AR浏览器215提供所捕获的图像。触摸屏214显示由AR浏览器215提供的AR图像。触摸屏214既操作为输入单元也操作为输出单元，然而作为触摸屏214的补充或替代，移动电话210可以分别包括输入设备(例如，键盘)和输出设备(例如，非触摸显示器)。
AR浏览器215从相机213获得所捕获的图像，并在然后向PNAS 220发送所捕获的图像，以请求所捕获的图像的AR图像。AR浏览器215从PNAS 220接收作为响应的AR图像，并在然后向触摸屏214提供AR图像。
G/W 230可以包括CPU 231、存储器232和上下文提供器233。CPU231控制G/W 230的整体操作。为了简单起见，没有示出CPU 231和G/W230中的各个组件之间的箭头。存储器232存储用于G/W 230的操作的计算机程序和数据。
上下文提供器233发现连接到LAN 105的设备104。上下文提供器233可以例如使用诸如UPnP、DLNA、Zigbee和Bluetooth等协议来发现设备104。当G/W支持一个以上协议时，上下文提供器233可以使用不同的协议发现不同的LAN。作为设备发现的补充或替代，用户107可以手动将设备104注册到上下文提供器233。上下文提供器233还从已发现的或已注册的设备104获得上下文信息。设备104的上下文信息是表示设备的信息，并且可以包括静态信息，例如设备标识、设备类型、设备模型、设备制造商、设备能力、以及设备的易记名称、可能操作的菜单(例如，播放音乐、与用户107的朋友开启聊天会话)，还可以包括动态信息。例如，什么文件、应用和多媒体内容被存储在设备中、什么服务和应用正在运行、谁在使用设备、以及现在使用设备104的朋友的列表。上下文提供器233向PNAS 220提供所获得的上下文信息。上下文提供器233具有唯一标识符，该唯一标识符被用于识别由G/W 230管理的一个或更多个LAN 105。
PNAS 220从移动电话210获得图像，识别所获得的图像中包括的设备，并创建AR图像，在该AR图像上覆盖了与所识别的设备有关的信息。PNAS 220将所产生的AR图像发送回移动电话210。
PNAS 220可以包括CPU 221、存储器222、AR图像编排器(composer)223、图像匹配器224、上下文管理器225和设备图像数据库226。CPU 221控制PNAS 220的整体操作。为了简单起见，没有示出CPU 221和PNAS220中的各个组件之间的箭头。存储器222存储用于PNAS 220的操作的计算机程序和数据。
设备图像数据库226存储对相同型号的所有设备来说公共的上下文信息。设备图像数据库226中存储的上下文信息的示例可以包括设备型号、设备规范、版本日期、分类价格和设备制造商。上下文信息还包括设备的图像数据。上下文信息还可以包括所支持的协议，上下文提供器223可以使用该所支持的协议来连接到具有该设备型号的设备。作为协议信息的替代或补充，可以将对软件的引用包括在上下文信息中，该软件可安装在上下文提供器223中，用于连接到具有该设备型号的设备。如上所述，图像数据取决于用于使用图像匹配的算法。从而，设备图像数据库226可以包括针对不同算法的不同图像数据集合。设备图像数据库226还可以包括针对通过从不同角度捕获设备而获得的设备图像的不同图像数据集合。
可以由PNAS 220的操作员、AR服务的服务提供商、AR服务的用户和/或设备制造商通过管理接口将上下文信息注册到设备图像数据库226。设备图像数据库226可以具有从设备图像提取图像数据的功能。设备型号的上下文信息与设备型号的标识相关联，以使得通过使用设备型号的标识作为关键字来获取上下文信息。例如，设备型号的标识可以是设备制造商的名称与型号名称的组合，或者其可以是相同设备型号中公共的序列号的前缀。
上下文管理器225管理用于执行图像匹配的图像数据以及上下文信息。如图3B中示出的，上下文管理器225可以包括上下文表321、设备信息获取单元322、型号信息获取单元323和软件提供单元324。
图4示意了上下文表321的示例。上下文表321存储设备104的标识、设备104连接到的LAN的LAN标识、设备104的图像数据的集合以及设备104的上下文信息，以使得LAN标识、图像数据的集合和上下文信息与设备标识相关联。列“设备ID”401表示设备标识，列“LAN ID”表示LAN标识，列“图像数据集”表示图像数据的集合，以及列“上下文信息”表示上下文信息。LAN标识是PNAS 102可以借以唯一地标识LAN的标识。LAN标识的示例是G/W的全球IP地址与G/W使用来管理LAN的私人标识的配对。上下文表321可以包括连接到不同LAN的设备的多个条目。例如，设备“设备A”连接到LAN“LAN A”和“LAN C”，设备“设备B”连接到LAN“LAN A”，以及设备“设备D”连接到LAN“LAN B”。图像数据的集合可以包括多个图像数据，例如针对从不同角度捕获的设备的设备图像的不同图形数据以及用于执行图像匹配的不同算法的不同图像数据。
设备信息获取单元322获得设备104的设备标识、设备104连接到的LAN的LAN标识以及设备104的上下文信息。当上下文表321不包括针对于其设备标识已被获得的设备的条目时，设备信息获取单元232创建在其中将LAN标识和上下文信息与设备标识相关联的条目。当上下文表321已经包括针对于其设备标识已被获得的设备的条目时，设备信息获取单元232使用设备标识作为关键字来更新LAN标识和上下文信息。
型号信息获取单元323从设备图像数据库226获取设备104的图像数据以及在设备104的设备型号中公共的上下文信息。型号信息获取单元可以使用从上下文提供器233获得的上下文信息中包括的设备型号作为关键字。如稍后描述的，软件提供单元324向上下文提供器233提供软件。
设备图像数据库226和上下文管理器225都存储图像数据，然而设备图像数据库226与上下文管理器225中存储的针对特定设备104的图像数据可以不同。图像数据库226中存储的设备图像在设备型号中是公共的(换言之，在具有相同设计的设备中是公共的)。另一方面，上下文管理器225中存储的设备图像是单个设备104所特有的，因为设备104的实际设备图像可以不同于在设备型号中公共的设备104的设备图像。例如，当用户107在设备104的表面贴上字符印章以个性化设备104时，所捕获的包含印章的设备图像可降低与在设备型号中公共的设备图像的图像匹配的性能。
AR图像编排器233基于从移动电话210接收到的捕获的设备图像，产生AR图像。在图2中，AR图像编排器223包括在PNAS 220中，然而可以代之将AR图像编排器223包括在移动电话210中。如图3C中示出的，AR图像编排器223可以包括AR图像产生单元331、设备图像获取单元332、图像数据产生单元333和发送单元334。
设备图像获取单元332从移动电话获得包括设备104的设备图像在内的捕获的图像。图像数据产生单元333基于设备104的设备图像来产生设备104的图像数据。如上所述，要用于执行图像匹配的图像数据取决于图像匹配的算法。AR图像产生单元331向图像匹配器224发送图像数据，并请求使用图像数据来执行图像匹配。AR图像产生单元331获得针对所识别的设备的上下文信息，并通过将上下文信息覆盖在捕获的图像上来产生AR图像。发送单元334向移动电话210发送所产生的AR图像。
图像匹配器224识别其图像已被捕获的设备104。图像匹配器224可以包括图像数据获取单元311、图像匹配单元312、LAN指定单元313和上下文表更新单元314。图像数据获取单元311从AR图像编排器223获得图像数据。LAN指定单元313指定要被用于图像匹配的LAN 105。图像匹配单元312将所获得的图像数据与上下文管理器225的上下文表321中存储的图像数据相比较。图像匹配单元312向AR图像编排器223返回图像匹配的结果。例如，在所获得的图像数据与上下文表321中存储的图像数据之一匹配时，图像匹配单元312返回捕获的设备的设备标识，以及在所获得的图像数据与上下文表321中存储的所有图像数据都不匹配时，返回出错。
图像匹配单元312使用所指定的LAN标识来缩减将捕获的设备的图像数据与之相比较的图像数据的数量。将要比较其图像数据的设备称为“候选设备”。现在将参考图4中的上下文表321来描述示例。假设LAN指定单元313因为其图像已被捕获的设备104很可能连接到“LAN A”而指定应该将“LAN A”用于图像匹配。在该情况下，图像匹配单元312选择“DevA”、“Dev B”和“Dev C”作为候选设备，因为其“LAN ID”402包括“LAN A”，并在然后，图像匹配单元312将所获得的图像数据与候选设备的图像数据相比较。
图5示意了根据本实施例，用于管理上下文表321的总体操作的示例。各个设备中包括的CPU执行存储在各个设备的存储器中的计算机程序，以处理这些操作。
在步骤S501中，上下文提供器233例如通过UPnP过程来发现连接到作为G/W 103的相同LAN 105的设备104。然后，上下文提供器233从已发现的设备104获取上下文信息。上下文信息包括已发现的设备104的设备标识。
在步骤S502中，上下文提供器233向上下文管理器225提供已发现的设备104所连接到的LAN 105的LAN标识，以及已发现的设备104的上下文信息。上下文提供器233可以使用其标识来作为LAN标识。当上下文提供器233支持一个以上协议时，上下文提供器233可以针对各个协议来发现连接到LAN的设备104。在该情况下，上下文提供器233可以将多个LAN标识与其标识一起向上下文管理器225发送。上下文管理器225从上下文提供器233接收LAN标识和上下文信息(在相同情况下，还有上下文提供器233的标识)。
在步骤S503中，上下文管理器225从设备图像数据库226获取在已发现的设备104的设备型号中公共的上下文信息。上下文管理器225可以使用从上下文提供器233获得的上下文信息中包括的设备型号的标识来作为关键字。替代上下文信息本身，上下文管理器225可以获取针对上下文信息的链接(例如，URL)。
在步骤S504中，上下文管理器使用来自上下文提供器233和设备图像数据库226的上下文信息创建或更新上下文表中针对已发现的设备104的条目。可以重复步骤S501到S504，以使得上下文表231存储最新的上下文信息。
图6示意了根据本实施例，用于产生AR图像的总体操作的示例。各个设备中包括的CPU执行存储在各个设备的存储器中的计算机程序，以处理这些操作。可以与图6中描述的操作并行地执行这些操作。
在步骤S601中，用户107对移动电话210进行移动来捕获设备104，以及相机捕获包括设备图像的图像，并向AR浏览器215发送捕获的图像。图7示出了捕获的图像的示例。捕获的图像701包括设备104(例如，音频设备)的设备图像702。在该步骤中，AR浏览器215可以等待来自相机213的图像变得稳定。可以使用移动电话210的运动和方向传感器(未示出)以及连续的相机图像之间的比较来确定该稳定性。此外，当捕获的图像中包括两个或更多设备时，为了确定要识别的设备图像，AR浏览器215可以等待用户的输入。例如，用户107希望在触摸屏214上仅指出用户希望获得与其有关的信息的设备104。
在步骤S602中，AR浏览器215向AR图像编排器223发送捕获的图像701。在步骤S603中，AR图像编排器223从捕获的图像701提取设备图像702，并基于设备图像702来创建捕获的设备104的图像数据。当捕获的图像701包括两个或更多设备图像时，AR图像编排器223可以选择设备图像中的例如靠近捕获的图像701的中心的设备图像。备选地，AR图像编排器223可以提取各个设备的设备图像。在该情况下，针对各个设备图像执行下面的过程。备选地，AR图像编排器223可以由包括一个或更多个设备的整个捕获的图像来创建图像数据。在步骤S604中，AR图像编排器223向图像匹配器224发送捕获的设备104的图像数据，并请求返回捕获的设备104的设备标识。如果在图像数据中已经匹配了多个设备，图像匹配器224可以返回一个以上的设备标识。图像匹配器224可以返回捕获的设备104在捕获的图像701中的位置和大小。
在步骤S605中，图像匹配器指定要被用于图像匹配的一个或更多个LAN。当移动电话210经由G/W 230与PNAS 220通信时，图像匹配器224可以假设捕获的设备104和移动电话210连接到相同的LAN，并且可以选择由G/W 230管理的LAN来作为要被用于图像匹配的LAN。备选地，图像匹配器224可以从具有捕获的图像701的移动电话210接收LAN 105的LAN标识。移动电话210可以通过来自用户107的输入获得LAN标识。可以在移动电话210或PNAS 220中预设用于图像匹配的一个或更多个LAN标识。当图像匹配器224获得上下文提供器233的标识时，图像匹配器224可以指定由G/W 230管理的、包括上下文提供器233的一个或更多个LAN。图像匹配器224可以从移动电话210获得上下文提供器223的标识。备选地，图像匹配器224可以存储与移动电话的标识相关联的上下文提供器的标识，并获得移动电话的标识以识别所存储的上下文提供器的标识。用户107可以将用户107希望用于图像匹配的一个或更多个LAN注册到PNAS220。
在步骤S606中，如上所述，图像匹配器224执行捕获的设备104的图像数据的图像匹配。在步骤S607中，图像匹配器224向AR图像编排器223返回捕获的设备104的设备标识。当捕获的图像包括一个以上的设备图像时，图像匹配器224可以返回一个以上的设备标识。在步骤S608中，AR图像编排器223使用设备标识来作为关键字，向上下文管理器225请求捕获的设备104的上下文信息。在步骤S609中，上下文管理器225向AR图像编排器223返回上下文信息。在步骤S610中，AR图像编排器223通过将捕获的设备104的上下文信息704覆盖在捕获的图像701上，产生图7中示出的AR图像703。
在步骤S611中，AR图像编排器223向AR浏览器215发送AR图像703。在步骤S612中，AR浏览器215在触摸屏214上显示AR图像703。
在步骤S613中，图像匹配器224可以使用图像匹配的结果来更新上下文管理器225中的上下文表，以提高下一次比较的性能。捕获的设备104的图像数据应该表示捕获的设备104的最新的设备图像。因此，图像匹配器224可以通过使用在步骤S604处获得的图像数据来更新上下文表321中存储的图像数据的集合。例如，图像匹配器224可以将上下文表321中存储的图像数据替换为获得的图像数据。此外，当在步骤S604处获得的图像数据从不同的角度和不同的距离捕获设备104时，可以将获得的图像数据添加到上下文表321中存储的图像数据的集合。
现在将描述本实施例的一些变型。这些变型还可以应用于后面描述的其他实施例。图像匹配器224还可以通过使用周围环境的信息(例如，移动电话210发现的Wifi SSID、移动电话210的角度传感器的值以及相机能力)来缩减候选设备。此外或备选地，上下文管理器225可以对候选设备分类，以使得具有最高可能性的候选设备在第一位，具有较低可能性的设备在其后。图像匹配器224可以跳过与图像匹配器224确定在移动电话210的当前位置处相机213不能捕获的候选设备的图像匹配。例如，如果用户107在家中并且汽车驾驶在远处，汽车导航设备不能被相机213捕获。不存在用于确定设备被相机213捕获到的可能性的单个算法，然而可以通过多个方式进行估计。图像匹配器224可以使用移动设备210的大致位置信息和与家和汽车的距离，其是由GPS测量的，由蜂窝网络的三角测量法测量的，或者是提前提供的。图像匹配器224可以使用过去的图像匹配结果以及用户107之前与设备104互动的频率。如果从过去的图像匹配知道了移动电话210和设备104之间的相对位置，图像匹配器224可以估计相机213的大致位置和角度。例如，房间中有TV和立体声并且TV和立体声位于相机213永远不可在同时捕获到它们的路线上，则当TV在捕获的图像中时，可以将立体声从候选设备移除。
<第二实施例>
图8示意了根据本发明的第二实施例，系统100中的各个设备的示例性配置。移动电话810和PNAS 820分别对应于移动电话101和PNAS102。G/W 103未包括在根据本实施例的系统中。在第二实施例中，移动电话810作为图像匹配装置操作。图8中示出的组件的功能和操作与图2中示出的组件相似，并因此将省略对这些组件的描述。在本实施例中，移动电话810包括CPU 211、存储器212、相机213、触摸屏214、AR浏览器215、AR图像编排器223、图像匹配器224、上下文提供器233和上下文管理器225。
因为移动电话810包括上下文提供器233，移动电话810可以发现设备104。上下文管理器225可以管理同一移动电话810中的上下文提供器233已发现的设备。
移动电话810可以具有另一AR浏览器应用(例如，Sekai相机)，并在上下文提供器233没发现任何设备时使用该AR浏览器应用。当上下文提供器233发现了设备104时，移动电话810可以代之以使用AR浏览器215。
<第三实施例>
图9示意了根据本发明的第三实施例，系统100中的各个设备的示例性配置。图930中的移动电话910、PNAS 920和G/W 930分别对应于移动电话101、PNAS 102和G/W 103。在第三实施例中，PNAS 920和移动电话910作为图像匹配装置操作。亦即，移动电话910包括图像匹配器224a和上下文管理器225a，亦即PNAS 920包括图像匹配器224b和上下文管理器225b。图9中示出的组件的功能和操作与图2中示出的组件相似，并因此将省略对这些组件的描述。
在本实施例中，与移动电话910所提供的相比，PNAS 920可以提供更强大的图像匹配。PNAS 920将具有比移动电话910更大的处理功率。因此，可发生：由移动电话910中的图像匹配器224a执行的图像匹配失败，而由PNAS 920中的图像匹配器224b执行的图像匹配成功。因此，AR图像编排器223可以首先向图像匹配器224a请求图像匹配，并在接下来向图像匹配器225b请求图像匹配。
此外，可发生：上下文管理器225a、225b不包括针对捕获的设备的实体，例如当上下文提供器233不能发现捕获的设备时，即是如此。在该情况下，PNAS 920中的图像匹配器224b可以将捕获的设备104的图像数据与设备图像数据库226中存储的图像数据相比较。
在本实施例中，上下文管理器225a可以作为上下文管理器225b的高速缓存器工作。亦即，上下文管理器225a中的上下文表可以是上下文管理器225b中的上下文表的子集。假设上下文管理器225包括图4中示出的上下文表321。当移动电话210与G/W 230中的上下文提供器233相关联时(例如，当移动电话210正在经由G/W 230与互联网106连接时，或者当用户107向PNAS 220注册移动电话210与G/W 230之间的关联时)，上下文管理器225a中的上下文表可以仅包括其LAN标识对应于G/W 930的实体410。可以在归属订户服务器、活跃地址簿、IP多媒体子系统中的存在性和资源列表XDMS中维持移动电话210与上下文提供器233之间的关联。当上下文管理器225a从上下文管理器225b接收数据时，上下文管理器225b可以对上下文管理器225a授权。可以将移动电话910的预订用于验证。可以在其他实施例中执行该授权。作为从上下文管理器225b获得上下文信息的替代或补充，上下文管理器225a还可以从上下文提供器223和/或设备104获得上下文信息。
图10示意了根据本实施例，用于执行图像匹配的总体操作的示例。图10中的操作在图6中的步骤S606处执行。各个设备中包括的CPU执行存储在各个设备的存储器中的计算机程序，以处理这些操作。
在步骤S1001中，AR图像编排器223向图像匹配器224a请求执行对捕获的设备104的图像数据的图像匹配。在步骤S1002中，图像匹配器224a将捕获的设备104的图像数据与上下文管理器225a管理的候选设备的图像数据相比较。当存在匹配的候选设备(步骤S1002中是“是”)时，图像匹配器224a向AR图像编排器223返回匹配的候选设备的设备标识。当不存在任何匹配的候选设备(步骤S1002中是“否”)时，过程进行到步骤S1003。
在步骤S1003中，AR图像编排器223向图像匹配器224b请求执行对捕获的设备104的图像数据的图像匹配。在步骤S1004中，图像匹配器224b将捕获的设备104的图像数据与上下文管理器225b管理的候选设备的图像数据相比较。当存在匹配的候选设备(步骤S1004中是“是”)时，图像匹配器224b向AR图像编排器223返回匹配的候选设备的设备标识。当不存在任何匹配的候选设备(步骤S1004中是“否”)时，过程进行到步骤S1005。
在步骤S1005中，图像匹配器224b将捕获的设备104的图像数据与设备图像数据库226中存储的图像数据相比较。在该情况下，图像匹配器224b不可返回捕获的设备104的设备标识。从而，在步骤S1007中，图像匹配器224b可以向AR图像编排器223返回与捕获的设备104的设备型号有关的上下文信息。
为何上下文管理器225a、225b不包括针对捕获的设备104的实体的一个可能的原因是捕获的设备104正在使用上下文提供器233不支持的协议。在该情况下，通过安装处理协议集合的软件来更新上下文提供器233以发现设备并获取设备的上下文信息是可能的。在步骤S1006中，上下文管理器225b中的软件提供单元324使用在步骤S1005处获得的设备型号标识来从设备图像数据库226或设备制造商服务器获得这种软件。软件提供单元324查询上下文提供器233，以看是否已经安装了软件以及否则是否可能使用例如TR-069来进行安装。如果软件提供单元324知道上下文提供器的状态，可以跳过查询。软件提供单元324将软件安装到上下文提供器233。上下文提供器233启动安装的软件，并发现尚未发现的设备。在这之后，上下文管理器225a、225b可以通过图5中描述的过程来管理安装了软件的设备。图像匹配器224b可以在步骤S1006发生之前返回结果，因为将软件安装到上下文提供器233的过程花费了时间。在该情况下，图像匹配器224b将在软件安装完成之后从AR图像编排器接收新的图像数据，并且由上下文提供器233来发现设备104，以及图像匹配器224b可以通过针对新的图像数据运行步骤S1005来返回设备的上下文信息。
<第四实施例>
图11示意了根据本发明的第四实施例，系统100中的各个设备的示例性配置。图1130中的移动电话1110、PNAS 1120和G/W 930分别对应于移动电话101、PNAS 102和G/W 103。在第四实施例中，G/W 1130作为图像匹配装置操作。亦即，G/W 1130包括CPU 231、存储器232、上下文提供器233、图像匹配器224、AR图像编排器223和上下文管理器225。此外，相机213与移动电话1110位于不同的位置，并例如工作为办公室中的监视相机。图11中示出的组件的功能和操作与图2中示出的组件相似，并因此将省略对这些组件的描述。
向G/W 1130中的AR图像编排器223传送相机213捕获的图像。然后，AR图像编排器223产生AR图像，并向移动电话1110提供AR图像。用户107可以根据捕获的图像上覆盖的上下文信息与在显示器中远程找到的设备104交互。在本实施例中，可以将移动电话1110的移动或者触摸屏214上的控制连接到远程相机213的倾斜、摇动和缩放控制相连接。可以使用从这些控制导出或从相机213本身获得的相机角度和缩放比率来如第一实施例中讨论的对候选设备进行分类和缩减。
移动电话1110可以具有内置的相机，以及例如通过将触摸屏214的上半部指派给相机图像并将下半部指派给另一方，AR浏览器215可以对来自相机213和内置相机的图像都进行呈现。AR浏览器215使用户107可以同时与这些屏幕交互，从一个屏幕向另一个屏幕传递对象或信息。AR浏览器可以在内置相机的捕获图像中发现相机213。然后，PNAS 1120可以连接到相机213，并在内置相机的捕获图像中发现设备。当相机213被AR浏览器215发现时，可以向上下文提供器233提供相机213的粗略位置，作为用于提高估计精确度的上下文信息的一部分。可以通过与AR浏览器215中的其他已知设备的相对位置，以及还使用移动电话1110中的各个传感器来再次估计相机213的粗略位置。
<其他实施例>
在所述实施例中，在AR应用的上下文中描述根据本发明的图像匹配技术。然而，图像匹配技术不限于AR应用。例如，作为捕获的设备104的上下文信息的替代或补充，AR图像编排器223或AR浏览器213还可以获得与捕获的设备104有关的数据。与捕获的设备104有关的数据可以包括用于控制捕获的设备104的软件以及与捕获的设备104相关联的广告。当捕获的设备104例如是TV时，移动电话101可以获得移动电话101使用其来作为TV的遥控器工作的软件。数据可以包括互联网上的社交联网服务、日志和微博服务中与捕获的设备104有关通告和评论，可选地，该通告和评论是通过考虑到最终用户与这些服务的社交关系而获得的。数据还可以包括从设备104的卖方获得的软件补丁和防火墙更新信息、对在设备104中运行的新软件的推荐或广告。AR浏览器213可以将获得的数据、软件或其补丁与捕获的图像一起显示。
根据本发明的实施例，可以改进处理时间和图像的精确度。此外，第一实施例提供了以下优点：解决方案可应用于计算资源受限的移动设备。第二实施例提供了以下优点：当在移动设备本地发生图像匹配和信息的覆盖时，快速给出对最终用户的反馈。与第一实施例相比，还对网络资源有更少的需求。第三实施例提供了混合解决方案，其中，由需要较少计算资源的算法本地地处理图像，以及通过高级的和/或资源需求量大的算法来对结果进行补偿。
尽管已经参考示例性实施例描述了本发明，应当理解本发明不限于所公开的示例性实施例。以下权利要求的范围与最宽的解释相一致，以便包含所有的这种修改和等同结构与功能。
Claims (13)
1.一种图像匹配装置(101、102、103)，包括：
存储单元(321)，被配置为存储连接到局域网(105)的一个或更多个设备(104)的图像数据；
获取单元(311)，被配置为获得通过捕获设备而获得的设备图像的图像数据；
指定单元(313)，被配置为指定要被用于图像匹配的一个或更多个局域网；以及
图像匹配单元(312)，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。
2.根据权利要求1所述的装置，还包括：被配置为通过使用所述图像匹配的结果来获得与所捕获的设备有关的数据的单元(331)。
3.根据权利要求2所述的装置，其中，所述与所捕获的设备有关的数据包括以下至少一项：与所捕获的设备有关的上下文信息、用于控制所捕获的设备的软件、以及与所捕获的设备相关联的广告。
4.根据权利要求1-3中任一项所述的装置，其中，所述图像匹配单元还被配置为：基于捕获设备时的条件，降低在图像匹配中要使用的图像数据的数量，或者改变在图像匹配中要使用的图像数据的顺序。
5.根据权利要求1-4中任一项所述的装置，还包括：被配置为针对所捕获的设备的图像数据将所获得的图像数据存储在所述存储单元中的单元(314)。
6.根据权利要求2-5中任一项所述的装置(102)，其中
所述装置是用于向移动终端(101)提供图像匹配服务的服务器，
所述获取单元被配置为通过从所述移动终端接收图像数据来获得图像数据。
7.根据权利要求6所述的装置，其中：
所述获取单元还被配置为从所述移动终端接收所捕获的设备的设备图像，以及所述装置还包括：
被配置为通过将与所捕获的设备有关的数据覆盖到接收到的设备图像来产生增强现实图像的单元(331)，以及
被配置为向所述移动终端发送所产生的增强现实图像的单元(334)。
8.根据权利要求6或7所述的装置，还包括：数据库(226)，被配置为针对每个设备型号存储图像数据，其中，所述图像匹配单元还被配置为：当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，执行所获得的图像数据与所述数据库中存储的图像数据的图像匹配。
9.根据权利要求8所述的装置，还包括：被配置为向所指定的局域网的网关(103)或移动终端(101)提供软件的单元(324)，所述软件使得当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，所述网关或所述移动终端能够发现所捕获的设备。
10.根据权利要求2-5中任一项所述的装置(101)，其中
所述装置是移动终端，以及
所述获取单元还被配置为获得所捕获的设备的设备图像，以及所述装置还包括：
被配置为通过将与所捕获的设备有关的数据覆盖到所获得的设备图像来产生增强现实图像的单元(331)，以及
显示单元(214)，被配置为显示所产生的增强现实图像。
11.根据权利要求10所述的装置，还包括：图像形成单元(213)，被配置为捕获设备图像。
12.根据权利要求10或11所述的装置，还包括：单元(215)，被配置为，当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，请求提供图像匹配服务的服务器(102)执行对所获得的图像数据的图像匹配。
13.一种通过使用存储器(321)来进行的图像匹配方法，所述存储器存储连接到局域网(105)的一个或更多个设备(104)的图像数据，所述方法包括：
获得(S604)通过捕获设备而获得的设备图像的图像数据；
指定(S605)要被用于图像匹配的一个或更多个局域网，以及
执行(S606)所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/069236 WO2012053118A1 (en) | 2010-10-22 | 2010-10-22 | Image matching apparatus and image matching method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103168294A true CN103168294A (zh) | 2013-06-19 |
Family
ID=45974851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010800697491A Pending CN103168294A (zh) | 2010-10-22 | 2010-10-22 | 图像匹配装置和图像匹配方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9098948B2 (zh) |
| EP (1) | EP2630575A4 (zh) |
| CN (1) | CN103168294A (zh) |
| WO (1) | WO2012053118A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827494A (zh) * | 2016-05-20 | 2016-08-03 | 珠海格力电器股份有限公司 | 添加设备的方法、装置和系统 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9252966B2 (en) * | 2010-12-08 | 2016-02-02 | At&T Intellectual Property I, L.P. | Method and system for configuring instrumentation devices |
| US10474728B2 (en) * | 2012-03-21 | 2019-11-12 | Oath Inc. | Seamless browsing between devices |
| US8803916B1 (en) * | 2012-05-03 | 2014-08-12 | Sprint Communications Company L.P. | Methods and systems for an augmented reality service delivery platform |
| US8918087B1 (en) | 2012-06-08 | 2014-12-23 | Sprint Communications Company L.P. | Methods and systems for accessing crowd sourced landscape images |
| US20140002580A1 (en) * | 2012-06-29 | 2014-01-02 | Monkeymedia, Inc. | Portable proprioceptive peripatetic polylinear video player |
| CN102831405B (zh) * | 2012-08-16 | 2014-11-26 | 北京理工大学 | 基于分布式和暴力匹配的室外大规模物体识别方法和系统 |
| CN102880854B (zh) * | 2012-08-16 | 2015-02-18 | 北京理工大学 | 基于分布式和哈希映射的室外海量物体识别方法和系统 |
| US9430548B1 (en) | 2012-09-25 | 2016-08-30 | Emc Corporation | Generating context tree data based on a tailored data model |
| US10445806B2 (en) * | 2012-11-28 | 2019-10-15 | At&T Mobility Ii Llc | Store display on-device demonstrations |
| KR102044493B1 (ko) * | 2013-07-30 | 2019-11-13 | 삼성전자주식회사 | 타겟 장치의 위치를 결정하기 위한 방법 및 그 전자 장치 |
| CN103530377B (zh) * | 2013-10-16 | 2016-08-24 | 北京理工大学 | 一种基于二进制特征码的场景信息搜索方法 |
| US9628691B2 (en) * | 2013-11-14 | 2017-04-18 | Qualcomm Incorporated | Method and apparatus for identifying a physical IoT device |
| US9451051B1 (en) | 2014-02-13 | 2016-09-20 | Sprint Communications Company L.P. | Method and procedure to improve delivery and performance of interactive augmented reality applications over a wireless network |
| US10339958B2 (en) * | 2015-09-09 | 2019-07-02 | Arris Enterprises Llc | In-home legacy device onboarding and privacy enhanced monitoring |
| US11126525B2 (en) * | 2015-09-09 | 2021-09-21 | Arris Enterprises Llc | In-home legacy device onboarding and privacy enhanced monitoring |
| TWI640952B (zh) * | 2017-05-15 | 2018-11-11 | 國立臺灣師範大學 | Virtual object collection method and portable electronic device |
| CN108932088B (zh) * | 2017-05-22 | 2020-07-14 | 洪荣昭 | 虚拟物件收集方法及可携式电子装置 |
| US11131973B2 (en) * | 2017-12-06 | 2021-09-28 | Arris Enterprises Llc | System and method of IOT device control using augmented reality |
| EP4113987B1 (en) * | 2021-06-29 | 2023-11-08 | Axis AB | System, camera device, method, and computer program for displaying collected sensor data together with images |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200683B1 (en) * | 1999-08-17 | 2007-04-03 | Samsung Electronics, Co., Ltd. | Device communication and control in a home network connected to an external network |
| US20080094417A1 (en) * | 2005-08-29 | 2008-04-24 | Evryx Technologies, Inc. | Interactivity with a Mixed Reality |
| US20100135527A1 (en) * | 2008-12-02 | 2010-06-03 | Yi Wu | Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device |
| US20100191459A1 (en) * | 2009-01-23 | 2010-07-29 | Fuji Xerox Co., Ltd. | Image matching in support of mobile navigation |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4178697B2 (ja) | 1999-11-18 | 2008-11-12 | ソニー株式会社 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
| JP2003323440A (ja) * | 2002-04-30 | 2003-11-14 | Japan Research Institute Ltd | 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム |
| JP2003330953A (ja) | 2002-05-16 | 2003-11-21 | Ntt Docomo Inc | サーバ装置、携帯端末、情報提供システム、情報提供方法、及び情報取得方法 |
| JP4914268B2 (ja) * | 2007-03-29 | 2012-04-11 | 株式会社日立製作所 | 検索サービスサーバの情報検索方法。 |
| US8924968B2 (en) * | 2009-03-31 | 2014-12-30 | Nec Corporation | System and method of managing virtual machine, and control apparatus, method and program |
| US8189964B2 (en) * | 2009-12-07 | 2012-05-29 | Google Inc. | Matching an approximately located query image against a reference image set |
-
2010
- 2010-10-22 CN CN2010800697491A patent/CN103168294A/zh active Pending
- 2010-10-22 EP EP10858671.0A patent/EP2630575A4/en not_active Withdrawn
- 2010-10-22 WO PCT/JP2010/069236 patent/WO2012053118A1/en active Application Filing
- 2010-10-22 US US13/877,273 patent/US9098948B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200683B1 (en) * | 1999-08-17 | 2007-04-03 | Samsung Electronics, Co., Ltd. | Device communication and control in a home network connected to an external network |
| US20080094417A1 (en) * | 2005-08-29 | 2008-04-24 | Evryx Technologies, Inc. | Interactivity with a Mixed Reality |
| US20100135527A1 (en) * | 2008-12-02 | 2010-06-03 | Yi Wu | Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device |
| US20100191459A1 (en) * | 2009-01-23 | 2010-07-29 | Fuji Xerox Co., Ltd. | Image matching in support of mobile navigation |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827494A (zh) * | 2016-05-20 | 2016-08-03 | 珠海格力电器股份有限公司 | 添加设备的方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2630575A1 (en) | 2013-08-28 |
| US9098948B2 (en) | 2015-08-04 |
| WO2012053118A1 (en) | 2012-04-26 |
| US20130187953A1 (en) | 2013-07-25 |
| EP2630575A4 (en) | 2014-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103168294A (zh) | 图像匹配装置和图像匹配方法 | |
| US10277774B2 (en) | Information processing apparatus, information processing system, and device linkage method | |
| KR101651029B1 (ko) | 자동 서비스 발견 및 접속을 위한 방법 및 장치 | |
| JP4799609B2 (ja) | ホームネットワーク基盤のデジタルフレームサービス提供方法 | |
| US20220337487A1 (en) | Network entity for determining a model for digitally analyzing input data | |
| US7707421B2 (en) | Method of accessing or sharing a digital document in a peer-to-peer communication network | |
| CN102932325B (zh) | 识别装置用户的联系人的方法、系统和服务器 | |
| CN101421967A (zh) | 同步家庭网络装置的内容的方法和设备 | |
| EP2879363A1 (en) | Apparatus, system, and method of managing counterpart terminal information, and carrier medium | |
| US20150229514A1 (en) | Terminal management system, terminal management method, medium storing terminal management program, and communication system | |
| CN112217856A (zh) | 应用实例的地址获取方法、装置、设备及存储介质 | |
| US20080133723A1 (en) | Extended home service apparatus and method for providing extended home service on p2p networks | |
| JP4920738B2 (ja) | 情報通信システム、情報検索サーバ及び情報検索プログラム | |
| US10298541B2 (en) | Communication management system, communication terminal, communication system, and recording medium storing control program | |
| CN107613491B (zh) | 使用增强现实获取无线接入点的密码信息的方法和装置 | |
| US10003908B2 (en) | Method and system for allocating device object identifier (OID) in open machine-to-machine (M2M) system and application system applying the same | |
| EP2849436A2 (en) | Apparatus, system, and method of managing data, and carrier means | |
| EP2849420B1 (en) | Counterpart terminal information management system, method and carrier means | |
| JP6097243B2 (ja) | アプリインストールシステム、アプリインストール方法及びプログラム | |
| US9634898B2 (en) | Communication management system, communication terminal, communication system, and recording medium storing control program | |
| CN114071652B (zh) | 一种绑定关系的建立方法以及相关设备 | |
| US10326843B2 (en) | System, apparatus, and method of managing communication, and recording medium | |
| KR100860413B1 (ko) | 피어 투 피어 네트워크에서 확장홈 서비스 장치 및 서비스제공 방법 | |
| US9316503B2 (en) | Method, server, and system for obtaining navigation information | |
| KR102548417B1 (ko) | 위치 기반의 vmi 서비스 제공방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130619 |