CN103377488A - 用于显示增强现实图像的方法及其电子装置 - Google Patents

Abstract

提供一种用于显示增强现实图像的方法及其电子装置。一种用于在电子装置中显示增强现实图像的方法包括：将目标图像与视点转换图像进行比较，所述比较确定目标图像的多个特征与视点转换图像的多个特征的匹配对；如果匹配对被确定，则显示视点转换图像的增强现实图像。

Description

用于显示增强现实图像的方法及其电子装置

本申请要求于2012年4月18日提交到韩国知识产权局的第10-2012-0040429号韩国专利申请的权益，该申请的全部公开通过引用包含于此。

技术领域

本发明涉及一种用于显示增强现实图像的特征匹配方法及其电子装置。更具体地讲，本发明涉及一种用于对特征进行匹配以便在电子装置中提供增强现实服务的系统和方法。

背景技术

近来，随着电子装置（诸如智能电话、平板个人计算机（PC）等）的突然增长，能够实现无线语音呼叫和信息交换的电子装置成为生活的必需品。最初，当提出这样的电子装置时，电子装置被仅认作能够实现无线呼叫的便携式终端。然而，随着仅能够实现无线呼叫的便携式终端的技术的发展和无线互联网的引入，所述便携式终端已经逐渐发展成为执行日程表管理、游戏、远程控制、图像拍摄等的功能的多媒体装置。

尤其，在最近几年，提供增强现实服务的电子装置已被引入市场。增强现实服务是将具有补充信息的虚拟图像叠加在用户看到的现实世界图像上并显示叠加结果的服务。增强现实服务将现实世界图像的特征与先前存储的图像的特征进行匹配，并将与匹配结果相应的虚拟视频提供给用户。然而，因为用于增强现实服务的这种特征匹配技术仅可识别在特定角度内对目标拍摄的图像，所以难以识别在除了特定角度之外的视点（viewpoint）的图像。为此，当用户在除了特定角度之外的视点拍摄现实世界图像时，难以在电子装置中提供增强现实服务。

因此，需要一种用于对特征进行匹配以便在电子装置中提供增强现实服务的系统和方法。

以上信息作为背景信息呈现仅用于帮助本公开的理解。关于以上任何描述是否可适用为关于本发明的现有技术尚未做出任何确定并且未做出任何断言。

发明内容

本发明的各方面在于至少解决上述问题和/或缺点并且在于至少提供以下描述的优点。因此，本发明的一方面在于提供一种用于对特征进行匹配以便在电子装置中提供增强现实的方法和设备。

本发明的另一方面在于提供一种用于对图像的视点进行转换并对特征进行匹配以便在电子装置中提供增强现实服务的方法和设备。

本发明的另一方面在于提供一种用于估计三维（3D）姿势以便在电子装置中提供增强现实服务的方法和设备。

本发明的另一方面在于提供一种用于在电子装置中感测拍摄角度并对特征进行匹配的方法和设备。

可通过提供一种用于显示增强现实图像的方法及其电子装置来实现以上各方面。

根据本发明的一方面，提供一种用于在电子装置中显示增强现实图像的方法。所述方法包括：将目标图像与视点转换图像进行比较，所述比较确定目标图像的多个特征与视点转换图像的多个特征的匹配对；如果匹配对被确定，则显示视点转换图像的增强现实图像。

根据本发明的另一方面，提供一种用于在电子装置中显示增强现实图像的设备。所述设备包括：至少一个处理器，用于执行计算机程序；存储器，用于存储数据和指令；至少一个模块，存储在存储器中并被配置为由至少一个处理器执行。所述模块包括用于将目标图像与视点转换图像进行比较的指令，所述比较确定目标图像的多个特征与视点转换图像的多个特征的匹配对，如果匹配对被确定，则显示视点转换图像的增强现实图像。

通过结合附图公开本发明的示例性实施例的以下详细的描述，本发明的其它方面、优点和突出特征将对本领域的技术人员变得清楚。

附图说明

从结合附图的以下描述中，本发明的特定示例性实施例的上述和其它目的、特征和优点将更加清楚，在附图中：

图1是示出根据本发明的示例性实施例的提供增强现实服务的系统的构造的示图；

图2是示出根据本发明的示例性实施例的用于将图像的视点进行转换的第一电子装置的构造的框图；

图3是示出根据本发明的示例性实施例的用于提供增强现实服务的第二电子装置的构造的框图；

图4A是示出根据本发明的示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程的流程图；

图4B是示出根据本发明的示例性实施例的用于在第二电子装置中执行使用视点转换图像来提供增强现实服务的过程的设备的示图；

图5A是示出根据本发明的第一示例性实施例的转换图像的视点以在第一电子装置中提供增强现实服务的过程的流程图；

图5B是示出根据本发明的第一示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程的流程图；

图6A是示出根据本发明的第二示例性实施例的转换图像的视点以在第一电子装置中提供增强现实服务的过程的流程图；

图6B是示出根据本发明的第二示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程的流程图；

图7是示出根据本发明的第三示例性实施例的识别第二电子装置的角度并在第二电子装置中提供增强现实服务的过程的流程图；

图8A是示出根据本发明的第四示例性实施例的在第一电子装置中获得按照角度的视点转换图像的过程的流程图；

图8B是示出根据本发明的第四示例性实施例的在第二电子装置中基于按照角度的视点转换图像来提供增强现实服务的过程的流程图；

图9是示出根据本发明的示例性实施例的用于在第二电子装置中使用视点转换图像来呈现增强现实的方法的示图；

图10A和图10B是分别示出根据本发明的示例性实施例的参考图像和视点转换图像的示图。

贯穿附图，相同的标号将被理解为表示相同的部件、组件和结构。

具体实施方式

提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些特定细节仅被认为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本发明的范围和精神的情况下，可对描述于此的实施例进行各种改变和修改。此外，为了清楚和简洁，可省略对公知的功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于字面含义，而仅是被发明人用来实现对本发明的清晰和一致的理解。因此，本领域技术人员应该清楚，提供本发明的示例性实施例的以下描述仅仅是为了说明性的目的，而不是为了限制由权利要求及其等同物限定的本发明的目的。

将理解，除非上下文明确指出，否则单数形式包括复数指示物。因此，例如，涉及到“组件表面”包括涉及一个或多个这样的表面。

在以下的描述中，电子装置包括移动通信终端（所述移动通信终端包括至少一个数据库（DB））、智能电话、平板个人计算机（PC）、数字相机、MPEG音频层-3（MP3）播放器、导航器、膝上型计算机、上网本、计算机、电视、冰箱、空调等。

图1示出根据本发明的示例性实施例的提供增强现实服务的系统的构造。

参照图1，第一电子装置200接收并存储目标的正面图像（即，目标的参考图像）。根据本发明的示例性实施例，第一电子装置200按照用户偏好角度或预设角度来转换参考图像的视点以产生视点转换图像，并存储产生的视点转换图像。这里，第一电子装置200可将参考图像的特征与视点转换图像的特征进行匹配，并存储参考图像的特征与视点转换图像的特征之间的匹配关系。此外，第一电子装置200按照视点转换图像或按照参考图像来区分并存储用于表示相应的增强现实的视频和增强现实相关信息。第一电子装置200可配置包括视点转换图像的数据库（DB），并直接将DB发送到第二电子装置300或将DB上传到特定服务器。在示例性实施例中，包括视点转换图像的DB可包括与视点转换图像相应的参考图像、参考图像的特征、视点转换图像的特征、参考图像的特征与视点转换图像的特征之间的匹配关系、相应的增强现实视频和增强现实相关信息。根据本发明的示例性实施例，第一电子装置200可以以各种文件格式和结构（例如，DB仅是这样的格式和结构的示例）将与视点转换图像相关联的数据发送到第二电子装置300中。

第二电子装置300可获得包括视点转换图像的DB。在本发明的示例性实施例中，第二电子装置300可从第一电子装置200直接接收包括视点转换图像的DB，或可通过Web从特定服务器接收包括视点转换图像的DB。当增强现实服务提供事件发生时，第二电子装置300将视点转换图像与由用户获得的目标图像进行比较并追踪目标，从而将目标的增强现实视频显示在屏幕上。

根据本发明的示例性实施例，描述为第一电子装置200和第二电子装置300是不同的装置。然而，根据设计方案，第一电子装置200和第二电子装置300可以是相同的装置。

图2示出根据本发明的示例性实施例的用于转换图像的视点的第一电子装置的构造。

参照图2，第一电子装置200包括存储器210、处理器单元220、第一无线通信子系统230、第二无线通信子系统231、音频子系统240、扬声器241、麦克风242、输入/输出（I/O）子系统250、触摸屏260、其它输入或控制装置270、运动传感器281、光学传感器282和相机子系统283。

存储器210可由多个存储器构成。例如，存储器210可包括可在其上存储数据的多个存储部分或段。存储器210可包括多个不同的存储单元。

处理器单元220可包括存储器接口221、一个或多个处理器222和外围接口223。根据情况，整个处理器单元220还被称为处理器。存储器接口221、一个或多个处理器222和/或外围接口223可以是分离的组成元件或可被集成到一个或多个集成电路。

处理器222执行各种软件程序并执行第一电子装置200的各种功能，并且还执行用于语音通信和数据通信的处理和控制。此外，除了该通用功能外，处理器222执行存储在存储器210中的特定软件模块（例如，指令集）并执行与软件模块相应的特定的各种功能。

外围接口223将第一电子装置200的I/O子系统250及其各种外围装置连接到处理器222并通过存储器接口221连接到存储器210。

源第一电子装置200的各种组成元件可通过一个或多个通信总线（未通过标号表示）或流线（未通过标号表示）被结合。

第一无线通信子系统230和第二无线通信子系统231可包括射频（RF）接收器和收发器，和/或光学（例如，红外）接收器和收发器。第一通信子系统230和第二通信子系统231可根据由第一电子装置200支持的通信网络进行区分。例如，第一电子装置200可包括支持以下项中的任何一个的无线通信子系统：全球移动通信系统（GSM）网络、增强型数据GSM环境（EDGE）网络、码分多址（CDMA）网络、无线-码分多址（W-CDMA）网络、长期演进（LTE）网络、正交频分多址（OFDMA）网络、无线保真（Wi-Fi）网络、微波存取无线互通（WiMAX）网络、蓝牙网络和/或类似项。根据本发明的示例性实施例的无线通信子系统不限于支持上述网络的无线通信子系统，并且可以是支持其它网络的无线通信子系统。然而，根据本发明的示例性实施例，第一无线通信子系统230和第二无线通信子系统231中的至少一个可支持无线局域网（WLAN）。例如，第一无线通信子系统230和第二无线通信子系统231中的一个可通过Wi-Fi网络运行。第一无线通信子系统230和第二无线通信子系统231可被构造为一个无线通信子系统。

根据本发明的示例性实施例，音频子系统240被结合到扬声器241和麦克风242，并执行音频流的输入和输出的功能（诸如语音识别、语音复制、数字录制和电话功能）。例如，音频子系统240执行用于通过扬声器241输出音频信号，并通过麦克风242接收用户的音频信号的输入的功能。音频子系统240通过处理器单元220的外围接口223来接收数据流，将接收的数据流转换为电子流，并将转换的电子流提供给扬声器241。音频子系统240从麦克风242接收转换的电子流，将接收的电子流转换为音频数据流，并将转换的音频数据流发送到外围接口223。音频子系统240可包括可拆式耳机、头戴式受话器（headphone）、头戴式耳机（headset）和/或类似项。扬声器241将从音频子系统240接收的电子流转换为人可听得见的声波，并输出转换的声波。麦克风242将从人或其它声源传送的声波转换为电子流。

I/O子系统250可包括触摸屏控制器251和/或其它输入控制器252。触摸屏控制器251可被结合到触摸屏260。触摸屏260和触摸屏控制器251不仅可通过用于确定对触摸屏260的一个或多个触摸的电容技术、电阻技术、红外技术和表面声波技术来检测触摸和运动或触摸和运动的中断，而且可通过包括其它接近传感器阵列或其它元件的任意多触摸感测技术来检测触摸和运动或触摸和运动的中断。其它输入控制器252可被结合到其它输入/控制装置270。其它输入/控制装置270可包括用于音量调整的一个或多个提高/降低按钮。此外，按钮可以是下压按钮、摇杆按钮等。其它输入/控制装置270可以是摇杆开关、拇指滚轮、拨盘、杆、诸如触摸笔的指示装置等。

触摸屏260提供第一电子装置200与用户之间的输入/输出接口。例如，触摸屏260提供用于用户的触摸输入/输出的接口。详细地讲，触摸屏260是用于将用户的触摸输入转发到第一电子装置200并向用户显示第一电子装置200的输出的介质。此外，触摸屏260向用户提供可视化输出。该可视化输出可以以文本、图形、视频和其组合的形式被呈现。触摸屏260可使用各种显示技术。例如，触摸屏260可使用液晶显示器（LCD）、发光二极管（LED）、发光聚合物显示器（LPD）、有机发光二极管（OLED）、有源矩阵有机发光二极管（AMOLED）、柔性LED（FLED）和/或类似项。根据本发明的示例性实施例，触摸屏260不限于使用这些显示技术的触摸屏。

根据本发明的示例性实施例，触摸屏260可显示从相机传感器284接收的各种拍摄图像。

存储器210可被结合到存储器接口221。存储器210可包括一个或多个磁盘存储装置、高速随机存取存储器和/或非易失性存储器、和/或一个或多个光学存储装置和/或闪速存储器（例如，与非（NAND）存储器和或非（NOR）存储器）。

存储器210存储软件。软件组成元件包括操作系统（OS）模块211、通信模块212、图形模块213、用户界面模块214、相机模块215、一个或多个应用模块216、图像管理模块217、视点转换模块218、特征提取模块219等。此外，因为作为软件组成元件的模块还可被表示为指令的集合，所以所述模块还被表示为指令集。所述模块还可被表示为程序。

存储器210可存储包括执行本发明的示例性实施例的指令的一个或多个模块。

OS软件211（例如，内置OS，诸如WINDOWS、LINUX、Darwin、RTXC、UNIX、OS X或VxWorks）包括控制通用系统操作的各种软件组成元件。例如，通用系统操作的控制表示存储器管理和控制、存储硬件（例如，装置）控制和管理、功率控制和管理等。OS软件211执行使得各种硬件（例如，装置）和软件组成元件（例如，模块）之间平滑通信的功能。

通信模块212可通过第一无线通信子系统230或第二无线通信子系统231与其它电子装置（诸如个人计算机、服务器、便携式终端等）通信。

图形模块213包括用于将图形显示在触摸屏260上的各种软件组成元件。所述图形是包括文本、网页、图标、数字图像、视频、动画等的含义。

用户界面模块214包括与用户界面相关联的各种软件组成元件。用户界面模块214包括关于用户界面的状态如何被改变、在哪些条件下用户界面的状态的改变被实现等的信息。用户界面模块214通过触摸屏260或其它输入/输出装置270来接收用于搜索位置的输入。

相机模块215包括能够实现相机相关处理和功能的相机相关软件组成元件。

根据本发明的示例性实施例，相机模块215从相机传感器284接收目标的正面图像（在下文中，被称为“参考图像”），并将接收的参考图像发送到图像管理模块217。这里，作为用于提供增强现实服务的对象的目标可包括照片、书、文件、各种对象、建筑物等。

应用模块216包括诸如以下项的应用：浏览器、电子邮件（e-mail）、即时消息、字处理、键盘仿真、地址簿、触摸列表、微件、数字版权管理（DRM）、语音识别、语音复制、位置确定功能、基于位置的服务等。

图像管理模块217从相机模块215接收参考图像，存储并管理接收的参考图像。此外，图像管理模块217从视点转换模块218接收视点转换图像，并存储接收的视点转换图像。此外，图像管理模块217从特征提取模块219接收关于每个视点转换图像的特征的信息，并存储接收的特征信息。根据本发明的示例性实施例，图像管理模块217可将视点转换图像的特征与参考图像的特征进行匹配，并存储匹配结果。此外，图像管理模块217按照视点转换图像或按照参考图像来区分并存储用于呈现相应的增强现实的视频和增强现实相关信息。这里，增强现实相关信息表示用于将表示增强现实的视频显示在屏幕上所必需的各种信息。以下，为了描述方便，用于表示增强现实的视频被称为增强现实视频。增强现实视频可以是运动图像或静止图像。例如，图像管理模块217可存储与第一视点转换图像相应的第一增强现实视频和增强现实相关信息，并存储与第二视点转换图像相应的第二增强现实视频和增强现实相关信息。

此外，图像管理模块217可从视点转换模块218接收按照针对每个参考图像先前设置的角度的视点转换图像，存储并管理接收的视点转换图像。例如，图像管理模块217可存储并管理将第一参考图像的视点转换到10度的第一视点转换图像和将第一参考图像的视点转换到20度的第二视点转换图像。根据本发明的示例性实施例，图像管理模块217可包括至少一个DB，并可被提供给外部电子装置（例如，第二电子装置）。

视点转换模块218从运动传感器281接收第一电子装置200与目标之间的拍摄角度，分析接收的拍摄角度，并确定用户最喜欢的拍摄角度。根据本发明的示例性实施例，可由用户直接设置并改变用户偏好拍摄角度。之后，视点转换模块218将从相机传感器284或图像管理模块217接收的参考图像的视点转换多达用户偏好拍摄角度，并将视点转换图像发送到图像管理模块217。例如，如果确定用户喜欢将60度作为拍摄角度，则视点转换模块218将参考图像的视点转换多达60度，并且随后将视点转换图像发送到图像管理模块217。视点转换模块218可使用单应性关系将参考图像的视点转换多达期望的角度。

视点转换模块218可按照预设角度来转换参考图像的视点或可按照取决于用户控制的角度来转换参考图像的视点。例如，视点转换模块218将参考图像的视点分别转换到10度、20度、30度、40度、50度、60度、70度、80度和90度，并将每个视点转换图像发送到图像管理模块217。

特征提取模块219从图像管理模块217接收视点转换图像，并提取接收的视点转换图像的特征。特征提取模块219可通过诸如尺度不变特征变换（SIFT）方案和快速鲁棒特征（SURF）方案的方案来提取图像的特征，其中，尺度不变特征变换（SIFT）方案提取相对于视频的尺度和旋转而不变的特征，快速鲁棒特征（SURF）方案考虑尺度、光线、视点等的环境改变并从各种视频中查找相对于环境改变而不变的特征。

此外，特征提取模块219根据设计方案从图像管理模块217接收参考图像和视点转换图像，提取参考图像和视点转换图像中的每一个的特征，将提取的参考图像与视点转换图像的特征进行匹配，并将参考图像的特征与视点转换图像的特征之间的匹配关系发送到图像管理模块217。例如，特征提取模块219提取参考图像和视点转换图像中的每一个的特征，将参考图像的第一特征与相应于该参考图像的视点转换图像的第一特征进行匹配，将参考图像的第二特征与相应于该参考图像的视点转换图像的第二特征进行匹配，并将它们之间的匹配关系发送到图像管理模块217。

存储器210可包括除了上述模块以外的附加模块（指令）。此外，存储器210可根据需要不使用一些模块（指令）。

此外，以上已提到的及以下将被提到的根据本发明的示例性实施例的第一电子装置200的各种功能可通过包括一个或多个流处理和/或专用集成电路（ASIC）的硬件，和/或软件，和/或它们的组合被执行。

运动传感器281和光学传感器282可被结合到外围接口223，并执行各种功能。例如，如果运动传感器281和光学传感器282被结合到外围接口223，则运动传感器281和光学传感器282可分别感测第一电子装置200的运动和来自外部的光。除此之外，其它传感器（诸如定位传感器、温度传感器、生物传感器等）可被连接到外围接口223并执行相关功能。根据本发明的示例性实施例，运动传感器281在第一电子装置200拍摄目标的时候，测量拍摄目标的第一电子装置200与目标之间的角度，以为了提供增强现实服务。

相机子系统283可与相机传感器284结合，并执行诸如拍照和视频录制的相机功能。此外，相机子系统283将从相机传感器284接收的各种拍摄图像发送到触摸屏260。根据本发明的示例性实施例，相机传感器284拍摄目标的参考图像并将参考图像发送到相机模块215。

根据本发明的示例性实施例，在图像管理模块217、视点转换模块218和特征提取模块219中实现的上述功能可在处理器222中直接被实现。

图3示出根据本发明的示例性实施例的用于提供增强现实服务的第二电子装置的构造的框图。

第二电子装置300包括存储器310、处理器单元320、第一无线通信子系统330、第二无线通信子系统331、音频子系统340、扬声器341、麦克风342、I/O子系统350、触摸屏360、其它输入或控制装置370、运动传感器381、光学传感器382和相机子系统383。

存储器310可由多个存储器构成。例如，存储器310可包括可在其上存储数据的多个存储部分或段。存储器310可包括多个不同的存储单元。

处理器单元320可包括存储器接口321、一个或多个处理器322和外围接口323。根据情况，整个处理器单元320还被称为处理器。存储器接口321、一个或多个处理器322和/或外围接口323可以是分离的组成元件或可被集成到一个或多个集成电路。

处理器322执行各种软件程序并执行用于第二电子装置300的各种功能，并且还执行用于语音通信和数据通信的处理和控制。此外，除了该通用功能外，处理器322执行存储在存储器310中的特定软件模块（例如，指令集）并执行与所述软件模块相应的各种功能。

外围接口323将第二电子装置300的I/O子系统350及其各种外围装置连接到处理器322并通过存储器接口321连接到存储器310。

源第二电子装置300的各种组成元件可通过一个或多个通信总线（未通过标号表示）或流线（未通过标号表示）被结合。

第一无线通信子系统330和第二无线通信子系统331可包括射频（RF）接收器和收发器，和/或光学（例如，红外）接收器和收发器。第一通信子系统330和第二通信子系统331可根据由第二电子装置300支持的通信网络进行区分。例如，第二电子装置300可包括支持以下项中的任何一个的无线通信子系统：GSM网络、EDGE网络、CDMA网络、W-CDMA网络、LTE网络、OFDMA网络、Wi-Fi网络、WiMAX网络、蓝牙网络和/或类似项。根据本发明的示例性实施例的无线通信子系统不限于支持上述网络的无线通信子系统，并且可以是支持其它网络的无线通信子系统。然而，根据本发明的示例性实施例，第一无线通信子系统330和第二无线通信子系统331中的至少一个可支持WLAN。例如，第一无线通信子系统330和第二无线通信子系统331中的一个可通过Wi-Fi网络运行。第一无线通信子系统330和第二无线通信子系统331可被构造为一个无线通信子系统。

音频子系统340被结合到扬声器341和麦克风342，并执行音频流的输入和输出的功能（诸如语音识别、语音复制、数字录制和电话功能）。例如，音频子系统340执行用于通过扬声器341输出音频信号并通过麦克风342接收用户的音频信号的输入的功能。音频子系统340通过处理器单元320的外围接口323来接收数据流，将接收的数据流转换为电子流，并将转换的电子流提供给扬声器341。音频子系统340从麦克风342接收转换的电子流，将接收的电子流转换为音频数据流，并将转换的音频数据流发送到外围接口323。音频子系统340可包括可拆式耳机、头戴式受话器、头戴式耳机和/或类似项。扬声器341将从音频子系统340接收的电子流转换为人可听得见的声波并输出转换的声波。麦克风342将从人或其它声源传送的声波转换为电子流。

I/O子系统350可包括触摸屏控制器351和/或其它输入控制器352。触摸屏控制器351可被结合到触摸屏360。触摸屏360和触摸屏控制器351不仅可通过用于确定对触摸屏360的一个或多个触摸的电容技术、电阻技术、红外技术和表面声波技术来检测触摸和运动或触摸和运动的中断，而且可通过包括其它接近传感器阵列或其它元件的任意多触摸感测技术来检测触摸和运动或触摸和运动的中断。其它输入控制器352可被结合到其它输入/控制装置370。其它输入/控制装置370可包括用于音量调整的一个或多个提高/降低按钮。此外，按钮可以是下压按钮、摇杆按钮等。其它输入/控制装置370可以是摇杆开关、拇指滚轮、拨盘、杆、诸如触摸笔的指示装置等。

触摸屏360提供第二电子装置300与用户之间的输入/输出接口。例如，触摸屏360提供用于用户的触摸输入/输出的接口。详细地讲，触摸屏360是用于将用户的触摸输入转发到第二电子装置300并向用户显示第二电子装置300的输出的介质。此外，触摸屏360向用户提供可视化输出。该可视化输出可以以文本、图形、视频和其组合的形式被呈现。触摸屏360可使用各种显示技术。例如，触摸屏360可使用LCD、LED、LPD、OLED、AMOLED、FLED和/或类似项。根据本发明的示例性实施例，触摸屏360不限于使用这些显示技术的触摸屏。

根据本发明的示例性实施例，触摸屏360可显示从相机传感器384接收的各种拍摄图像。此外，触摸屏360根据图形模块313的控制来显示增强现实视频，并显示由相机传感器384获得的图像。在示例性实施例中，触摸屏360可将增强现实视频叠加在获得的图像上并显示叠加结果。

存储器310可被结合到存储器接口321。存储器310可包括一个或多个磁盘存储装置、高速随机存取存储器和/或非易失性存储器、和/或一种或多种光学存储装置和/或闪速存储器（例如，NAND存储器和NOR存储器）。

存储器310存储软件。软件组成元件包括OS模块311、通信模块312、图形模块313、用户界面模块314、相机模块315、一个或多个应用模块316、图像管理模块317、特征管理模块318、3维（3D）姿势校正模块319等。此外，因为作为软件组成元件的模块还可被表示为指令的集合，所以所述模块还被表示为指令集。所述模块还可被表示为程序。

存储器310可存储包括执行本发明的示例性实施例的指令的一个或多个模块。

OS软件311（例如，内置OS，诸如WINDOWS、LINUX、Darwin、RTXC、UNIX、OS X或VxWorks）包括控制通用系统操作的各种软件组成元件。例如，通用系统操作的控制表示存储器管理和控制、存储硬件（装置）控制和管理、功率控制和管理等。OS软件311执行使得各种硬件（装置）和软件组成元件（模块）之间平滑通信的功能。

通信模块312可通过第一无线通信子系统330或第二无线通信子系统331实现与其它电子装置（诸如个人计算机、服务器、便携式终端等）的可能通信。

图形模块313包括用于将图形显示在触摸屏360上的各种软件组成元件。所述图形是包括文本、网页、图标、数字图像、视频、动画等的含义。根据本发明的示例性实施例，图形模块313包括用于将从相机传感器384获得的图像显示在触摸屏360上的软件组成元件。此外，图形模块313包括软件组成元件，其中，所述软件组成元件用于从图像管理模块317接收增强现实视频和相关信息，从3D姿势校正模块319接收校正的3D姿势信息，并使用校正的3D姿势信息和相关信息将增强现实视频显示在触摸屏360上。

用户界面模块314包括与用户界面相关联的各种软件组成元件。用户界面模块314包括关于用户界面的状态如何被改变、在哪些条件下用户界面的状态的改变被实现等的信息。用户界面模块314通过触摸屏360或其它输入/控制装置370来接收用于搜索位置的输入。

相机模块315包括能够实现相机相关处理和功能的相机相关软件组成元件。

根据本发明的示例性实施例，相机模块315从相机传感器384获得包括用于根据用户控制来提供增强现实服务的对象（或目标）的图像，并将获得的图像发送到图形模块313和特征管理模块318。

应用模块316包括诸如以下项的应用：浏览器、e-mail、即时消息、字处理、键盘仿真、地址簿、触摸列表、微件、DRM、语音识别、语音复制、位置确定功能、基于位置的服务等。

图像管理模块317存储并管理多个目标中的每一个的参考图像及其视点转换图像，并存储关于每个图像的特征信息。此外，图像管理模块317按照视点转换图像或按照参考图像来区分并存储用于表示增强现实的视频和相关信息。例如，图像管理模块317可存储与第一视点转换图像相应的第一增强现实视频和增强现实相关信息，并存储与第二视点转换图像相应的第二增强现实视频和增强现实相关信息。

图像管理模块317将参考图像或视点转换图像发送到特征管理模块318。此外，当特定视点转换图像被特征管理模块319选择时，图像管理模块317将与选择的视点转换图像相应的增强现实视频和增强现实相关信息发送到图形模块313。这里，图像管理模块317可由外部电子装置来更新。

特征管理模块318从相机传感器384接收获得的图像，并提取获得的图像的特征。根据本发明的示例性实施例，特征管理模块318可通过诸如SIFT方案和SURF方案的方案来提取图像的特征，其中，SIFT方案提取相对于视频的尺度和旋转而不变的特征，SURF方案考虑尺度、光线、视点等的环境改变并从各种视频中查找相对于环境改变而不变的特征。

特征管理模块318使用从获得的图像提取的特征来确定在先前存储在图像管理模块317中的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。如果在先前存储在图像管理模块317中的视点转换图像中存在具有与获得的图像的特征一致的特征的视点转换图像，则特征管理模块318选择相应的视点转换图像，并确定与选择的视点转换图像相应的增强现实视频。此外，特征管理模块318将获得的图像的特征与选择的视点转换图像的特征之间的匹配信息发送到3D姿势校正模块319。

特征管理模块318可从运动传感器381接收第二电子装置300的测量的拍摄角度，并确定在与接收的拍摄角度相应的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。

3D姿势校正模块319从特征管理模块318中接收选择的视点转换图像的特征与获得的图像的特征之间的匹配信息，并使用接收的选择的视点转换图像的特征与获得的图像的特征之间的匹配信息来估计选择的视点转换图像和获得的图像的3D姿势。例如，基于选择的视点转换图像的特征与获得的图像的特征之间的匹配信息，3D姿势校正模块319估计选择的视点转换图像与获得的图像之间的角度（即，旋转）值和距离（即，平移）值。之后，3D姿势校正模块将针对选择的视点转换图像和获得的图像所估计的3D姿势校正多达选择的视点转换图像被转换的视点，并获得参考图像和获得的图像的3D姿势。例如，3D姿势校正模块319可使用选择的视点转换图像与获得的图像之间的特征匹配信息来估计表示选择的视点转换图像与获得的图像之间的3D姿势的X、Y和Z轴角度和距离。根据本发明的示例性实施例，当选择的视点转换图像是与参考图像相比视点被转换多达60度的图像时，3D姿势校正模块319可将估计的表示3D姿势的X、Y和Z轴角度和距离校正多达60度，并获得参考图像与获得的图像之间的3D姿势。之后，3D姿势校正模块319将关于校正的3D姿势的信息发送到图形模块313。

存储器310可包括除了上述模块以外的附加模块（指令）。或者，存储器310可根据需要不使用一些模块（指令）。

此外，以上已提到的及以下将被提到的根据本发明的示例性实施例的第二电子装置300的各种功能可通过包括一个或多个流处理和/或ASIC的硬件，和/或软件，和/或它们的组合被执行。

运动传感器381和光学传感器382可被结合到外围接口323，并执行各种功能。例如，如果运动传感器381和光学传感器382被结合到外围接口323，则运动传感器381和光学传感器382可分别感测第二电子装置300的运动和来自外部的光。除此之外，其它传感器（诸如定位传感器、温度传感器、生物传感器等）可被连接到外围接口323并执行相关功能。根据本发明的示例性实施例，运动传感器381在第二电子装置300拍摄目标的时候，测量拍摄目标的第二电子装置300与目标之间的角度，以为了提供增强现实服务。

相机子系统383可与相机传感器384结合，并执行诸如拍照和视频录制的相机功能。根据本发明的示例性实施例，相机传感器384通过用户的控制来获得目标的图像，并将获得的图像发送到图形模块313和特征管理模块318。

根据本发明的示例性实施例，在图像管理模块317、特征管理模块318和3D姿势校正模块319中实现的上述功能可在处理器322中直接被实现。

图4A示出根据本发明的示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程。

参照图4A，第二电子装置300执行将目标图像与视点转换图像进行比较的步骤401以及显示视点转换图像的增强现实图像的步骤403。在第二电子装置300中显示视点转换图像的增强现实图像的步骤403还可包括以下步骤：测量在确定匹配对的步骤中被测量的目标图像与视点转换图像的拍摄角度的差，将测量的拍摄角度的差校正多达视点转换图像的视点转换角度以确定目标图像的拍摄角度，将视点转换图像的增强现实图像倾斜多达确定的目标图像的拍摄角度，显示倾斜的增强现实图像。第二电子装置300还可执行以下步骤：确定目标图像与视点转换图像之间的距离，将确定的目标图像与视点转换图像之间的距离校正多达参考图像与视点转换图像之间的距离以确定目标图像的拍摄距离，根据确定的目标图像的拍摄距离来调整视点转换图像的增强现实图像的大小，显示调整了大小的视点转换图像的增强现实图像。根据本发明的示例性实施例，视点转换图像可以是将目标的正面图像转换到与预设角度和用户偏好角度中的任何一个角度相应的视点的图像。此外，目标图像可以是由相机、存储器和外部装置中的至少任何一个获得的图像。

此外，在第二电子装置300中将目标图像与视点转换图像进行比较的步骤401还可包括以下步骤：使用视点转换图像的多个特征与先前存储的正面图像的多个特征的匹配对来确定目标图像的多个特征与所述正面图像的多个特征的匹配对。此外，显示视点转换图像的增强现实图像的步骤403还可包括以下步骤：使用确定的目标图像的多个特征与先前存储的正面图像的多个特征的匹配对来测量目标图像与所述正面图像之间的角度和距离中的至少一个，使用测量的目标图像与目标的正面图像之间的角度和距离中的至少一个来显示与正面图像相应的增强现实图像。

第二电子装置300还执行以下步骤：在多个视点转换图像中选择与拍摄角度相应的视点转换图像，将选择的视点转换图像确定为用于比较步骤的视点转换图像。这里，视点转换图像可以是视点被转换到相对于目标的正面图像的不同角度的多个视点转换图像。根据本发明的示例性实施例，第二电子装置300将第二电子装置300的拍摄角度与阈值角度进行比较。当第二电子装置300的拍摄角度大于阈值角度时，第二电子装置300可在多个视点转换图像中选择转换到除了0度之外的角度的视点转换图像，当第二电子装置300的拍摄角度小于阈值角度时，第二电子装置300可在多个视点转换图像中选择转换到0度的视点转换图像。

通过提取相对于图像的尺度和旋转而不变的特征来确定根据本发明的示例性实施例的匹配对，或通过考虑尺度、光线、视点等的环境改变并从多个图像提取相对于环境改变而不变的特征来确定根据本发明的示例性实施例的匹配对。

图4B示出根据本发明的示例性实施例的用于在第二电子装置中执行使用视点转换图像来提供增强现实服务的过程的设备的示图。

参照图4B，第二电子装置300包括将目标图像与视点转换图像进行比较的装置411和显示视点转换图像的增强现实图像的装置413。在第二电子装置300中显示视点转换图像的增强现实图像的装置413还可包括以下装置，所述装置测量在确定匹配对的装置中被测量的目标图像与视点转换图像的拍摄角度的差，将测量的拍摄角度的差校正多达视点转换图像的视点转换角度以确定目标图像的拍摄角度，将视点转换图像的增强现实图像倾斜多达确定的目标图像的拍摄角度，显示倾斜的增强现实图像。第二电子装置300还可包括以下装置，所述装置确定目标图像与视点转换图像之间的距离，将确定的目标图像与视点转换图像之间的距离校正多达参考图像与视点转换图像之间的距离以确定目标图像的拍摄距离，根据确定的目标图像的拍摄距离来调整视点转换图像的增强现实图像的大小，显示调整了大小的视点转换图像的增强现实图像。根据本发明的示例性实施例，视点转换图像可以是将目标的正面图像转换到与预设角度和用户偏好角度中的任何一个角度相应的视点的图像。此外，目标图像可以是由相机、存储器和外部装置中的至少任何一个获得的图像。

此外，在第二电子装置300中将目标图像与视点转换图像进行比较的装置411还可包括以下装置，所述装置使用视点转换图像的多个特征与先前存储的正面图像的多个特征的匹配对来确定目标图像的多个特征与所述正面图像的多个特征的匹配对。此外，显示视点转换图像的增强现实图像的装置413还可包括以下装置，所述装置使用确定的目标图像的多个特征与先前存储的正面图像的多个特征的匹配对来测量目标图像与所述正面图像之间的角度和距离中的至少一个，使用测量的目标图像与目标的正面图像之间的角度和距离中的至少一个来显示与正面图像相应的增强现实图像。

第二电子装置300还包括以下装置，所述装置在多个视点转换图像中选择与拍摄角度相应的视点转换图像，将选择的视点转换图像确定为用于比较装置的视点转换图像。这里，视点转换图像可以是视点被转换到相对于目标的正面图像的不同角度的多个视点转换图像。根据本发明的示例性实施例，第二电子装置300将第二电子装置300的拍摄角度与阈值角度进行比较。当第二电子装置300的拍摄角度大于阈值角度时，第二电子装置300可在多个视点转换图像中选择转换到除了0度之外的角度的视点转换图像，当第二电子装置300的拍摄角度小于阈值角度时，第二电子装置300可在多个视点转换图像中选择转换到0度的视点转换图像。

通过提取相对于图像的尺度和旋转而不变的特征来确定根据本发明的示例性实施例的匹配对，或通过考虑尺度、光线、视点等的环境改变并从多个图像提取相对于环境改变而不变的特征来确定根据本发明的示例性实施例的匹配对。

图5A是示出根据本发明的第一示例性实施例的转换图像的视点以在第一电子装置中提供增强现实服务的过程的流程图。

参照图5A，在步骤501，第一电子装置200获得用于提供增强现实服务的目标的参考图像。此后，第一电子装置200继续进行到步骤503并使用预设用户偏好角度来转换参考图像的视点，然后，继续进行到步骤505并提取视点转换图像的特征。根据示例性实施例，第一电子装置200可基于假设目标是平面的单应性关系通过2维（2D）视频转换来转换参考图像的视点。第一电子装置200将关于视点转换图像和视点转换图像的特征的信息存储在数据库中。例如，如图10所示，当用户偏好角度是60度时，第一电子装置200将参考图像（a）的视点转换多达60度，产生视点被转换到60度的视点转换图像（b），提取视点转换图像（b）的特征。此后，第一电子装置200终止根据本发明的示例性实施例的过程。

图5B示出根据本发明的第一示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程的流程图。这里，假设第二电子装置300已存储了通过在第一电子装置200中执行图5A的过程而产生的DB。

参照图5B，在步骤511，第二电子装置300根据用户控制来获得图像，继续进行到步骤513并提取获得的图像的特征。例如，当用户拍摄文档“A”以实现增强现实时，第二电子装置300根据用户控制来获得文档“A”的图像，并从获得的文档“A”的图像提取特征。作为另一示例，第二电子装置300可从存储器或外部装置获得图像，并提取获得的图像的特征。

此后，在步骤515，第二电子装置300确定在先前存储的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。例如，当获得的图像是文档“A”的图像时，第二电子装置300确定在先前存储的视点转换图像中是否存在具有与文档“A”的特征一致的特征的视点转换图像。根据本发明的示例性实施例，具有与文档“A”的特征一致的特征的视点转换图像可以是包括文档“A”的图像。

当在步骤515确定在先前存储的视点转换图像中不存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300返回到步骤511并再次执行随后的步骤。

相反，当在步骤515确定在先前存储的视点转换图像中存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300继续进行到步骤517并选择具有与获得的图像的特征一致的特征的视点转换图像，随后继续进行到步骤519并且将选择的视点转换图像与获得的图像的特征进行匹配并估计3D姿势。根据本发明的示例性实施例，第二电子装置300使用选择的视点转换图像和获得的图像的特征匹配信息来估计3D姿势。此后，第二电子装置300继续进行到步骤521并将估计的3D姿势校正多达转换的视点。例如，当选择的视点转换图像是与参考图像相比视点被转换到60度的图像时，估计的3D姿势是基于视点被转换到60度的图像的3D姿势，因此，第二电子装置300可将估计的3D姿势校正多达视点转换的60度以基于正面照片来估计3D姿势。

接下来，在步骤523，第二电子装置300使用校正的3D姿势来显示表示增强现实的视频。例如，第二电子装置300选择与选择的视点转换图像相应的增强现实视频，使用校正的3D姿势来渲染选择的增强现实视频，将增强现实视频叠加在获得的图像上，并显示叠加结果。此后，第二电子装置300终止根据本发明的示例性实施例的过程。

图6A示出根据本发明的第二示例性实施例的转换图像的视点以在第一电子装置中提供增强现实服务的过程的流程图。

参照图6A，在步骤601，第一电子装置200获得用于提供增强现实服务的目标的参考图像，随后继续进行到步骤603并提取参考图像的特征，并且存储参考图像和提取的参考图像的特征。此后，在步骤605，第一电子装置200使用预设用户偏好角度来转换参考图像的视点，然后，继续进行到步骤607并提取视点转换图像的特征。根据本发明的示例性实施例，第一电子装置200可基于假设目标是平面的单应性关系通过2D视频转换来转换参考图像的视点。在步骤609，第一电子装置200将参考图像的特征与视点转换图像的特征进行匹配。根据本发明的示例性实施例，第一电子装置200存储参考图像和视点转换图像，并将关于每个图像的特征和参考图像的特征与视点转换图像的特征之间的匹配关系的信息存储在数据库中。例如，第一电子装置200可将参考图像的第一特征与相应于该参考图像的视点转换图像的第一特征进行匹配，将参考图像的第二特征与相应于该参考图像的视点转换图像的第二特征进行匹配，并存储参考图像与视点转换图像之间的匹配关系。

接下来，第一电子装置200终止根据本发明的示例性实施例的过程。

图6B示出根据本发明的第二示例性实施例的在第二电子装置中使用视点转换图像来提供增强现实服务的过程的流程图。这里，假设第二电子装置300已存储了通过在第一电子装置中执行图6A而产生的DB。

参照图6B，在步骤611，第二电子装置300根据用户控制来获得图像，继续进行到步骤613并提取获得的图像的特征。例如，当用户拍摄文档“A”以实现增强现实时，第二电子装置300根据用户控制获得文档“A”的图像，并从获得的文档“A”的图像提取特征。

此后，在步骤615，第二电子装置300确定在先前存储的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。例如，当获得的图像是文档“A”的图像时，第二电子装置300确定在先前存储的视点转换图像中是否存在具有与文档“A”的特征一致的特征的视点转换图像。在本发明的示例性实施例中，具有与文档“A”的特征一致的特征的视点转换图像可以是包括文档“A”的图像。

当在步骤615确定在先前存储的视点转换图像中不存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300返回到步骤611并再次执行随后的步骤。

相反，当在步骤615确定在先前存储的视点转换图像中存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300继续进行到步骤617并选择具有与获得的图像的特征一致的特征的视点转换图像。此后，第二电子装置300继续进行到步骤619并使用选择的视点转换图像与参考图像之间的匹配关系将获得的图像的特征与参考图像的特征进行匹配，然后，基于获得的图像的特征与参考图像的特征之间的匹配信息来估计3D姿势。例如，第二电子装置300使用先前存储的参考图像的特征与选择的视点转换图像的特征之间的匹配关系，将已与选择的视点转换图像的特征进行匹配的获得的图像的特征与参考图像的特征进行匹配。接下来，第二电子装置300使用获得的图像的特征与作为正面图像的参考图像的特征之间的匹配信息来估计3D姿势。

接下来，在步骤621，第二电子装置300使用估计的3D姿势来显示表示增强现实的视频。例如，第二电子装置300选择与选择的视点转换图像相应的增强现实视频，使用估计的3D姿势来渲染选择的增强现实视频，将增强现实视频叠加在获得的图像上，并显示叠加结果。此后，第二电子装置300终止根据本发明的示例性实施例的过程。

根据本发明的示例性实施例，已对从第二电子装置300的相机传感器获得图像并提取获得的图像的特征的方案进行了描述，但是第二电子装置300可使用从存储器或外部装置获得图像并提取获得的图像的特征的方案。

图7示出根据本发明的第三示例性实施例的在第二电子装置中识别第二电子装置的角度并提供增强现实服务的过程。这里，假设第二电子装置300已存储了通过在第一电子装置300中执行图5A或图6A的过程而产生的DB。

参照图7，在步骤701，第二电子装置300根据用户控制来获得图像，继续进行到步骤703并提取获得的图像的特征。此后，在步骤705，第二电子装置300通过运动传感器来测量第二电子装置300的角度。换句话说，第二电子装置300测量第二电子装置300与目标之间的拍摄角度。根据本发明的示例性实施例，根据设计方案，在步骤701，可在拍摄图像的同时执行测量第二电子装置300的角度的处理。

接下来，第二电子装置300继续进行到步骤707并确定第二电子装置300的角度是否具有比阈值角度更大的值。这里，可根据设计方案来设置并改变阈值角度。

当在步骤707确定第二电子装置300的角度大于阈值角度时，第二电子装置300继续进行到图5B的步骤515或图7的步骤715并执行随后的步骤。

相反，当在步骤707确定第二电子装置300的角度小于阈值角度时，在步骤711，第二电子装置300确定在先前存储的参考图像中是否存在具有与获得的图像的特征一致的特征的参考图像。

当在步骤711确定在先前存储的参考图像中不存在具有与获得的图像的特征一致的特征的参考图像时，第二电子装置300返回到步骤701并再次执行随后的步骤。

相反，当在步骤711确定在先前存储的参考图像中存在具有与获得的图像的特征一致的特征的参考图像时，第二电子装置300继续进行到步骤713并选择具有与获得的图像的特征一致的特征的参考图像，并且，继续进行到步骤715并将选择的参考图像与获得的图像的特征进行匹配并估计3D姿势。根据本发明的示例性实施例，第二电子装置300使用选择的参考图像和获得的图像的特征匹配信息来估计3D姿势。

接下来，在步骤717，第二电子装置300使用估计的3D姿势来显示表示增强现实的视频。例如，第二电子装置300选择与选择的参考图像相应的增强现实视频，使用估计的3D姿势来渲染选择的增强现实视频，将增强现实视频叠加在获得的图像上，并显示叠加结果。此后，第二电子装置300终止根据本发明的示例性实施例的过程。

根据本发明的示例性实施例，第二电子装置300可感测第二电子装置300的角度并选择用于特征匹配的图像。例如，当第二电子装置300的角度大于阈值角度时，第二电子装置300可使用视点转换图像来对特征进行匹配，当第二电子装置300的角度小于阈值角度时，第二电子装置300可使用参考图像而不是使用视点转换图像来对特征进行匹配。

图8A示出根据本发明的第四示例性实施例的在第一电子装置中获得按照角度的视点转换图像的过程。

参照图8A，在步骤801，第一电子装置200获得目标的参考图像，继续进行到步骤803并按照预设角度来转换参考图像的视点。例如，第一电子装置200可使用第一参考图像将第一参考图像的视点转换到30度，将第一参考图像的视点转换到60度，将第一参考图像的视点转换到90度。

接下来，第一电子装置200继续进行到步骤805并提取视点转换图像中的每一个视点转换图像的特征。在步骤807，第一电子装置200构建由按照角度的视点转换图像组成的单独DB并存储构建的DB。例如，第一电子装置200将第一参考图像和第二参考图像的视点转换到45度和60度，然后，提取视点转换图像中的每一个视点转换图像的特征。接下来，第一电子装置200将第一参考图像的45度视点转换图像和第二参考图像的45度视点转换图像连同45度视点转换图像的相应特征作为第一DB进行构建、存储并管理，并且将第一参考图像的60度视点转换图像和第二参考图像的60度视点转换图像连同60度视点转换图像的相应特征作为第二DB进行构建、存储并管理。这里，根据本发明的示例性实施例，第一电子装置200可将参考图像的特征与每个视点转换图像的特征进行匹配，并存储参考图像的特征与每个视点转换图像的特征之间的匹配关系。

接下来，第一电子装置200终止根据本发明的示例性实施例的算法。

图8B示出根据本发明的第四示例性实施例的在第二电子装置中基于按照角度的视点转换图像来提供增强现实服务的过程。这里，假设第二电子装置300已存储了通过在第一电子装置200中执行图8A的过程而产生的DB。

参照图8B，在步骤811，第二电子装置300根据用户控制来获得图像，继续进行到步骤813并提取获得的图像的特征。此后，在步骤815，第二电子装置300通过运动传感器来测量第二电子装置300的角度。换句话说，第二电子装置300测量第二电子装置300与目标之间的拍摄角度。根据本发明的示例性实施例，根据设计方案，在步骤811，可在拍摄图像的同时执行测量第二电子装置300的角度的处理。接下来，在步骤817，第二电子装置300确定在与第二电子装置300的角度相应的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。换句话说，第二电子装置300搜索角度与第二电子装置300的角度一致或与第二电子装置300的角度最相似的视点转换图像，并确定在搜索到的视点转换图像中是否存在具有与获得的图像的特征一致的特征的视点转换图像。

例如，当第二电子装置300的角度等于45度时，第二电子装置300确定在存储在45度视点转换图像DB中的视点转换图像中是否存在具有与获得的图像的特征一致的特征的45度视点转换图像。

当在步骤817确定在与第二电子装置300的角度相应的视点转换图像中不存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300返回到步骤811并再次执行随后的步骤。

相反，当在步骤817确定在与第二电子装置300的角度相应的视点转换图像中存在具有与获得的图像的特征一致的特征的视点转换图像时，第二电子装置300继续进行到步骤819并选择具有与获得的图像的特征一致的特征的视点转换图像，接下来，第二电子装置300继续进行到步骤821并将选择的视点转换图像与获得的图像的特征进行匹配并估计3D姿势。然后，在步骤825，第二电子装置300使用3D姿势来显示表示增强现实的视频。根据本发明的实施例，在根据本发明的示例性实施例使用选择的视点转换图像的特征与获得的图像的特征之间的匹配信息来估计3D姿势之后，第二电子装置300可基于视点转换图像的视点转换角度来校正估计的3D姿势。此外，在根据本发明的另一示例性实施例使用选择的视点转换图像和参考图像的匹配关系将获得的图像的特征与参考图像的特征进行匹配后，第二电子装置300可基于获得的图像的特征与参考图像的特征的匹配信息来估计3D姿势。此后，第二电子装置300终止根据本发明的示例性实施例的算法。

图9示出根据本发明的示例性实施例的用于在第二电子装置中使用视点转换图像来呈现增强现实的方法。

如图9所示，当第二电子装置300从正面拍摄目标901时，第二电子装置300与目标901之间的拍摄角度等于0度。

当第二电子装置300以60度倾斜状态拍摄目标901时，第二电子装置300使用60度视点转换图像902来实现增强现实。根据本发明的示例性实施例，60度倾斜的第二电子装置300与60度视点转换图像902之间的拍摄角度等于0度。

图10A和图10B是分别示出根据本发明的示例性实施例的参考图像和视点转换图像的示图。

可以以硬件、软件或硬件和软件的结合的形式来执行本发明的权利要求和/或说明书中公开的根据本发明的示例性实施例的方法。

在以软件执行的情况下，可提供存储一个或多个程序（例如，软件模块）的计算机可读存储介质。存储在计算机可读存储介质中的一个或多个程序可被配置为可通过电子装置内的一个或多个处理器执行。一个或多个程序包括用于使电子装置能够执行本发明的权利要求和/或说明书中公开的根据示例性实施例的方法的指令。

这些程序（例如，软件模块或软件）可被存储在随机存取存储器（RAM）、包括闪速存储器的非易失性存储器、只读存储器（ROM）、电可擦可编程ROM（EEPPOM）、磁盘存储装置、压缩盘ROM（CD-ROM）、数字通用盘（DVD）或其它形式的光学存储装置、磁带。或者，所述程序可被存储在由它们中的一些或所有的组合所配置的存储器中。

此外，所述程序可被存储在可通过通信网络（诸如互联网、内联网、局域网（LAN）、无线LAN（WLAN）或存储区域网络（SAN）或由它们的组合配置的通信网络）访问电子装置的可附接存储装置。该存储装置可通过外部端口来访问电子装置。此外，每一个配置存储器可被包括在复数中。

此外，通信网络上的单独存储装置可访问便携式电子装置。

虽然已经参考本发明的特定示例性实施例示出并描述了本发明，但是本领域普通技术人员应理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (15)

1.一种用于在电子装置中显示增强现实图像的方法。所述方法包括：

将目标图像与视点转换图像进行比较，所述比较确定目标图像的多个特征与视点转换图像的多个特征的匹配对；

如果匹配对被确定，则显示视点转换图像的增强现实图像。

2.如权利要求1所述的方法，其中，显示视点转换图像的增强现实图像的步骤包括：

测量在确定匹配对时被测量的目标图像与视点转换图像的拍摄角度的差；

将测量的拍摄角度差校正多达视点转换图像的视点转换角度以确定目标图像的拍摄角度；

将视点转换图像的增强现实图像倾斜多达确定的目标图像的拍摄角度；

显示倾斜的增强现实图像。

3.如权利要求2所述的方法，还包括：

确定目标图像与视点转换图像之间的距离；

将确定的距离校正多达参考图像与视点转换图像之间的距离以确定目标图像的拍摄距离，

其中，显示视点转换图像的增强现实图像的步骤还包括：根据确定的目标图像的拍摄距离来调整视点转换图像的增强现实图像的大小，并显示调整了大小的视点转换图像。

4.如权利要求1所述的方法，其中，视点转换图像是将目标的正面图像转换到与预设角度和用户偏好角度中的任何一个角度相应的视点的图像，

其中，目标图像由相机、存储器和外部装置中的至少任何一个来获得。

5.如权利要求1所述的方法，其中，将目标图像与视点转换图像进行比较的步骤包括：使用正面图像的多个特征和视点转换图像的多个特征的匹配对来确定先前存储的正面图像的多个特征与目标图像的多个特征的匹配对。

6.如权利要求5所述的方法，其中，显示视点转换图像的增强现实图像的步骤包括：

使用确定的正面图像的多个特征与目标图像的多个特征的匹配对来测量正面图像与目标图像之间的角度和距离中的至少一个；

使用测量的正面图像与目标图像之间的角度和距离中的至少一个来显示目标的正面图像的增强现实图像。

7.如权利要求1所述的方法，还包括：

在多个视点转换图像中选择与拍摄角度相应的视点转换图像；

将选择的视点转换图像确定为用于比较的视点转换图像。

8.如权利要求7所述的方法，其中，视点转换图像包括视点被转换到相对于目标的正面图像的不同角度的多个视点转换图像。

9.如权利要求7所述的方法，其中，在视点转换图像中选择与拍摄角度相应的视点转换图像的步骤包括：

将电子装置的拍摄角度与阈值角度进行比较；

当电子装置的拍摄角度大于阈值角度时，在多个视点转换图像中选择转换到除了0度之外的角度的视点转换图像；

当电子装置的拍摄角度小于阈值角度时，在多个视点转换图像中选择转换到0度的视点转换图像。

10.如权利要求1所述的方法，其中，通过以下步骤之一来确定匹配对：

提取相对于图像的尺度和旋转而不变的特征；

考虑尺度、光线和视点的环境改变并从多个图像提取相对于环境改变而不变的特征。

11.一种用于显示增强现实图像的电子装置，所述电子装置包括：

至少一个处理器，用于执行计算机程序；

存储器，用于存储数据和指令；

至少一个模块，存储在存储器中并被配置为由所述至少一个处理器执行，

其中，所述至少一个模块包括用于将目标图像与视点转换图像进行比较的指令，所述比较确定目标图像的多个特征与视点转换图像的多个特征的匹配对，如果匹配对被确定，则显示视点转换图像的增强现实图像。

12.如权利要求11所述的装置，其中，所述至少一个模块包括一种指令，所述指令用于测量在确定匹配对时被测量的目标图像与视点转换图像的拍摄角度的差，用于将测量的拍摄角度差校正多达视点转换图像的视点转换角度以确定目标图像的拍摄角度，用于将视点转换图像的增强现实图像倾斜多达确定的目标图像的拍摄角度，用于显示倾斜的增强现实图像。

13.如权利要求12所述的装置，其中，所述至少一个模块包括一种指令，所述指令用于确定目标图像与视点转换图像之间的距离，用于将确定的距离校正多达参考图像与视点转换图像之间的距离以确定目标图像的拍摄距离，用于根据确定的目标图像的拍摄距离来调整视点转换图像的增强现实图像的大小，用于显示调整了大小的增强现实图像。

14.如权利要求11所述的装置，其中，视点转换图像是将目标的正面图像转换到与预设角度和用户偏好角度中的任何一个角度相应的视点的图像，

其中，目标图像由相机、存储器和外部装置中的至少任何一个来获得。

15.如权利要求11所述的装置，其中，所述设备被设置为执行权利要求5至10之一的方法。

Images