CN102375867A - 使用过滤信息来识别对象的装置和方法 - Google Patents

Abstract

一种使用过滤信息的对象识别方法，该方法包括：获取包括感兴趣的对象的对象图像信息；获取用于从对象图像信息中识别感兴趣的对象的过滤信息；以及使用过滤信息来识别感兴趣的对象。一种使用过滤信息的对象识别装置，该装置包括：对象信息获取单元，用于获取包括感兴趣的对象的对象图像信息；过滤信息输入单元，用于获取过滤信息；输出单元，用于输出图像信息和过滤信息；以及控制器，用于使用过滤信息来识别对象图像信息中的感兴趣的对象。

Description

使用过滤信息来识别对象的装置和方法

相关申请的交叉引用

本申请根据35U.S.C.§119(a)要求于2010年8月13日提交的韩国专利申请No.10-2010-0078462的优先权及权益，其所公开的内容作为引用而被结合于此以用于各种目的。

技术领域

下面的描述涉及一种用于识别对象的增强现实(AR)装置和方法。

背景技术

增强现实(AR)是一种将虚拟对象或虚拟信息与真实环境相合成以使得虚拟对象或虚拟信息看起来好像是可以存在于真实世界环境中的真实对象或真实信息的计算机图形技术。

不同于仅针对虚拟空间和虚拟对象的现有的虚拟现实(VR)，AR的特征在于基于真实世界来合成虚拟对象，从而提供不能容易地从真实世界获得的附加信息。基于AR的该特性，不同于现有的已经被应用到有限领域(诸如游戏)的VR，AR能够被应用到各种真实环境。AR的特性使得AR技术成为适用于无处不在的环境的下一代显示技术的焦点。

例如，AR可以被实现为将信息重叠在真实世界的图像上的方法。如果用其中安装有GPS传感器的移动电话的相机获得了特定方向处的旅游点，则可以显示与位于由移动电话捕获到的街道的真实世界图像中的街道上的正在出售的各种商店或饭店相关的AR数据。

为了提供这样的AR数据，可以对真实世界中存在的对象进行识别。也就是说，识别不得不从其获得AR数据的商店或具体项目的能力是AR技术的一个因素。

常规识别技术能够识别预指定的标记，但是在使用基于无标记的识别技术(诸如边缘和边界检测)时很难确保高的识别率。为了提供更有效的AR服务，可以开发对这种基于无标记的识别技术的改进。

此外，常规识别技术不能容易地从包括多个对象的图像信息中检测感兴趣的对象。而且，常规识别技术会识别用户不感兴趣的对象并提供与不期望的对象相关的元数据，这会不期望地消耗处理器或时间资源。另外，会不期望地消耗大量的时间来从相似的预存储对象中寻找想要的对象，以标识被识别的对象。

发明内容

本发明的示例性实施方式提供了一种通过使用过滤信息来识别对象的装置。本发明的示例性实施方式还提供了一种通过使用过滤信息来识别对象的方法。

将在下面的描述中对本发明的附加特征进行阐述，并且部分这些特征将通过以下描述而变得显而易见，或通过实践本发明可以学习到这些特征。

本发明的示例性实施方式提供了一种使用过滤信息的对象识别装置，包括：对象信息获取单元，用于获取包括感兴趣的对象的对象图像信息；过滤信息输入单元，用于获取过滤信息，该过滤信息用于从图像信息中识别感兴趣的对象；以及控制器，用于使用过滤信息来识别对象图像信息中的感兴趣的对象。

本发明的示例性实施方式提供了一种使用过滤信息的对象识别装置，包括：对象信息获取单元，用于获取包括感兴趣的对象的图像信息；过滤信息输入单元，用于获取过滤信息，该过滤信息用于从图像信息中识别感兴趣的对象；输出单元，用于输出图像信息和过滤信息；对象识别信息存储器，用于存储参考特征信息；元数据存储器，用于存储与感兴趣的对象相关的详细信息；以及控制器，用于使用过滤信息和参考特征信息来识别图像信息中的感兴趣的对象。

本发明的示例性实施方式提供了一种使用过滤信息来识别对象的方法，包括：获取包括感兴趣的对象的对象图像信息；获取用于从对象图像信息中识别感兴趣的对象的过滤信息；以及使用过滤信息来识别感兴趣的对象。

可以理解的是，上面的一般性描述和随后的详细描述都是示例性和说明性的，并致力于提供对权利要求书所要求的本发明的进一步解释。其他的特点和方面将通过随后的详细描述、附图以及权利要求书而变得显而易见。

附图说明

被包括以提供对本发明的进一步理解并且被合并到本说明书中并构成本说明书的一部分的附图示出了本发明的实施方式，并与以下描述一起来用于解释本发明的原理。

图1示出了根据本发明示例性实施方式的使用过滤信息的对象识别装置；

图2示出了根据本发明示例性实施方式的使用过滤信息的对象识别方法的流程图；

图3示出了根据本发明示例性实施方式的对象信息图像；

图4和图5示出了根据本发明示例性实施方式的在图3所示的对象信息图像中包括感兴趣的对象的过滤信息的图像；

图6示出了根据本发明示例性实施方式的对象信息图像；

图7示出了根据本发明示例性实施方式的在图6所示的对象信息图像中包括感兴趣对象的过滤信息的图像。

具体实施方式

以下参考附图来更全面地描述本发明，其中，附图中示出了本发明的实施方式。然而，本发明可被体现在许多不同的形式中，并且不应当被解释为局限于本文阐述的实施方式。相反地，提供这些实施方式是为了使本公开更为透彻，并将向本领域技术人员完全传达本发明的范围。可以理解的是，出于本公开的目的，“每个中的至少一者”将被解释为意指遵照各种语言的所列举元素的任意组合包括多个所列举元素的组合。例如，“X、Y和Z中的至少一者”将被解释为意指仅X、仅Y、仅Z或X、Y和Z中的两个或更多项的任意组合(例如，XYZ、XZ、YZ、XY)。除非特别说明，否则整个附图及详细描述中，相同的附图参考标记将被理解为指代相同的元件、特征以及结构。为了清楚、例示以及方便，这些元件的相对尺寸和绘图可以被夸大。

图1示出了根据本发明示例性实施方式的使用过滤信息的对象识别装置。

参考图1，该对象识别装置包括：对象信息获取单元110、输出单元120、过滤信息输入单元130、对象识别信息存储器140、控制器170，并且还可以包括元数据存储器150以及操纵单元160。

对象信息获取单元110用来获取包括存在于真实环境中的至少一个感兴趣的对象的对象信息。该对象信息可以包括图像信息、位置信息、声音信息等等。在一个示例中，感兴趣的对象可以是在真实世界中存在的物、人、状态或标记、具体位置、气候、速度、视觉数据、听觉数据、嗅觉数据等等。此外，对象信息获取单元110可以包括用于获取和输出包括感兴趣的对象的图像的相机或图像传感器，用于获取声音的麦克风，用于输出声音的扬声器，嗅觉数据传感器，GPS传感器，地磁传感器或速度传感器。通过对象信息获取单元110接收到的对象信息图像的示例在图3和图6中示出。

尽管在图中没有示出，但是对象信息获取单元110可以由通信接口或功能来实现，以获取存储在存储器中的对象信息。例如，对象信息获取单元110可以通过使用GPS传感器通过检测对应于用户的当前位置信息的地图信息来获取关于用户的当前位置的信息作为对象信息，并然后传送该对象信息到控制器170。

输出单元120输出从控制器170传送的控制信号和各种数据。在一个示例中，输出单元120可以包括用于输出视觉数据的显示器、用于以可听到的声音的形式输出声音数据的扬声器等。根据一个示例，输出单元120可将从对象信息获取单元110获取的图像信息、通过过滤信息输入单元130接收到的过滤信息、元数据以及用户接口信息输出到控制器170以进行处理。

过滤信息输入单元130用来从获取到的对象信息中获得感兴趣的对象的过滤信息。例如，过滤信息输入单元130可以是触发器被按下时用于生成过滤后的数据的输入单元。该触发器可以是触摸传感器、鼠标、获取声音数据的麦克风等。

可以以各种形式来提供过滤信息。在一个示例中，过滤信息可以包括感兴趣的对象的位置信息、属性、轮廓图像数据等等。更具体地，过滤信息可以是示出所显示图像上的多个重叠对象中的感兴趣对象的轮廓的轮廓图像数据(见图4)、感兴趣的对象的详细信息(诸如感兴趣的对象的制造商)、或感兴趣的对象(诸如国家公园)的位置信息。例如，在图3示出的对象信息的情况中，过滤信息可以是车辆的商标，诸如“大众汽车TM”。

在图4、图5和图7中示出了在显示器上显示的过滤信息的示例。参考图4，将显示车辆的轮廓的轮廓图像数据(其可由用户输入)显示为过滤信息。

而且，过滤信息可以被分类成主要过滤信息和次要过滤信息。例如，如图4所示，为感兴趣的对象车辆的轮廓图像数据410可以是主要过滤信息。此外，如图5所示，可以是感兴趣的对象的详细信息的车窗的轮廓510可以是次要过滤信息。

因此，主要过滤信息可以是关于感兴趣的对象的一般过滤信息，并且如果能够通过使用主要过滤信息来识别感兴趣的对象，则控制器170可以请求用户输入次要过滤信息来获得识别到的感兴趣的对象的详细信息。

而且，过滤信息可以包括对象的可至少部分地由用户估计的轮廓图像数据以及对象的容易在所显示的图像中识别到的轮廓图像数据。例如，如图6所示，为感兴趣的对象的建筑物610被另一建筑物620部分遮挡。在这种情况下，如图7所示，用户可以输入显示包括建筑物610的被遮挡部分的建筑物610的整个形状的绘图信息630，作为过滤信息。

对象识别信息存储器140存储感兴趣的对象的参考特征信息，作为用于识别对象的映射信息。参考特征信息可包括关于感兴趣的对象的形状、颜色、纹理、图案、颜色柱状图以及边缘的信息。控制器170将通过应用过滤信息获取的对象识别信息与存储的参考特征信息做比较，以确定是什么对象，从而识别检测到的感兴趣的对象。

在一个示例中，对象识别信息存储器140可以被安装在对象识别装置中或可被置于对象识别装置外部，并通过网络传送数据。在对象识别信息存储器140被置于对象识别装置外部的情况下，对象识别信息存储器140还可包括用于进行网络通信的通信接口。

元数据存储器150存储与感兴趣的对象相关的各种类型信息。例如，如果某种对象是树，则对象的元数据可以是显示树的名称、主要栖息地、生态特征和其他相关信息的标签图像。可以向每条元数据分配与分配给相应感兴趣的对象的标识符相同的标识符。

元数据存储器150还可以被安装在对象识别装置中或可被置于对象识别装置外部，并通过网络接收数据。在元数据存储器150被置于对象识别装置外部的情况下，元数据存储器150还可包括用于进行网络通信的通信接口。

操纵单元160是从用户接收输入信息的用户接口。操纵单元160可以是当触发器被按下的情况下用于生成数据的输入单元。该触发器可以是按钮、触摸传感器、鼠标等。根据一个示例，可以通过操纵单元160来接收元数据、优先级信息、选择信息等。

控制器170控制上述各个部件执行通过使用过滤信息来识别对象的操作。控制器170可以是硬件处理器或在硬件处理器中被执行的软件模块。下面将参考图2来更详细地描述控制器170的操作。

尽管没有在图中示出，但是控制器170可包括提供感测信息(例如，当前时间、当前位置、拍摄方向等)的各种类型的传感器，以帮助对象检测以及用于对象检测的元数据检测。

下文中，将参考图2来描述使用过滤信息的对象识别方法。图2示出了根据本发明示例性实施方式的使用过滤信息的对象识别方法的流程图。简便起见，图2将被描述为由上述的对象识别装置执行的方法。然而，该方法不限于此。

参考图1和图2，如果通过用户的输入设置了对象识别模式，则控制器170可驱动对象信息获取单元110来获取包括至少一个感兴趣的对象的对象信息(步骤210)。该对象信息可包括图像信息、位置信息、声音信息等等。

然后，控制器170接收过滤信息(步骤220)。控制器170可通过输出单元120输出第一对象信息，以允许用户输入过滤信息，这并未在该图中示出。例如，如果第一对象信息是图像信息，则控制器170可通过输出单元120如图3或图6所示那样在显示屏幕上输出该图像信息。

然后，如果用户想要看到包括在图像信息中的车辆的元数据，他或她可输入显示如图4所示的车辆轮廓的轮廓图像数据作为过滤信息，以便于将该车辆检测为感兴趣的对象。在从用户接收到过滤信息后，控制器170可通过将过滤信息重叠到检测到的感兴趣的对象上，来将过滤信息应用到在显示的图像中检测到的感兴趣的对象。

然后，控制器170通过使用过滤信息和参考特征信息来从对象信息中检测并识别感兴趣的对象(步骤230)。根据一个示例，过滤信息可被控制器170用于两个目的。首先，过滤信息可用于从包括多个对象的对象图像信息中检测感兴趣的对象。例如，过滤信息可用作用于从显示有许多建筑物的图像中检测或选择特定建筑物的信息。

其次，过滤信息可用来增加对象识别率或对象识别速度。更具体地，控制器170可将通过应用过滤信息到对象信息而获取的对象识别信息与来自对象识别信息存储器140的至少一条参考特征信息做比较。做此比较的目的是识别检测到的感兴趣的对象。在一个示例中，控制器170对至少一条与存储在对象识别信息存储器140中的过滤后的参考特征信息相似的对象识别信息进行过滤，以及将从对象识别信息存储器140中提取的过滤后的参考特征信息与从对象信息检测到的对象识别信息相比较来识别检测到的感兴趣的对象。此外，能够减少识别所需的时间并提高识别率。

总而言之，控制器170使用过滤信息来从可包括多个对象的图像信息中检测感兴趣的对象。然后，控制器170将对象识别信息与存储在对象识别信息存储器140中的存储的参考特征信息做比较来识别感兴趣的对象。更具体地，控制器170检测分配给参考特征信息的标识符，并将同一标识符映射到检测到的感兴趣的对象。而且，控制器170可基于从各种类型的传感器感测到的信息来检测对象信息。

同时，上述的操作220到230可被重复多次。如果使用由用户输入的主要过滤信息的对象识别失败，则控制器170可输出用于请求用户输入次要过滤信息的消息，从用户接收该次要过滤信息，然后使用该次要过滤信息来执行对象识别。

然而，在操作230中，如果过滤信息和对象信息都被用来从对象识别信息存储器140中搜索感兴趣的对象，则会存在着两个或两个以上的对象都被检测为感兴趣的对象的情况。在这种情况下，控制器170可输出检测到的结果来允许用户输入用于选择感兴趣的对象的确切信息。

接着，控制器170搜索与识别到的感兴趣的对象相关的元数据(步骤240)。例如，控制器170可搜索与分配给识别到的感兴趣的对象具有相同标识符的感兴趣的对象。此时，可找到两条或两条以上针对感兴趣的对象的元数据。然后，控制器170可输出找到的元数据(步骤250)。如果找到两条或两条以上元数据，则控制器170可根据优先级来输出元数据。可根据提前存储的用户的喜好来提前设置优先级或可实时地从用户接收该优先级。

对于本领域技术人员而言显而易见的是，在不背离本发明的精神或范围的情况下，能够对本发明进行各种修改和变形。因此，因此，认为这些修改和变形位于所附权利要求书及其等同形式的范围内，意欲使本发明覆盖本发明这些修改和变形。

Claims (17)

1.一种对象识别方法，该方法包括：

获取包括感兴趣的对象的对象图像信息；

获取用于从所述对象图像信息中识别所述感兴趣的对象的过滤信息；以及

使用所述过滤信息来识别所述感兴趣的对象。

2.根据权利要求1所述的对象识别方法，其中所述过滤信息包括显示所述感兴趣的对象的轮廓的轮廓图像数据。

3.根据权利要求2所述的对象识别方法，其中获取所述过滤信息包括：

输出获取到的对象图像信息；

接收所述感兴趣的对象的轮廓图像数据；以及

输出所述轮廓图像数据以与所述对象图像信息重叠。

4.根据权利要求1所述的对象识别方法，其中所述过滤信息包括与所述感兴趣的对象相关的详细信息或位置信息。

5.根据权利要求1所述的对象识别方法，该方法还包括：

如果使用所述过滤信息没有识别到所述感兴趣的对象，则输出用于输入附加过滤信息的请求；

接收来自用户的所述附加过滤信息；以及

使用所述附加过滤信息来识别所述感兴趣的对象。

6.根据权利要求1所述的对象识别方法，该方法还包括：

搜索与所述感兴趣的对象相关的元数据；以及

输出所述元数据。

7.根据权利要求6所述的对象识别方法，其中输出所述元数据包括：如果找到两条或两条以上用于所述感兴趣的对象的元数据，则根据预定的优先级来输出所述元数据。

8.根据权利要求1所述的对象识别方法，其中使用所述过滤信息来识别所述感兴趣的对象包括：

检测对象识别信息，其中所述对象识别信息包括对应于所述感兴趣的对象的特征信息；

将所述对象识别信息与存储的参考特征信息进行比较；以及

如果所述对象识别信息与存储的参考特征信息相匹配，则识别所述感兴趣的对象。

9.根据权利要求1所述的对象识别方法，该方法还包括：获取与识别到的感兴趣的对象相关的元数据，其中所述元数据与所述感兴趣的对象一起被输出。

10.一种使用过滤信息的对象识别装置，该对象识别装置包括：

对象信息获取单元，该对象信息获取单元用于获取包括感兴趣的对象的对象图像信息；

过滤信息输入单元，该过滤信息输入单元用于获取过滤信息，所述过滤信息用于从所述图像信息中识别所述感兴趣的对象；

输出单元，该输出单元用于输出所述图像信息和所述过滤信息；以及

控制器，该控制器用于使用所述过滤信息来识别所述对象图像信息中的所述感兴趣的对象。

11.根据权利要求10所述的对象识别装置，其中所述控制器通过所述输出单元输出所述图像信息，以及输出所述过滤信息来与所述对象图像信息重叠。

12.根据权利要求10所述的对象识别装置，其中如果使用所述对象信息和所述过滤信息没有识别到所述感兴趣的对象，则所述控制器输出用于请求附加过滤信息的消息并接收所述附加过滤信息以通过使用所述附加过滤信息来识别所述感兴趣的对象。

13.根据权利要求10所述的对象识别装置，该对象识别装置还包括用于存储所述感兴趣的对象的元数据的元数据存储器，

其中所述控制器搜索与所述感兴趣的对象相关的元数据并通过所述输出单元输出所述元数据。

14.根据权利要求13所述的对象识别装置，其中如果找到两条或两条以上用于所述感兴趣的对象的元数据，则所述控制器根据预定的优先级来输出所述元数据。

15.根据权利要求10所述的对象识别装置，该对象识别装置还包括用于存储参考特征信息的对象识别信息存储器，所述参考特征信息用于与检测到的对象识别信息做比较。

16.根据权利要求15所述的对象识别装置，其中如果所述对象识别信息与所述参考特征信息相匹配，则识别到所述感兴趣的对象。

17.一种使用过滤信息的对象识别装置，该对象识别装置包括：

对象信息获取单元，该对象信息获取单元用于获取包括感兴趣的对象的图像信息；

过滤信息输入单元，该过滤信息输入单元用于获取过滤信息，所述过滤信息用于从所述图像信息中识别所述感兴趣的对象；

输出单元，该输出单元用于输出所述图像信息和所述过滤信息；

对象识别信息存储器，该对象识别信息存储器用于存储参考特征信息；

元数据存储器，该元数据存储器用于存储与所述感兴趣的对象相关的详细信息；以及

控制器，该控制器用于使用所述过滤信息和所述参考特征信息来识别所述图像信息中的所述感兴趣的对象。

Images