CN102714767A - 信息终端装置、信息终端装置的操作方法及其程序 - Google Patents

Abstract

本发明提供一种信息终端装置，其仅通过由内置相机对目标装置进行拍摄来呈现根据目标装置的操作菜单，从而直观地执行适合目标装置的操作。所述信息终端装置包括：目标识别单元，从由内置相机对目标装置拍摄的图像中识别出目标装置；菜单管理单元，基于由所述目标识别单元获得的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及处理单元，根据基于所述操作菜单信息选择的操作内容，给出操作指令。

Description

信息终端装置、信息终端装置的操作方法及其程序

技术领域

本发明涉及诸如蜂窝电话终端之类的信息终端装置，且更具体地涉及能够遥控诸如家用电器之类的装置的信息终端装置、及其操作方法和程序。

背景技术

诸如蜂窝电话终端之类的一些信息终端装置具有红外通信功能或无线电通信功能(例如，Bluetooth或WiFi)，所述红外通信功使得装置能够用作诸如家用电器之类的装置的遥控器，所述无线电通信功能够用于数据交换。

当通过使用具有这种功能的蜂窝电话终端进行遥控来操作家用电器(例如，电视机、HD录像机等等)时，启动例如用于遥控操作的应用程序，以根据为该应用程序准备的操作屏幕(菜单)来操作目标装置。

在例如专利文献1中陈述了与能够遥控多个装置的控制器相关的技术，且将专利文献1中陈述的该技术应用到蜂窝电话终端还使得能够实现蜂窝电话终端对多个装置的遥控操作。

当在多个装置中提供不同的条形码图案或提供闪烁图案不同的发光设备的情况下，专利文献1所述的技术使得能够通过由控制器读取条形码图案或发光设备的闪烁图案来读取根据读取的图案随每个装置变化的菜单信息，从而遥控多个装置。

专利文献1：日本专利公开No.2001-8279

然而，当依靠安装在蜂窝电话终端中的遥控功能，通过使用红外通信功能或无线电通信功能，来遥控操作多个本地现有的家用电器时，通常要求例如以下麻烦的操作：首先从菜单前进至附件、遥控操作和对另一方装置的选择，显示另一方的装置的选择子菜单，从菜单中选择作为通信对象的家用电器，然后选择操作屏幕并从该操作屏幕操作另一方的装置，以进行通信。

在例如“首先从菜单前进至服务、数据交换、家用电器联络和对另一方装置的选择，以及在选择另一方装置之后，在TV上观看由蜂窝电话终端的内置相机拍摄并保存的视频”这样的在蜂窝电话终端和周围家用电器之间的数据交换的情况下，通常要求以下麻烦的操作：首先搜索数据存储位置以指定目标数据，以及搜索要启动的与该数据相关的操作的菜单。

尽管有可能通过使用专利文献1所述的技术来遥控操作多个装置，专利文献1的技术要求目标装置具有条形码或闪烁的发光设备，其阻碍了应用程序对已经提供且当前正在使用的家用电器的遥控操作。此外，与专用控制器不同，蜂窝电话终端对装置的操作依然具有已经提及的这种问题。

(本发明的目标)

本发明的目标是提供解决上述问题并使得能够直观地执行适合目标装置的操作的信息终端装置、及其操作菜单设置方法和程序。

发明内容

根据本发明的第一示例方面，一种信息终端装置包括：目标识别单元，从由内置相机对目标装置拍摄的图像中识别出目标装置；菜单管理单元，基于由所述目标识别单元获得的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及处理单元，根据基于所述操作菜单信息选择的操作内容，给出操作指令。

根据本发明的第二示例方面，一种由具有内置相机的信息终端装置来操作目标装置的操作方法，包括以下步骤：从由所述内置相机对目标装置拍摄的图像中识别出目标装置；基于对目标的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及根据基于所述操作菜单信息所选择的操作内容，给出操作指令。

根据本发明的第三示例方面，一种使得具有内置相机的信息终端装置执行以下处理的程序：从由所述内置相机对目标装置拍摄的图像中识别出目标装置；基于对目标的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及根据基于所述操作菜单信息所选择的操作内容，给出操作指令。

本发明使得能够直观地执行适合目标装置的操作，因为可以仅通过内置相机对目标装置的拍摄来呈现根据目标装置的操作菜单。

附图说明

图1是示出了本发明的第一示例实施例的蜂窝电话终端的结构的框图；

图2是示出了根据第一示例实施例的装置菜单信息存储单元的装置操作菜单表格的布置的示例的图；

图3是示出了要在装置菜单信息存储单元的装置操作菜单表格处登记的特征图案和操作菜单信息的布置的示例的图；

图4是用于解释根据第一示例实施例的蜂窝电话终端的操作菜单产生处理的内容的流程图；

图5是用于解释根据第一示例实施例的蜂窝电话终端对目标装置的操作处理的内容的流程图；

图6是示出了根据第一示例实施例的蜂窝电话终端的操作的示例的图；

图7是用于解释根据第二示例实施例的蜂窝电话终端的操作菜单产生处理的内容的流程图；

图8是示出了根据第二示例实施例的装置菜单信息存储单元的装置操作菜单表格的布置的示例的图；

图9是用于解释根据第二示例实施例的蜂窝电话终端对目标装置的操作处理的内容的流程图；

图10是示出了根据第二示例实施例的蜂窝电话终端的操作的示例的图；以及

图11是示出了根据第三示例实施例的蜂窝电话终端的操作的示例的图。

具体实施方式

接下来，将参照附图来详细描述本发明的示例实施例。

(第一示例实施例)

首先，将参照附图来详细描述本发明的第一示例实施例。

图1是示出了根据本发明的第一示例实施例的蜂窝电话终端10的结构的框图。参见图1，根据本示例实施例的蜂窝电话终端10包括内置相机11、输入/输出接口单元12、目标识别单元13、装置菜单信息存储单元14、菜单管理单元15、UI(用户界面)屏幕产生单元16、处理单元17、通信控制单元18、显示单元19和操作按键20。

在图1中，仅示出了本发明所需的组件，而未示出普通蜂窝电话终端10具有的其他组件。尽管在本示例实施例中，示出的是将蜂窝电话终端作为信息终端装置使用的示例，但是具有相机功能和通信功能的其他信息终端装置也是适用的，包括：智能电话、PDA、笔记本PC等等。

类似于在普通蜂窝电话终端10中提供的相机，内置相机11具有拍摄目标的静止图像或视频并保存其图像的功能。用于显示字符信息或图像信息的显示单元19或供用户输入字符或操作的操作按键20连接到输入/输出接口单元12。

目标识别单元13具有从内置相机11拍摄的目标装置的图像中提取特征图案的功能，所述特征图案比如是目标装置的特征点。该单元还具有在操作菜单的初始设置时在装置菜单信息存储单元14处登记所提取的特征图案的功能，以及具有在实际操作中比较提取的特征图案和在装置菜单信息存储单元14处登记的特征图案，以识别拍摄到的目标装置的功能。

装置菜单信息存储单元14存储装置操作菜单表格，所述装置操作菜单表格将稍后进行描述，并且存储特征图案(比如由目标识别单元13提取的目标装置的特征点)和由菜单管理单元15产生的操作菜单信息。

菜单管理单元15具有在初始设置时根据登记的目标装置来产生操作菜单的功能，以及具有在操作中从装置菜单信息存储单元14中读取识别出的目标装置的操作菜单信息的功能。

UI屏幕产生单元16具有以下功能：基于菜单管理单元15读取的操作菜单信息来产生用户可操作的操作菜单屏幕，并使得显示单元19显示所产生的屏幕。

处理单元17具有以下功能：根据由用户在显示单元19上显示的操作菜单屏幕上选择的操作内容，通过通信控制单元18向目标装置发送操作指令。该单元还具有通过通信控制单元18向目标装置发送/从目标装置接收如静止图片或视频之类的信息的功能。

通信控制单元18具有执行与目标装置的有线或无线通信的功能。通过如红外、无线LAN(局域网)、Bluetooth和PLC(电力线通信)之类的通信手段，通信是可能的。在与目标装置进行通信中使用的通信协议是：DLNA(数字生活网络联盟)协议、RACP(远程家电控制协议)等等。

在使用上述结构的情况下，用户操作蜂窝电话终端10，以将内置相机11的镜头指向目标装置(例如，家用电器，如数码相机、个人计算机、电视机或HD录像机)，并通过连接到输入/输出接口单元12的操作按键按下摄像按钮，以拍摄放在内置相机11的镜头前的目标装置。将拍摄的图像发送至目标识别单元13。

目标识别单元13从拍摄的目标装置的图像中提取目标装置的特征点，并将特征点与预先存储在装置菜单信息存储单元14中的用于比较的特征图案进行比较，以确定在它们之间的相似度，并识别哪个预先登记的装置对应于目标装置。

菜单管理单元15从装置菜单信息存储单元14中读取由目标识别单元13识别出的装置的操作菜单信息，并将其发送给UI屏幕产生单元16。UI屏幕产生单元16基于操作菜单信息产生操作菜单屏幕，并通过输入/输出用户接口单元将该操作菜单屏幕显示在显示单元19上，以将其呈现给用户。这使得用户能够从在显示单元19上显示的操作菜单屏幕中选择所需的操作内容。然后，处理单元17通过通信控制单元18向识别出的装置发送基于在操作菜单屏幕上所选择的操作内容的操作指令。这使得能够实现对识别出的目标装置的遥控操作。

此处，在图2和图3中示出了要在装置菜单信息存储单元14中存储的装置操作菜单表格100的布置的示例。

针对要操作的每个装置，装置操作菜单表格100登记：装置识别信息(ID)、特征图案链接到的目的地、以及操作菜单信息链接到的目的地。

在装置菜单信息存储单元14中，将由从本地使用的各种类型的装置中的每一个装置的图像中提取的特征点所形成的特征图案和作为与装置的操作菜单和操作内容相关的信息的操作菜单信息保存在由装置操作菜单表格100指示的链接目的地中。

特征图案如图3(a)所示由一条或多条特征点信息形成，该特征点信息是例如通过拍摄装置(如，家用电视机或个人计算机或数码相机)的图片(当需要时，拍摄多个图片)，并从图片中提取用于识别的特征点信息来准备的。

如图3(b)所示，操作菜单信息包括：通信信号ID，用于标识操作目标装置的遥控信号；针对目标装置的操作菜单以及在按下与操作菜单相对应的每个按钮时的操作控制信息的布置；当需要时在操作菜单下的子菜单及其操作控制信息的布置；用于数据交换的通信协议信息；以及与菜单操作交换的数据在两侧的保存位置、规范等相关的信息。在装置操作菜单表格100中指示的链接目的地中保存与操作菜单信息相关的数据。

在初始设置时，基于与目标装置的制造商名称或装置的型号相关的信息，通过经由互联网从制造商的Web服务器下载来准备操作菜单信息。

(对第一示例实施例的操作的描述)

将对根据本示例实施例的蜂窝电话终端10的操作进行详细描述。

首先，将参照图4的流程图，对初始设置时用于设置目标装置的操作菜单的处理的操作进行描述。

首先，在装置菜单信息存储单元14的装置操作菜单表格100处登记要操作的目标装置(例如，起居室中的电视机)的装置识别信息(ID)(步骤S401)。可以依靠内置相机11读取目标装置的QR码或条形码，或通过与目标装置的通信从目标装置的内部信息直接读取QR码或条形码，来输入装置识别信息(ID)。用户可以通过操作按键20手动输入该信息。

接下来，设置在蜂窝电话终端10和目标装置之间的通信方法(通信手段和通信协议)(步骤S402)。作为通信方法，将从由蜂窝电话终端10可执行的通信方法中选择并设置支持与目标装置通信的通信方法。

当使用无线LAN作为通信手段时，例如选择DLNA协议等作为通信协议。作为其他通信方法，可以选择红外作为通信手段，且选择IrDA或IrSimple协议作为通信协议。作为通信方法，也可以选择其他可使用的通信方法。

在装置操作菜单表格100中，根据所设置的通信方法的通信协议，将与目标装置的通信的通信信号ID登记为与目标装置对应的操作菜单信息(步骤S403)。

接下来，由内置相机11对目标装置进行拍照(步骤S404)。在对目标装置进行拍照中，拍摄目标装置的表现其特征的正面部分等的一个或多个图片，并将拍摄的图像发送至目标识别单元13。

目标识别单元13通过使用ER搜索技术或其他技术，分析拍摄的装置图像，并从图像中提取目标装置的特性部分(特征点：例如，装置的正面部分的结构、色调等)作为特征图案(步骤S405)，以在装置菜单信息存储单元14中存储提取的特征图案，以及在装置操作菜单表格100中登记特征图案的链接目的地，以对应于目标装置(步骤S406)。

接下来，获得用于操作目标装置所需的操作信息(步骤S407)。

可以通过执行与目标装置的直接通信以读取目标装置中的内部操作信息，或可以通过访问目标装置的制造商的Web服务器以经由互联网下载操作信息，来实现对操作信息的获取。

当不能从目标装置或服务器获得任何操作信息时，由用户在参考目标装置的使用手册等的同时，手动输入操作信息。在该情况下，可以利用使用手册中记载的遥控码作为操作信息。

从获得的操作信息中选择操作目标装置所需的操作内容(步骤S408)。通过下述方式来执行对操作内容的选择：通过显示单元19向用户呈现由菜单管理单元15获得的操作信息中包括的操作内容，以及进行询问。

用户从在显示单元19上显示的操作内容中选择被假定为他/她所需的操作内容。当目标装置是例如HD录像机时，在操作内容中选择诸如开机/关机、对要再现的内容的选择、再现、停止、快进和后退之类的操作内容。当目标装置适于DLNA协议时，还可以选择诸如向蜂窝电话终端10发送在目标装置中已经记录的内容之类的操作内容。

接下来，菜单管理单元15基于用户选择的操作内容，产生操作菜单(步骤S409)，以在装置菜单信息存储单元14中存储已产生的操作菜单的数据，以及在装置操作菜单表格100中的操作菜单信息列中登记操作菜单的数据的链接目的地(步骤S410)。

通过对要由蜂窝电话终端10操作的多个目标装置重复从步骤S401开始的上述过程，实现针对每个目标装置设置操作菜单的处理。

接下来，将参照图5的流程图，对在蜂窝电话终端10操作目标装置时要执行的操作进行详细描述。

用户启动蜂窝电话终端10的内置相机11(步骤S501)，以拍摄针对目标装置(例如，起居室中的电视机)的图片(步骤S502)。在此之际，通过按下普通拍摄按钮或操作用于该目的的非普通按钮(例如，菜单按钮)，来拍摄图片。将拍摄的图像传输给目标识别单元13。

接下来，目标识别单元13从拍摄的图像中提取特征图案，并对提取的特征图案与从装置菜单信息存储单元14读取的特征图案进行比较，以执行找出拍摄的目标装置是否是在装置操作菜单表格100中已登记的装置的识别处理(步骤S503)。

作为识别处理的结果，当目标装置未在装置菜单信息存储单元14的装置操作菜单表格100处登记时(步骤S504中的否)，执行如普通相机拍摄处理这样的向用户确认保存图像并且保存该图像的处理(步骤S505、步骤S506)。

还有可能执行目标装置识别处理，其中内置相机11面向目标装置以及显示单元19显示目标装置的视频，但不通过拍摄按钮或菜单按钮的操作来执行拍摄目标装置的图像的操作。

作为识别处理的结果，当在装置菜单信息存储单元14的装置操作菜单表格100处登记目标装置时(步骤S504处的“是”)，菜单管理单元15从装置操作菜单表格100中读取对应的目标装置(例如，起居室中的电视机)的操作菜单信息(步骤S507)，并向处理单元17发送在操作菜单信息中指示的通信信号ID，以及向UI屏幕产生单元16发送操作菜单的数据。

UI屏幕产生单元16基于操作菜单的数据，产生用户可操作的操作菜单屏幕，并使得显示单元19显示该操作菜单屏幕(步骤S508)。

图6示出了在步骤S508处在显示单元19上显示的操作菜单屏幕的示例。图6(a)示出了在目标装置是电视机的情况下的操作菜单屏幕的示例，且图6(b)示出了当在操作菜单屏幕上选择用于在电视机上显示蜂窝电话终端10的视频的操作内容时，要显示的用于数据选择或数据通信设置的子菜单屏幕的示例。

此处，当用户从操作菜单屏幕上选择操作内容时(步骤S509)，从通信控制单元18向目标装置发送根据所选操作内容的操作指令(步骤S510)。因此，执行目标装置的遥控操作。

当在图6(b)所示的菜单屏幕上的数据选择中选择夏威夷的视频时，通过预先设置的通信方法(例如，通过无线LAN的WiFi利用诸如DLNA之类的协议)，将所选的蜂窝电话终端10中的视频发送给电视机，并在其上再现。尽管图6(b)示出了等于文件夹及其下属的各个图像和视频文件的名称的菜单，但是将可以通过显示缩略图等来呈现要选择的菜单。

通过相同方法，可以通过遥控来实现对个人计算机、数码相机和HD录像机的遥控操作、数据交换(包括向蜂窝电话终端10发送个人计算机或数码相机的数据并由蜂窝电话来查看这些数据)和对互相通信系统的响应。图6(c)示出了在目标装置是数码相机的情况下的操作菜单屏幕的示例，其中，在列表中示出了数码相机中的数据，从数码相机向蜂窝电话终端10传输该数据用于查看。

(第一示例实施例的效果)

接下来，将描述第一示例实施例的效果。

根据本示例实施例，简单地通过内置相机11来拍摄诸如多个本地存在的家用电器之类的目标装置使得能够通过蜂窝电话终端10来进行遥控操作。当通过使用蜂窝电话终端10来遥控操作家用电器等时，搜索在蜂窝电话终端10中准备的用于遥控功能的菜单并启动该功能以执行遥控操作是麻烦的。根据本示例实施例，仅通过将内置相机定向到目标装置，将根据目标装置来呈现操作菜单，其使得遥控操作非常容易。

此外，针对各种类型的装置中的每一种，选择用户所需的操作内容，并将它们登记为操作菜单，这实现了容易理解的直观操作。在例如与周围的家用电器进行数据交换的情况下，优选地选择与数据交换相关的操作内容，并将他们登记为操作菜单，这使得装置操作非常容易。

如前所述，尽管迄今为止主要通过过程方式实现蜂窝电话终端10的操作，但是本示例实施例实现了面向对象的操作系统，其中，可以根据识别出的目标对象来选择与对象相关的操作(方法)。

(第二示例实施例)

将参照附图来详细描述本发明的第二示例实施例。

在第一示例实施例中，由内置相机11来拍摄目标装置以识别目标装置，并向蜂窝电话终端10呈现针对每个装置预先设置的操作菜单，这使得能够实现操作菜单中的针对目标装置的遥控操作。相对地，第二示例实施例使得能够识别目标装置及其当前操作状态，以及根据操作状态呈现恰当的操作菜单。

由于根据第二示例实施例的蜂窝电话终端10的结构与图1所示的第一示例实施例的蜂窝电话终端10的结构相同，因此将省略对其的描述。

在第二示例实施例中，在初始设置处设置操作菜单时，由内置相机11拍摄目标装置的相应操作状态(例如，在HD录像机的情况下的关机状态、开机状态、视频再现状态、视频录制状态等等)的图片，且以操作状态为基础，从它们的图像中提取特征图案，并在装置菜单信息存储单元14处登记特征图案。此外，以操作状态为基础选择所需操作内容，并在装置操作菜单表格100处将其登记为操作菜单信息。

在例如开机或关机状态的情况下，该开机或关机状态可以通过指示灯的颜色或位置、屏幕状态等来识别，根据这些状态中的每一种状态登记特征图案，使得能够识别目标装置的当前操作状态。

首先，将参照图7的流程图来描述用于在初始设置时设置目标装置的操作菜单的处理的操作。

由于图7所示的步骤S701至S703、步骤S707、步骤S709和步骤S710与图4所示的步骤S401至S403、步骤S407、步骤S409和步骤S410具有相同处理，因此下面将描述与第一示例实施例不同的步骤S704至步骤S706、以及步骤S708的处理内容。

在本示例实施例中，当在步骤S704处，由内置相机11拍摄目标装置时，对于目标装置的每个操作状态，在装置处于能够识别其操作状态的状态下，拍摄装置的一个或多个图片，并将所拍摄的图像发送给目标识别单元13。

在步骤S705，目标识别单元13通过使用ER搜索技术或其他技术，分析拍摄的装置图像，并从图像中提取目标装置的特性部分(特征点：例如，装置正面部分的结构、色调等)作为特征图案，以在装置菜单信息存储单元14中存储在每个操作状态下提取的特征图案。然后，在步骤S706，在如图8所示的装置操作菜单表格100中登记特征图案的链接目的地，以对应于目标装置的操作状态。

在图8所示的装置操作菜单表格100的示例中，根据目标装置的操作状态(关机状态、开机状态、再现状态)，登记特征图案。

在本示例实施例中，在步骤S708中，从获得的操作信息中选择目标装置的操作所需的操作内容，用户基于目标装置操作状态，选择被假定为他/她所需的操作内容。在HD录像机的关机状态下，选择例如开机操作并在操作内容中进一步选择后续要执行的操作的内容。在开机状态下，首先选择用于选择要再现的内容的操作，然后选择要后续执行(例如，再现、停止等等)的操作的内容。

在HD录像机的关机状态下，有可能例如将操作内容设置为直接进行至开机操作。在设置这种操作菜单的情况下，当内置相机11拍摄HD录像机以识别出HD录像机处于关机状态下时，首先呈现如图10(a)所示的询问HD录像机开机的菜单屏幕，然后呈现如图9(b)所示的要后续执行的操作内容，作为菜单屏幕。这消除了用户在确认HD录像机的状态之后执行操作的需要，从而使得能够快速执行根据状态的恰当操作。

参照图9所示的流程图，将详细描述在由蜂窝电话终端10操作目标装置时执行的操作。

由于图9所示的步骤S901、S902、S904至S906以及步骤S908至步骤S911具有与图5所示的步骤S501、S502、步骤S504至S506以及步骤S508至步骤S511相同的处理，下面将描述与第一示例实施例不同的步骤S903和S907的处理内容。

在图9所示的步骤S903处的识别目标装置的处理中，通过从获得的图像中提取特征图案，并将提取的特征图案与从装置菜单信息存储单元14中读取的特征图案进行比较，目标识别单元13确定拍摄到的目标装置是否登记在装置操作菜单表格100处，并识别目标装置的操作状态对应于在装置操作菜单表格100处登记的哪个操作状态。

在步骤S907，菜单管理单元15从装置操作菜单表格100中读取根据识别出的操作状态的操作菜单，并将操作菜单的数据发送至UI屏幕产生单元16。

在初始设置中，针对每个操作状态来选择操作内容，其中，可以选择用于装置的直接操作的操作内容。当目标装置处于关机状态时，也有可能例如向目标装置发送开机操作指令，以将装置转换到开机状态，然后显示用于操作目标装置的菜单屏幕，而不显示询问是否开机的菜单屏幕。

(第二示例实施例的效果)

接下来，将描述第二示例实施例的效果。

除了第一示例实施例所达成的效果之外，由于在识别目标装置以向用户呈现用于操作装置的操作菜单的情况下，根据目标装置的操作状态来呈现恰当的操作菜单，本示例实施例使得能够在通过使用蜂窝电话终端10来操作目标装置时，进行更舒适的操作。

(第三示例实施例)

尽管在第一示例实施例中目标是家用电器，但是在本示例实施例中，将描述目标是人的情况。由于根据第三示例实施例的蜂窝电话终端10的结构也与图1所示的第一示例实施例的蜂窝电话终端10的结构相同，因此将不对其进行描述。

例如，对你在城里遇到的朋友A进行摄像，或对A的图片进行摄像，以识别她是你预先登记的朋友A，并呼叫和设置使得与你的朋友A相关的操作成为可能的菜单，以使得能够根据所考察的操作来执行处理。

由于在本示例实施例中，仅是用目标人员替代上述示例实施例中的目标装置，在初始设置时在菜单表格中登记每个人员的特征图案以及还登记所需操作内容的操作与第一示例实施例的操作是相同的。

与第一示例实施例的操作还相同的是：根据内置相机11拍摄的目标人员的图像来识别出目标人员，并呈现其对应的操作菜单。然而在从操作菜单中选择操作内容之后给出的操作指令的目的地不是目标装置，而是蜂窝电话终端10本身。

在图11中示出了操作示例。图11(a)示出了在拍摄并识别朋友A时要呈现的菜单的示例。图11(b)示出了在从图11(a)所示的菜单中选择“与朋友A相关的信息”时要呈现的子菜单的示例。

当例如从图11(a)的菜单中选择邮件或电话时，从电话目录数据中读取朋友A的数据，以执行对应处理。在图11(b)所示的菜单上，从内部保存的数据中提取与A相关的数据，并显示，且根据预先登记的URL连接到朋友A的个人主页或博客。

在你最喜欢的名人B出现在TV上的情况下，当拍摄电视机的屏幕的图片时，通过相同方式从拍摄的图像中识别出名人B，以呈现预先登记的与名人B相关的这种操作菜单，如图11(c)所示。从操作菜单中选择操作内容，这使得能够实现针对与名人B相关的信息的互联网搜索，以收集相关信息。

从而，也使得能够实现易于理解的针对人员的面向对象的直观操作。

尽管已参照本发明的示例实施例来具体示出和描述了本发明，本发明不受限于这些实施例。本领域普通技术人员将理解：可以在不脱离由权利要求限定的本发明的精神和范围的情况下，对本发明进行形式和细节上的各种改变。

参考文献的并入

本申请基于并要求于2010年1月18日提交的日本专利申请No.2010-008391的优先权，通过引用将其全文并入本文中。

工业实用性

本发明总体上适用于便携信息终端装置，包括具有相机功能和通信功能的蜂窝电话终端，如智能电话、PDA和笔记本个人计算机。

Claims (11)

1.一种信息终端装置，包括：

目标识别单元，从由内置相机对目标装置拍摄的图像中识别出所述目标装置；

菜单管理单元，基于由所述目标识别单元获得的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及

处理单元，根据基于所述操作菜单信息而选择的操作内容，给出操作指令。

2.根据权利要求1所述的信息终端装置，还包括：

目标菜单信息存储单元，其中，针对每个所述目标装置，登记与所述目标装置的图像相关的特征图案以及操作菜单信息，所述操作菜单信息包括根据所述目标装置预先选择的操作内容，其中

所述目标识别单元将从所述拍摄的图像中提取的特征图案与所述目标菜单信息存储单元中的特征图案进行比较，以识别所述目标装置，

以及

所述菜单管理单元从所述目标菜单信息存储单元中读取与识别出的所述目标装置相对应的操作菜单信息，并呈现所读取的信息。

3.根据权利要求2所述的信息终端装置，其中，

在所述目标菜单信息存储单元中存储表格，在所述表格中，针对每个所述目标装置，登记识别所述目标装置的信息、所述目标装置的特征图案的链接目的地、以及根据所述目标装置的操作菜单信息的链接目的地，

所述目标识别单元将从拍摄的图像中提取的图案与所述表格中登记的特征图案进行比较，以确定所述目标装置是否登记在所述表格中，

以及

当所述目标装置登记在所述表格中时，所述菜单管理单元读取在所述目标菜单信息存储单元的所述表格中登记的与所述目标装置对应的操作菜单信息，并呈现所读取的信息。

4.根据权利要求2或3所述的信息终端装置，其中，

在所述目标菜单信息存储单元中存储所述目标装置的每个操作状态的特征图案和包括适合操作状态的操作内容在内的操作菜单信息，

所述目标识别单元将从所述拍摄的图像中提取的特征图案与所述目标菜单信息存储单元中的特征图案进行比较，以识别所述目标装置的操作状态，以及

所述菜单管理单元从所述目标菜单信息存储单元中读取与识别出的所述目标装置的操作状态相对应的操作菜单信息，并呈现所读取的信息。

5.根据权利要求1至4中任一项所述的信息终端装置，其中，

所述操作菜单信息包括用于与所述目标装置通信的协议信息。

6.一种由具有内置相机的信息终端装置来操作目标装置的操作方法，包括步骤：

从由所述内置相机对目标装置拍摄的图像中识别出所述目标装置；

基于对所述目标的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及

根据基于所述操作菜单信息而选择的操作内容，给出操作指令。

7.根据权利要求6所述的由信息终端装置进行的操作方法，还包括步骤：

针对每个所述目标装置，在目标菜单信息存储单元处，登记与所述目标装置的图像相关的特征图案以及操作菜单信息，所述操作菜单信息包括根据所述目标装置预先选择的操作内容，

在所述目标识别步骤中，将从所述拍摄的图像中提取的特征图案与所述目标菜单信息存储单元中的特征图案进行比较，以识别所述目标装置，以及

在所述菜单呈现步骤中，从所述目标菜单信息存储单元中读取与识别出的所述目标装置相对应的操作菜单信息，并呈现所读取的信息。

8.根据权利要求7所述的由信息终端装置进行的操作方法，包括步骤：

在所述目标菜单信息存储单元中存储表格，在所述表格中，针对每个所述目标装置，登记识别所述目标装置的信息、所述目标装置的特征图案的链接目的地、以及根据所述目标装置的操作菜单信息的链接目的地，

在所述目标识别步骤中，将从拍摄的图像中提取的图案与所述表格中登记的特征图案进行比较，以确定所述目标装置是否登记在所述表格中，以及

在所述菜单呈现步骤中，当所述目标装置登记在所述表格中时，读取在所述目标菜单信息存储单元的所述表格中登记的与所述目标装置对应的操作菜单信息，并呈现所读取的信息。

9.根据权利要求7或8所述的由信息终端装置进行的操作方法，包括步骤：

在所述目标菜单信息存储单元中，存储所述目标装置的每个操作状态的特征图案和包括适合操作状态的操作内容在内的操作菜单信息，

在所述目标识别步骤中，将从所述拍摄的图像中提取的特征图案与所述目标菜单信息存储单元中的特征图案进行比较，以识别所述目标装置的操作状态，以及

在所述菜单呈现步骤中，从所述目标菜单信息存储单元中读取与识别出的所述目标装置的操作状态相对应的操作菜单信息，并呈现所读取的信息。

10.根据权利要求6至9中任一项所述的由信息终端装置进行的操作方法，其中，

所述操作内容包括用于与所述目标装置通信的协议信息。

11.一种使得具有内置相机的信息终端装置执行以下处理的程序：

从由所述内置相机对目标装置拍摄的图像中识别出所述目标装置；

基于对所述目标的识别结果，呈现根据所述目标装置预先保存的操作菜单信息；以及

根据基于所述操作菜单信息而选择的操作内容，给出操作指令。

Images