CN105573489A - 控制外部对象的电子设备和方法 - Google Patents

Abstract

提供了一种由电子设备控制外部对象的方法和设备。使用电子设备的图像传感器来确定用户的视线。基于用户的视线来确定位于电子设备外部的对象。确定与所述对象有关的对象信息。从用户接收相对于所述对象的用户输入。基于用户输入和对象信息来控所述对象或与所述对象相关联的另一个电子设备。

Description

控制外部对象的电子设备和方法

技术领域

本发明总体上涉及电子设备，更具体地涉及一种用于控制外部对象的电子设备和方法。

背景技术

短距离通信方法已经开发和投资用于控制数字设备或数字设备的共享信息。一种这样的短距离通信方法已经开发用于控制多个设备中的第一设备(从设备)，所述多个设备能够使用多个设备中的第二设备(主设备)彼此无线地通信。

为了使用主设备来控制从设备，要求用户在主设备中登记从设备。即使已经在主设备中登记了从设备，用户也必须搜索在主设备中登记的从设备以从登记的从设备中选择所需的从设备。

发明内容

已经实现了本发明以至少解决以上问题和/缺点，并且至少提供下述优点。因此，本发明的一个方面提出了一种使用用户的视线(或凝视方向、或观看方向)来控制外部对象的电子设备和方法，从而消除了用户手动选择从设备的必要。

根据本发明的一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备使用所述电子设备的图像传感器来确定用户的视线；由所述电子设备基于所述用户的视线来确定位于所述电子设备外部的对象；由所述电子设备确定与所述对象有关的对象信息；在所述电子设备处接收来自所述用户的相对于所述对象的用户输入；以及由所述电子设备基于所述用户输入和所述对象信息来控制所述对象或与所述对象相关联的其他电子设备。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括：控制器，配置为使用所述电子设备的图像传感器来确定用户的视线，基于所述用户的视线来确定位于所述电子设备外部的对象，确定与所述对象有关的对象信息；以及在接收到来自所述用户的用户输入时，基于相对于所述对象的用户输入和所述对象信息来产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

根据本发明的另一个方面，提出了一种计算机可读记录介质，具有记录于其上的程序，所述程序用于执行以下操作：使用图像传感器来确定用户的视线；基于所述用户的视线来确定位于包括所述计算机可读记录机制在内的电子设备外部的对象；确定与所述对象有关的对象信息；接收来自所述用户的相对于对象的用户输入时；以及基于所述用户输入和所述对象信息来控制所述对象或与所述对象相关联的另一个电子设备。

根据本发明的另一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备捕获所述电子设备的用户的眼睛的图像；由所述电子设备基于所述用户的眼睛的图像来确定用户的视线；由电子设备沿用户观看的方向捕获观看图像(viewimage)；由电子设备基于所述用户的视线从所述观看图像中选择对象；在电子设备处接收来自所述用户的相对于对象的用户输入；以及由电子设备基于所述用户输入控制所述对象或与所述对象相关联的其他电子设备。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括摄像模块，配置为捕获电子设备的用户的眼睛的图像，以及沿着用户观看的方向捕获观看图像；控制器，配置为基于所述用户的眼睛的图像来确定用户的视线，基于所述用户的视线从所述观看图像中选择对象，在接收到来自所述用户的相对于对象的用户输入时，基于所述用户输入产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

根据本发明的另一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备捕获所述电子设备的用户的眼睛的图像；由所述电子设备基于所述用户的眼睛的图像确定视点(viewingpoint)；由所述电子设备确定与所述视点的坐标相对应的对象；在所述电子设备处接收来自所述用户的相对于对象的用户输入；以及由所述电子设备基于所述用户输入控制所述对象或与所述对象相关联的其他电子设备。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括：摄像模块，配置为捕获所述电子设备的用户的眼睛的图像；控制器，配置为基于所述用户的眼睛的图像来确定视点，在接收到来自所述用户的相对于对象的用户输入时，基于所述用户输入来产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

附图说明

根据结合附图的以下详细描述，本发明的以上和其他方面、特征和优势将变得更加清楚明白，其中：

图1是示出了根据本发明实施例的包括能够控制外部对象的电子设备在内的控制系统的图；

图2是示出了根据本发明实施例的用于控制外部对象的第一电子设备的方框图；

图3是示出了根据本发明实施例的由第一电子设备控制目标对象的方法的流程图；

图4是示出了根据本发明实施例的由第一电子设备确定目标对象的方法的流程图；

图5是根据本发明实施例的由第一电子设备建立与目标对象的连接的方法的流程图；

图6A是示出了根据本发明实施例的由第一电子设备控制目标对象的方法的流程图；

图6B是示出了根据本发明实施例的通过由第一电子设备控制相关设备来改变目标对象的状态的方法的流程图；

图7A是示出了根据本发明实施例的由与目标对象配对的第一电子设备控制目标对象的方法的流程图；

图7B是示出了根据本发明实施例的由与目标对象配对的第一电子设备来控制与目标对象相关联的相关设备的方法的流程图；

图8是示出了根据本发明实施例的包括第一电子设备在内的网络环境的图；

图9是示出了根据本发明实施例的电子设备的方框图；以及

图10是示出了根据本发明实施例的程序模块的方框图。

具体实施方式

参考附图详细地描述本发明的实施例。尽管在不同的附图中示出了相同或类似的部件，所述相同或类似的部件可以用相同或类似的参考数字来表示。可以省略本领域已知的结构工艺的详细描述以避免混淆本发明的主题。

如这里所使用的，术语“包括”和“包含”及其衍生词意思是包括而非限制。替代地，术语“或”是包含性的，意思是和/或。短语“相关联”或“与其相关联”及其衍生词可以意思是包括、在其中包括、相互连接、包含、其中包含、连接至或与其相连、耦合至或与其耦合、与其通信、与其协作、交织、并置、接近、接壤至或与其接壤、具有、具有性质等。术语“控制器”意思是任意设备、系统或者控制至少一种操作的一部分。这种设备可以实现为硬件、固件、软件或者以上至少两种的组合。应该注意的是与任意具体的控制器相关联的功能可以是集中或者分布式的，本地地或者远程地。贯穿该专利文件提供了对于特定词语或短语的定义，并且本领域普通技术人员应该理解的是在许多情况下(如果不是大多数情况)，这种定义可以应用于这样定义的词语和短语在过去和将来的使用。

在本公开的各种实施例中使用的术语“具有”、“可以具有”、“包括”或“可以包括”表示存在所公开的相应功能、操作、元件等，但是并不排除附加的一个或多个功能、操作、元件等。

这里，诸如术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括随此列举的词语的全部组合。例如，“A或B”、“A和B中的至少一个”或者“A或B中的至少一个”描述了：(1)至少包括A；(2)至少包括B；或者(3)至少包括A和B两者。

尽管诸如“第一”、“第二”等之类的序数可以用于描述各种元件，但是这些术语并不限制相应的元件。例如，这些术语并不限制元件的顺序和/或重要性。这些术语可以用于将元件彼此区分。例如，第一用户设备和第二用户设备均表示用户设备，并可以表示不同的用户设备。例如，在不背离本公开各种实施例的权利范围的情况下，可以将第一元件称作第二元件，类似地，可以将第二元件称作第一元件。同样在不脱离本发明的教导的情况下，第一元件可以称作第二元件等，并且第二元件也可以称作第一元件。

当将一元件(例如，第一元件)称作与另一元件(例如，第二元件)“连接”或“耦接”时，该元件可以与另一元件直接连接，或者在元件之间可以存在中间元件(例如，第三元件)。另一方面，当将一元件称作与另一元件“直接连接”或“直接耦接”时，在元件之间不存在元件。

如这里所使用的，在没有限制的情况下，措辞“配置为”根据情况可以用诸如“适用于”、“具有…的能力”、“设计为”、“适于”、“实现为”或者“能够”之类的其他术语来互换地使用。在一些示例中，术语“配置为”不一定表示在硬件层面上“专门设计为”。相反，措辞“配置为…”可以表示在在其他设备或部件的帮助下“能够…”。例如，短语“处理器，配置为执行A、B和C”可以是用于执行相应操作的专用处理器(例如嵌入式处理器)，或者能够通过执行存储设备中存储的一个或多个软件程序而执行相应操作的通用处理器(例如，中央处理单元(CPU)或者应用处理器(AP))。

这里使用的术语仅用于描述一些实施例，而不是要限制本公开。如这里所使用的，单数形式意欲包括复数形式，除非上下文明确地说明。除非另有限定，这里使用的所有术语(包括技术和科学术语)应解释为具有本发明实施例所属领域的技术人员通常所理解的含义。还应该理解的是诸如在常用字典中定义的术语应该解释为具有如本发明公开时的普通技术人员所理解的在相关技术的场景规范中的意思，而不应该解释为具有理想或过度刻板的含义，除非在本公开的各种实施例中明确限定。

根据本发明实施例的电子设备可以是一种具有短距离通信功能的设备。例如，电子设备可以实现为以下的一个或多个的组合：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、桌上PC、膝上型PC、笔记本计算机、个人数字助手(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、电子手环、电子项链、电子配饰、摄像机、或可穿戴设备(例如，诸如电子眼镜之类的头戴式设备(HMD))、电子服装、电子手环、电子项链、电子配饰、电子纹身、智能手表等。

根据本发明的实施例，电子设备可以是具有短距离通信功能的智能家电。例如，这种智能家电可以包括电视(TV)、数字通用盘(DVD)播放器、音频部件、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、TV盒、游戏控制台、电子词典、电子钥匙、摄录像机、电子相框。

根据本发明的实施例，电子设备可以包括以下中的至少一个：各种医疗装备(例如，磁共振造影(MRA)机、磁共振成像(MRI)机、计算机断层(CT)扫描仪、成像设备或超声设备)、导航系统、全球定位系统(GPS)接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载娱乐设备、船用电子装备(例如，船用导航装备和/或陀螺仪)、航空装备、安全装备、车辆音响主机、工业或家用机器人、金融机构的自动取款机(ATM)、零售店的收款机(POS)设备或者物联网设备(例如，灯泡、各种传感器、电子仪表、燃气表、洒水设备、火警报警器、自动调温器、街灯、烤面包机、运动装备、热水壶、加热器、锅炉等)。

根据本发明的实施例，电子设备可以包括具有通信功能的家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，水表、电表、燃气表、测波计等)。根据本发明实施例的电子设备也可以是上述设备中的一种或多种设备的组合。根据本发明实施例的电子设备可以是柔性设备。本领域普通技术人员应该理解的是电子设备不局限于上述列举的设备，并且可以包括基于技术发展的新电子设备。

下文中，将参考附图描述根据本发明实施例的电子设备。这里，术语“用户”可以表示使用电子设备的人或者使用电子设备的设备(例如，人工智能电子设备)。

图1是示出了根据本发明实施例的包括能够控制另一个外部对象的电子设备在内的控制系统的图。

参考图1，控制系统1包括第一电子设备100和可以由第一电子设备100控制的至少一个目标对象，例如第二电子设备200-1、…、200-N(统称为第二电子设备200)。图1示出了将第一电子设备100实现为眼镜形式的实施例。根据本发明的其他实施例，第一电子设备100可以是能够与另一个电子设备通信的电子设备，例如移动终端、个人计算机(PC)、电视(TV)、洗衣机等。第二电子设备200也可以是能够与另一个电子设备通信的电子设备，例如移动终端、PC、TV、洗衣机等。

第一电子设备100控制由用户10使用第一电子设备从位于第一电子设备100外部的对象中(例如，从第二电子设备200中)选择的目标对象。目标对象表示用户想要选择的对象。用户可以佩戴实现为眼镜形式的第一电子设备100的同时通过观看一个或多个对象来选择目标对象。

如图1所示，实现为眼镜形式的第一电子设备100感测佩戴第一电子设备100的用户10的视线，并且分析感测结果以确定目标对象。参考图1，第一电子设备100通过分析用户10的视线来确定第二电子设备200-1是目标对象。

如果用户10确定了目标对象，例如第二电子设备200-1，第一电子设备100在第一电子设备100和第二电子设备200-1之间建立连接，以便将第一电子设备100与第二电子设备200-1配对。根据本发明的实施例，第一电子设备100在第一电子设备100和第二电子设备200-1之间建立连接，使得第一电子设备100作为主设备操作，而第二电子设备200作为从设备操作。第一电子设备100产生用于控制第二电子设备200-1的设备控制信号。第一电子设备100基于与第二电子设备200-1相对应的控制信息来产生设备控制信号。根据本发明的实施例，第一电子设备100基于来自用户10的用户输入来产生用于控制第二电子设备200-1的设备控制信号。一旦产生了设备控制信号，第一电子设备100例如通过使用无线通信，将设备控制信号发送至第二电子设备200-1。第二电子设备200-1执行与从第一电子设备100接收的设备控制信号相对应的操作，从而在第一电子设备100的控制下操作。

图2是示出了根据本发明实施例的控制外部对象的第一电子设备的方框图。

参考图2，第一电子设备100包括控制器110、通信接口120、摄像模块150、存储单元170和I/O模块160的至少一个。

控制器110控制第一电子设备100的整体操作。控制器110通过分析用户10的视线来确定用户10当前观看的目标对象。控制器110确定与用户10当前观看的目标对象相关联的另一个电子设备。例如，控制器10可以确定第二电子设备200是由用户10选择的目标对象或者与目标对象相关联的电子设备。

当将第二电子设备200确定为目标对象时，控制器110在存储单元175中的设备DB22中搜索与第二电子设备200相对应的各种信息(下文中称作“对象信息”)。对象信息可以包括与所述对象相关联的商品名(brandname)、所述对象的形式、在对象中包括的具体按钮的排列形式、所述对象的颜色、附着至所述对象的附件、所述对象的商标以及与所述对象相关联的文本信息。控制器110基于所述对象信息控制目标对象或者与目标对象相关联的电子设备的操作。

控制器110基于与第二电子设备200相对应的对象信息来控制第一电子设备100，使得第一电子设备100和第二电子设备200彼此相连。控制器110控制第一电子设备100与第二电子设备200配对，使得第一电子设备100随后可以控制第二电子设备200。一旦第一电子设备100和第二电子设备彼此配对，控制器110通过摄像模块150或I/O模块160接收用户输入。用户输入可以是用于控制目标对象或者与目标对象相关联的电子设备(例如，第二电子设备200)的用户输入。在接收到用于控制第二电子设备200的用户输入时，控制器110产生与用户输入相对应的设备控制信号。一旦产生了设备控制信号，控制器110通过通信接口120将设备控制信号发送至第二电子设备200。

根据本发明的实施例，第二电子设备200从第一电子设备100接收设备控制信号，并且执行与设备控制信号相对应的操作。当第二电子设备200执行与设备控制信号相对应的操作时，第一电子设备100可以控制第二电子设备200。

为了执行这种操作，控制器110包括以下中的至少一个：视线确定模块12、信息确定模块14和信号产生模块16。为了方便起见，提供与以下情况有关的描述：由用户选择的目标对象是除了第一电子设备100之外的电子设备，例如第二电子设备200。

视线确定模块12分析由摄像模块150产生的图像，例如眼睛图像。根据本发明的实施例，如果通过I/O模块160输入用于控制位于第一电子设备100外部的目标对象的用户输入，视线确定模块12控制摄像模块150产生眼睛图像或观看图像。

一旦产生了眼睛图像，视线确定模块12通过分析眼睛图像来确定沿用户的视线或者用户的视线方向的视点。根据本发明的实施例，实现确定模块12通过使用在存储单元175中预先存储的各种数据段来分析眼睛图像，例如用户10的虹膜、晶状体的厚度、瞳孔的大小、眼睑闭合的程度、眼睛和摄像模块150之间的角度或距离或者用户10的面部图像。视线确定模块12可以获得数据作为相对于眼睛图像的分析结果，所述数据例如用户10的虹膜的形状、晶状体的厚度、瞳孔的大小、眼睑闭合的程度、眼睛和摄像模块150之间的角度或距离或者用户10的面部图像。视线确定模块12基于相对于眼睛图像的分析结果来确定视点或者用户10的视线的方向。

视线确定模块12通过使用晶状体的厚度来确定目标对象是靠近还是远离第一电子设备100或用户10。例如，如果晶状体较薄，视线确定模块12可以确定目标对象位置远离用户10，并且如果晶状体较厚，视线确定模块12可以确定目标对象位置靠近用户10。

根据本发明的实施例，视线确定模块12控制摄像模块150在预设的时间段(例如，1秒钟)内连续地拍摄用户10的眼睛。通过控制摄像模块150在预设的时间段连续地拍摄用户10的眼睛并且产生多个眼睛图像，视线确定模块12可以测量晶状体厚度的变化。基于晶状体厚度的变化，视线确定模块12可以确定目标对象位置靠近还是远离用户10。视线确定模块12可以基于晶状体的厚度变化来确定从用户10到目标对象的距离(例如，10m)。

视线确定模块12可以基于瞳孔的大小获得与第一电子设备100的周围环境有关的环境数据。通常，根据环境是昏暗还是明亮的来调节通孔的大小。视线确定模块12通过检查在眼睛图像中包括的瞳孔的大小来确定第一电子设备100的周围环境(例如，在与第一电子设备10距离5米的半径内)。例如，控制器110可以基于用户10的瞳孔直径来确定周围环境的亮度级别。如果用户10的瞳孔直径是1cm，亮度级别可以是1；而如果用户10的瞳孔直径是5mm，亮度级别可以是5。周围环境相对于瞳孔直径的亮度级别可以是在存储单元175中预先存储的值。

一旦通过视线确定模块12确定了第一电子设备100的周围环境是昏暗的，视线确定模块12通过参考预先存储的全球定位系统(GPS)信息、地图坐标或者接入点(AP)位置来确定在第一电子设备100附近是否存在照明设备。

GPS信息指示了目标对象或者第二电子设备200的GPS坐标。地图坐标指示目标对象或第二电子设备200在第一设备100中存储的地图上的位置。例如，假设用户10通过使用第一电子设备100控制房间中的对象。第一电子设备100产生并且存储对对象在房间中的位置加以表示的地图。第一电子设备100确定在存储单元175中预先存储的地图中包括的目标对象或第二电子设备200的坐标，即地图坐标。第一电子设备100将与目标对象或第二电子设备200相对应的地图坐标存储在存储单元175中。第一电子设备100通过使用地图坐标来识别在观看图像中包括的目标对象或第二电子设备200。AP位置表示第二电子设备200的AP位置。

视线确定单元12基于GPS信息、地图坐标或AP位置来确定照明设备是否是所述目标对象。同样地，视线确定模块12通过使用从眼睛图像获得的各种数据来确定用户10的视线或者与所述视线相对应的目标对象。

一旦确定了用户10的视线或目标对象，视线确定模块12控制摄像模块150产生观看图像。摄像模块150沿用户10的视线对至少一个对象进行拍摄以产生观看图像。一旦产生了观看图像，视线确定模块12从观看图像中包括的对象中确定目标对象。例如，视线确定模块12可以在观看图像中包括的对象中提取与用户10的视线方向最佳匹配的对象的轮廓，并且可以将具有所述轮廓的对象确定为是目标对象。

视线确定模块12提取在观看图像中包括的每一个对象的轮廓。例如，假设在观看图像中包括TV和监视器，视线确定模块12可以提取TV和监视器的轮廓。视线确定模块12通过区分从观看图像中提取的轮廓来识别在观看图像中包括的对象，并且确定所述对象的至少一个作为目标对象。例如，假设在观看图像中包括的对象是TV和数字通用盘(DVD)播放器，视线确定模块12可以基于相对于眼睛图像的分析结果来确定所述TV是目标对象。

一旦从在观看图像中包括的对象中确定了目标对象，信息确定模块14提取与目标对象相对应的识别数据，例如第二电子设备200。例如，识别数据可以包括目标对象的设备代码、目标对象的轮廓或至少一个特征图像、与目标对象相关联的文本数据、与目标对象相关联的外部设备、与目标对象相关联的配件(appcessory)、目标对象的媒体访问控制(MAC)地址、AP地址、基于位置的服务(LBS)地址、ID等。设备代码可以包括ID、MAC地址、AP地址、条形码、快速响应(QR)代码等。信息确定模块14可以从设备代码中识别对象信息作为与目标对象有关的详细信息，包括例如目标对象的设备名称、目标对象的商品名等。

根据本发明的实施例，信息确定模块14从观看图像中检测位于轮廓内部或附近区域中的特征图像。例如，假设目标对象是TV，信息确定模块14检测位于TV轮廓内部的TV的开/关按钮作为特征图像。信息确定模块14可以从特征图像中获得与目标对象有关的对象信息，例如开/关按钮的形式。信息确定模块14可以从特征图像中获得与位于轮廓内部区域中的对象相关联的商品名、对象的形式、在对象中包括的具体按钮的排列形式、对象的颜色、附着至对象的附件、对象的商标和与对象相关联的文本信息的至少一个，即对象信息。

根据本发明的实施例，特征图像还包括位于轮廓内部的文本。例如，假设目标对象的商品名是“LKH”，并且将商品名LKH标记在目标对象的下部部分的中心。信息确定模块14可以提取整个“LKH”作为单个特征图像，或者可以提取文本LKH作为文本数据。同样地，信息确定模块14分析观看图像以获得对象信息。信息确定模块14可以将观看图像中目标对象的轮廓内部或附近的区域确定为一个图像区域，并且通过使用在图像区域中包括的特征图像或文本来获得与目标对象有关的对象信息。

与目标对象相关联的外部设备是可以按照无线或有线方式与目标对象相连的设备。假设目标对象是PC，鼠标、键盘等可以是与目标对象相关联的外部设备。

与目标对象相关联的配件可以是通过目标对象与在目标对象中预先存储的应用程序相结合来控制的另一个外部设备。配件可以是可以通过智能电话控制其开/关、灯亮度或颜色的快门、利用智能电话控制室内温度的温控设备等。作为目标对象或者与目标对象相关联的配件，可以存在诸如镜像装置、谷歌连接器(chromecast)、同屏投影(allsharecastdongle)等之类的成像设备。

根据本发明的实施例，信息确定模块14从观看图像中识别与目标对象相连接的对象，从而识别与目标对象相关联的外部设备或与目标对象相关联的配件。通过识别对象或者与目标对象相关联的配件，信息确定模块14可以得出与目标对象有关的对象信息。

一旦确定了与目标对象有关的对象信息，信息确定模块14确定所述第一电子设备100是否控制目标对象。根据本发明的实施例，信息确定模块14基于在存储单元175中预先存储的设备列表，来确定第一电子设备100是否控制目标对象(例如，第二电子设备200)。设备列表可以是第一电子设备100可以控制的对象的列表。

根据本发明的实施例，信息确定模块14基于设备列表或者控制历史，来确定目标对象(例如，第二电子设备)之前是否已经被第一电子设备100控制。控制历史可以包括第一电子设备100控制相应对象的历史。设备列表或控制历史可以存储在设备DB22中。

如果目标对象已经登记在设备列表中，信息确定模块14将所述目标对象确定为可以由第一电子设备100控制的目标对象。如果目标对象还没有被登记在设备列表中，信息确定模块14控制通信接口120从外部请求用于控制第二电子设备200的控制信息。

控制信息可以包括产生用于控制第二电子设备200的设备控制信号所需的数据，例如转换功能。根据本发明的实施例，将控制信息预先存储在存储单元175中。存储单元175可能已经存储了与目标对象相对应的控制历史或控制信息，并且根据本发明的另一个实施例，已经将与目标对象相对应的控制历史或控制信息之一存储在存储单元175中。如果目标对象已经登记在设备列表中，信息确定模块14确定是否已经将用于控制目标对象的控制信息存储在存储单元175中。如果还没有将控制信息存储在存储单元175中。信息确定模块14控制通信接口120向外部服务器发送针对所述控制信息的请求。根据本发明的实施例，设备列表包括与每一个目标对象相对应的控制信息可以沿其下载的下载路径。信息确定模块14控制通信接口120访问相应的下载地址并且接收控制信息。

根据本发明的实施例，已经通过通信接口120从外部服务器接收了控制信息。如果还没有将与目标对象有关的控制历史存储在存储单元175中并且还没有将目标对象登记在设备列表中，信息确定模块14可以通过传递在观看图像中包括的目标对象的图像或者目标对象的产品名称，来请求外部服务器(例如，入口(portal)服务器等)搜索与目标对象相对应的控制信息。根据本发明的实施例，外部服务器搜索用于控制目标对象的控制信息以将控制信息发送至第一电子设备100，或者向第一电子设备100通知可以沿其下载控制信息的下载路径。

信号产生模块16基于控制信息产生用于控制目标对象(例如第二电子设备200)的设备控制信号。例如，信号产生模块16可以将输入至第一电子设备100的用户输入转换为适用于第二电子设备200的格式的命令。因为已经将用户输入转换为适用于第二电子设备200的命令，第二电子设备200可以执行与所述命令相对应的操作。

根据本发明的实施例，信号产生模块16按照将第一电子设备100与目标对象(例如第二电子设备200)配对的方式控制通信接口120。信号产生模块16产生用于请求与第一电子设备100配对的请求消息，并且通过通信接口120将请求消息发送至第二电子设备200。根据本发明的实施例，信号产生模块16设置第一电子设备100作为主设备，并且产生用于设置目标对象(例如第二电子设备200)为从设备的设备控制信号。信号产生模块16控制通信接口120将设备控制信号发送至第二电子设备200。

以下描述包括当用户选择的目标对象不是电子设备时视线确定模块12、信息确定模块14和信号产生模块16的操作。

一旦摄像模块150产生了眼睛图像，视线确定模块12分析眼睛图像以计算用户10观看的视点或者用户10的视线方向。视线确定模块12从眼睛图像获取诸如用户10的虹膜、晶状体的厚度、瞳孔的大小、眼睑闭合的程度、眼睛和摄像模块150之间的角度或距离、用户10的面部图像等之类的数据作为相对于眼睛图像的分析结果。视线确定模块12基于相对于眼睛图像的分析结果来确定视点或者用户10的视线方向。

一旦确定了用户10的视线或者目标对象，视线确定模块12控制摄像模块150产生观看图像并且确定目标对象，如上所述。

根据本发明的实施例，视线确定模块12提取在观看图像中包括的每一个对象的轮廓。例如，假设在观看图像中包括清洁机器人和织物片段，视线确定模块12可以提取清洁机器人和织物片段的轮廓。视线确定模块12区分将从观看图像中提取的轮廓以便区分在观看图像中包括的对象，并且将所述对象的至少一个确定为目标对象。在以下描述中为了方便起见，假设织物是目标对象。因此，视线确定模块12分析眼睛图像或观看图像，并且将所述织物片段确定为目标对象。

如果从观看图像中包括的对象中确定了目标对象，信息确定模块14提取与目标对象相对应的识别数据，例如织物片段。例如，识别数据可以包括目标对象的轮廓或者至少一个特征图像。信息确定模块14基于目标对象的轮廓或至少一个特征图像来识别目标对象的名称、形状、类型或特性。例如，信息确定模块14通过使用在观看图像中包括的织物片段的轮廓或至少一个特征图像来识别目标对象是织物片段。如果与从观看图像提取的识别数据相对应的数据没有存储在存储单元175中，信息确定模块14将目标对象的轮廓或至少一个特征图像发送至外部服务器，以控制通信接口120发送用于搜索的请求。

一旦确定了观看图像中包括的目标对象，信息确定模块14确定目标对象是否是第一电子设备100可控的。例如，信息确定模块14可以确定织物片段是第一电子设备100可控的。

典型地，如果目标对象不是电子设备，第一电子设备100不能直接地控制目标对象。即使目标对象是电子设备，如果目标对象不能按照有线或者无线方式通信，第一电子设备100也不能直接地控制目标对象。由此，如果目标对象不能由第一电子设备100控制，信息确定模块14可以确定与目标对象相关联的其他电子设备(下文中称作“相关设备”)作为控制目标。也就是说，因为目标对象不是电子设备，第一电子设备100控制相关设备执行具体的操作，从而改变目标对象的状态。例如，假设目标对象是织物片段，第一电子设备100二可以控制作为织物片段的相关设备的清洁器来执行清洁操作，从而移除织物片段。

根据本发明的实施例，相关设备是位置与目标对象相邻的电子设备中能够与第一电子设备100通信的电子设备。信息确定模块14确定与目标对象相关联的电子设备作为相关设备。例如，如果目标对象是织物片段，信息确定模块14可以确定清洁机器人作为相关设备。例如，如果目标对象是洗衣店，信息确定模块14可以确定洗衣机作为相关设备。根据本发明的实施例，存储单元175已经存储了目标对象的相关设备。例如，在存储单元175中存储的设备列表中，可以指定洗衣机或干衣机。

一旦确定了目标对象，信息确定模块14控制第一电子设备100指示与目标对象相关联的电子设备。例如，信息确定模块14可以控制第一电子设备向用户10指示洗衣机、干衣机等作为与目标对象洗衣店相对应的相关设备。用户10可以通过向第一电子设备100输入用于选择所指示的相关设备的至少一个的用户输入来直接选择相关设备。

一旦确定了相关设备，信息确定模块14提取与相关设备(例如，第二电子设备200)相对应的识别数据。例如，识别数据可以包括相关设备的设备代码、相关设备的轮廓或至少一个特征图像、与相关设备相关联的文本数据、与相关设备相关联的外部设备、与相关设备相关联的配件等。例如，设备代码可以包括条形码、QR码等。信息确定模块14可以从设备代码获得对象信息作为与相关设备有关的详细信息，例如所述对象信息包括相关设备的设备名称、相关设备的产品名称、相关设备的商品名等。

根据本发明的实施例，信息确定模块14从位于观看图像中的相关设备的轮廓内部或者相邻的区域中检测特征图像。例如，假设相关设备是洗衣机，信息确定模块14可以检测位于洗衣机的轮廓内部的洗衣机的开/关按钮作为特征图像。信息确定模块14从特征图像获得与相关设备有关的对象信息，例如开/关按钮的形式。

特征图像还可以包括轮廓内部的文本。例如，假设目标对象的商品名是“ENTI”并且在目标对象的下部中心指示商品名ENTI。根据本发明的实施例，信息确定模块14提取整个“ENTI”作为一个特征图像，或者提取文本ENTI作为文本数据。由此，信息确定模块14分析观看图像以获得与相关设备有关的对象信息。信息确定模块14确定位于观看图像中的相关设备的轮廓内部或者相邻的区域作为一个图像区域，并且通过使用在该图像区域中包括的特征图像或文本数据获得与相关设备有关的对象信息。

与相关设备相关联的外部设备是与相关设备有线或者无线地相连的设备。假设相关设备是PC，鼠标、键盘等可以是与相关设备相关联的外部设备。与相关设备相关联的配件可以与在相关设备中预先存储的应用程序相关联地由相关设备可控制的另一个外部设备。

信息确定模块14通过从观看图像中识别与相关设备相连的对象，来识别与相关设备相关联的外部设备或者与相关设备相关联的配件。通过识别与相关设备相关联的对象或配件，信息确定模块14可以得出与相关设备有关的对象信息。

一旦确定了与相关设备有关的对象信息，信息确定模块14确定第一电子设备100是否能够控制相关设备。信息确定模块14可以基于在存储单元175中预先存储的设备列表来确定第一电子设备100是否能够控制相关设备，例如第二电子设备200。设备列表可以是第一电子设备可控的对象的列表。

信息确定模块14基于设备列表或控制历史来确定第一电子设备100之前是否曾经控制相关设备(例如，第二设备200)。控制历史可以包括第一电子设备100控制相应对象的历史。根据本发明的实施例，已经将设备列表或控制历史存储在设备DB22中。

如果已经将相关设备登记在设备列表中，信息确定模块14可以确定第一电子设备100可控制相关设备。另一方面，如果还没有将相关设备登记在设备列表中，信息确定模块14可以控制通信接口120向外部设备发送用于控制第二电子设备200的控制信息的请求。

控制信息可以包括用于产生控制相关设备(例如，第二电子设备200)的设备控制信号(例如，转换功能)所需的数据。可以将控制信息预先存储在存储单元175中。对于已经将控制历史存储在存储单元1175中的目标对象，也可以将用于控制相关设备的控制信息存储在存储单元175中。如果已经将相关设备登记在设备列表中，信息确定模块14确定是否已经将用于控制相关设备的控制信息存储在存储单元175中。如果还没有将控制信息存储在存储单元175中，信息确定模块14控制通信接口120向外部服务器发送针对控制信息的请求。根据本发明的实施例，设备列表包括下载路径，沿所述下载路径可以下载与相关设备相对应的控制信息。信息确定模块14控制通信接口120访问相应的下载地址并且接收控制信息。

根据本发明的实施例，已经通过通信接口120从外部服务器接收了控制信息。如果还没有将与目标对象有关的控制历史存储在存储单元175中并且还没有将目标对象登记在设备列表中，信息确定模块14可以通过传递在观看图像中包括的目标对象的图像或者目标对象的产品名称，来请求外部服务器(例如，入口服务器等)搜索与目标对象相对应的控制信息。根据本发明的实施例，外部服务器搜索用于控制目标对象的控制信息以向第一电子设备100发送所述控制信息，或者向第一电子设备100通知沿其可以下载控制信息的下载路径。

信号产生模块16基于控制信息产生用于控制相关设备(例如，第二电子设备200)的设备控制信号。例如，信号产生模块16可以将输入至第一电子设备100的用户输入转换为适用于第二电子设备200的格式的命令。因为已经将用户输入转换为适用于第二电子设备200的命令，第二电子设备200可以执行与所述命令相对应的操作。

信号产生模块16可以按照将第一电子设备100与目标对象(例如，第二电子设备200)配对的方式来控制通信接口120。信号产生模块16产生请求与第一电子设备100配对的请求消息，并且通过通信接口120将所述请求消息发送至第二电子设备200。根据本发明的实施例，信号产生模块16将第一电子设备100设置为主设备，并且产生用于将目标对象(例如，第二电子设备200)设置为从设备的设备控制信号。信号产生模块16控制通信接口120向第二电子设备200发送设备控制信号。

根据本发明的实施例，第一电子设备100同时控制多个目标对象。控制器110的信号产生模块16可以基于与相应目标对象相对应的控制信息，产生发送至相应目标对象的设备控制信号。例如，假设目标对象是能够与第一电子设备100通信的电子设备，例如TV、第一监视器、第二监视器和平板PC。第一电子设备100可以控制TV、第一监视器、第二监视器和平板PC中每一个的操作，并且因此控制在TV、第一监视器、第二监视器和平板PC中每一个上显示的数据。

根据本发明的实施例，第一电子设备100的控制器110控制第一电子设备100，使得将目标对象彼此配对。例如，如果通过摄像模块150或I/O模块160输入用于在TV和平板PC之间共享数据的用户输入，控制器110控制通信接口120控制在PC和平板PC之间建立的连接，使得将TV与平板PC配对。一旦通过第一电子设备100将TV与平板PC配对，TV和平板PC可以在第一电子设备100的控制下在相应的屏幕上显示相同的数据，或者彼此共享数据。控制器110根据用户输入将在TV中存储的数据发送至平板PC，并且按照这样的方式控制TV和平板PC，使得平板PC显示从TV接收的数据。例如，假设在用户10向第一电子设备100提供用户输入用于在另一个设备上显示当前正在TV上显示的数据之后，将用于设置第二监视器作为其他设备的用户输入输入至第一电子设备100。第一电子设备100可以同时控制TV和第二监视器，使得与这种用户输入相对应地实时将当前正在TV上显示的数据发送至第二监视器并且在第二监视器上显示。在这种情况下，用户10可以向第一电子设备100的摄像模块150输入朝着TV伸展右臂、然后用右手握拳的手势输入，作为用于在其他设备上显示当前正在TV上显示的数据的用户输入。用户10可以向摄像模块150输入移动右臂以面对第二监视器、然后张开握拳的右手的手势输入，作为用于设置其他设备的用户输入。

通信接口120执行第一电子设备100的有线或无线通信。根据本发明的实施例，通信接口120将由控制器110产生的设备控制信号发送至目标对象或者与目标对象相关联的设备(相关设备)。通信接口120可以在控制器110的控制下，请求外部服务器发送与目标对象或相关设备相对应的控制信息。通信接口120可以在控制器110的控制下从外部服务器接收控制信息，并且将接收的控制信息存储在存储单元175中。

根据本发明的实施例，通信接口120在控制器110的控制下，将所产生的设备控制信号发送至目标对象或相关设备。通信接口120可以在控制器110的控制下请求外部服务器发送与目标对象或相关设备相对应的控制信息。根据本发明的实施例，通信接口120将相对于通过视线确定模块12获得的眼睛图像或观看图像的分析结果的至少一个发送给外部服务器，以请求外部服务器发送与目标对象或相关设备相对应的控制信息。

根据本发明的实施例，在从第一电子设备100接收到用于发送控制信息的请求时，外部服务器确定是否已经将与目标对象或相关设备相对应的控制信息存储在外部服务器中。如果已经将控制信息存储在外部服务器中，外部服务器将控制信息发送至第一电子设备100的通信接口120。根据本发明的实施例，如果还没有将控制信息存储在外部服务器中，外部服务器通过有线或无线通信搜索已经存储了控制信息的另一个电子设备。外部服务器可以基于搜索结果来下载最近的控制信息，并且将最近的控制信息发送至第一电子设备100。根据本发明的实施例，外部服务器通过使用从第一电子设备100接收的分析结果，在例如便携站点搜索与目标对象或相关设备相对应的控制信息。

摄像模块150捕获静止图像或运动图像。根据本发明的实施例，摄像模块150通过在控制器110的控制下对用户10的眼睛拍摄来产生眼睛图像。摄像模块150可以通过沿用户10的视线方向拍摄用户10当前正在观看的图像来产生观看图像。根据本发明的实施例，摄像模块150从用户10接收手势输入。用户10可以向摄像模块150输入具体的手势作为所述手势输入，所述具体的手势是用于控制第一电子设备101、目标对象或相关设备的用户输入。控制器110可以根据通过摄像模块150输入的手势输入来控制第一电子设备101、目标对象和相关设备的至少一个。

根据本发明的实施例，电子设备100通过麦克风从用户10接收语音输入。用户10可以向麦克风输入具体的语音作为所述语音输入，所述具体的语音是用于控制第一电子设备101、目标对象或相关设备的用户输入。控制器110可以根据通过麦克风输入的语音输入来控制第一电子设备101、目标对象和相关设备的至少一个。

根据本发明的实施例，将摄像模块150实现为包括两个或多个摄像机。相应两个或多个摄像机的镜头沿不同的方向定向，使得相应两个或多个摄像机可以对沿不同方向定位的对象进行拍摄。例如，第一摄像机的镜头可以朝向为面对用户10，而第二摄像机的镜头可以朝向为沿用户10观看的方向，以对位于用户10前方的对象拍摄。在本发明的另一个实施例中，将摄像模块实现为具有单一的摄像机，所述单一的摄像机可以移动以沿不同的方向捕获图像。

根据本发明的实施例，摄像模块150实现为具有至少一个图像传感器。至少一个图像传感器可以执行与摄像模块150相同的操作。摄像模块150或图像传感器可以与第一电子设备100功能性地相连，从而可以被包括在第一电子设备100中或者位于第一电子设备100外部以将图像传递至第一电子设备100的控制器110。

I/O模块160接收从用户10输入的用户输入。根据本发明的实施例，I/O模块160接收用于驱动第一电子设备100的用户输入、用于通过第一电子设备100控制位于第一电子设备100外部的目标对象或相关设备的用户输入、用于驱动摄像模块150的用户输入等。

存储单元175存储用于控制第一电子设备100的各种数据。根据本发明的实施例，存储单元175存储用于分析通过摄像模块150产生的眼睛图像的各种数据，例如瞳孔的大小、眼睑闭合的程度、眼睛和摄像模块150之间的角度和距离、用户10的面部图像等等。视线确定模块12可以通过基于在存储单元175中存储的数据来分析眼睛图像，确定用户10的视线方向或者用户10当前观看的目标对象。

根据本发明的实施例，存储单元175存储与目标对象或相关设备有关的设备列表。表1示出了设备列表的示例。

表1

参考表1，设备#1的产品名称是KDDK930D，存储在设备#1中的固件是vjadnpdj，固件版本是1.03，并且由GPS坐标指示的设备#1的位置是21.12.01。对于设备#2，产品名称是WKSL10-192，存储的固件是thdrkgh，固件版本是2.1，并且由GPS坐标指示的位置是21.12.02。设备#1已经被第一电子设备100控制，而设备#2从未被第一电子设备100控制。

信息确定模块14基于设备列表来确定是否已经将目标对象或相关设备登记在第一电子设备100中。信息确定模块14还基于设备列表确定是否曾经控制过目标对象或相关设备。

根据本发明的实施例，将存储单元175实现为包括设备DB22。例如，设备DB22可以存储目标对象或相关设备的名称或设备代码以及与目标对象或相关设备相对应的控制信息。控制器110可以通过参考设备DB22来确定是否存储了与第二电子设备200相对应的控制信息。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括：控制器，配置为：使用所述电子设备的图像传感器来确定用户的视线，基于所述用户的视线来确定位于所述电子设备外部的对象，确定与所述对象有关的对象信息，并在接收到来自所述用户的用户输入时，基于相对于所述对象的用户输入和所述对象信息来产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括：摄像模块，配置为捕获所述电子设备的用户的眼睛的图像，并且捕获沿用户观看的方向的观看图像；控制器，配置为：基于所述用户的眼睛的图像来确定用户的视线，基于所述用户的视线从所述观看图像选择对象，在接收到来自所述用户的相对于对象的用户输入时，基于所述用户输入产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

根据本发明的另一个方面，提出了一种用于控制外部对象的电子设备。所述电子设备包括：摄像模块，配置为捕获所述电子设备的用户的眼睛的图像；控制器，配置为基于所述用户的眼睛的图像来确定视点，在接收到来自所述用户的相对于对象的用户输入时，基于所述用户输入来产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

图3是示出了根据本发明实施例的由第一电子设备控制目标对象的方法的流程图。在图3中，假设目标对象或者与目标对象相关联的电子设备(相关设备)是第二电子设备200。

参考图3，在步骤S302，第一电子设备100基于眼睛图像来确定用户10的视线。根据本发明的实施例，在步骤S302之前，控制器110控制摄像模块150对用户10的眼睛拍摄并且产生眼睛图像。控制器110分析眼睛图像以确定用户10的视线方向。根据本发明的实施例，在步骤S302之后，控制器110控制摄像模块150产生观看图像。根据本发明的实施例，摄像模块150将通过用于产生眼睛图像的第一摄像机捕获的图像的坐标与用于产生观看图像的第二摄像机捕获的图像的坐标进行同步。根据本发明的实施例，可以在产生眼睛图像和观看图像之后但是步骤S304之前，执行第一摄像机和第二摄像机之间的坐标同步。根据本发明的实施例，在步骤S302之后，第一电子设备100的控制器110沿用户10的视线将由第一摄像机和第二摄像机捕获的图像的坐标进行同步。例如，第二摄像机捕获的图像的原点可以是用户10的视线指向的点。

一旦确定了用户10的视线，在步骤S304，控制器110基于眼睛图像或观看图像来确定目标对象。在确定了目标对象之后，在步骤S306，控制器110确定目标对象是否是直接可控的。根据本发明的实施例，目标对象可以是能够按照有线或无线方式与第一电子设备100通信的电子设备，所述目标对象可以不是电子设备，或者所述目标对象可以是不能与第一电子设备100通信的电子设备。依赖于所述目标对象是否是电子设备(或者不能与第一电子设备100通信的电子设备)，第一电子设备100的用于控制目标对象的操作可以改变。因此，在产生用于控制目标对象的设备控制信号之前，第一电子设备100确定目标对象是否通过第一电子设备100直接可控。根据本发明的实施例，如果目标对象是能够与第一电子设备通信的电子设备，控制器110确定目标对象通过第一电子设备100直接可控。根据本发明的实施例，如果目标对象不是电子设备或者是不能与第一电子设备通信100通信的电子设备，那么控制器110确定目标对象是不能由第一电子设备100控制的对象。

如果目标对象是直接可控的对象(步骤S306中的“是”)，在步骤S310，控制器110根据用户输入产生并且发送设备控制信号。根据本发明的实施例，在步骤S310之前，控制器110产生用于将目标对象与第一电子设备100配对的设备控制信号，并且将设备控制信号发送至目标对象。根据本发明的实施例，根据用于配对的设备控制信号，将第一电子设备100设置为主设备，并且将目标对象设置为从设备。

如果确定目标对象是不可控的(步骤S306中的“否”)，在步骤S308中，控制器110确定与目标对象相关联的相关设备。因为目标对象是第一电子设备100不可控的，控制器110可以根据观看图像来确定能够改变目标对象的状态的电子设备作为相关设备。一旦确定了相关设备，控制器110可以产生用于将相关设备与第一电子设备100配对的设备控制信号，并且将设备控制信号发送至相关设备。根据本发明的实施例，根据用于配对的设备控制信号将第一电子设备设置为主设备并且将相关设备设置为从设备。

在步骤S310，控制器111根据输入至第一电子设备100的用户输入来产生设备控制信号，并且将所产生的设备控制信号发送至相关设备。

由此，通过将设备控制信号发送至目标对象或与目标对象相关联的相关设备，第一电子设备100可以控制目标对象或相关设备。

图4是示出了根据本发明实施例的由第一电子设备确定目标对象的方法的流程图。在图4中，摄像模块150包括第一摄像机和第二摄像机，并且第一摄像机的镜头和第二摄像机的镜头沿不同的方向安装。

参考图4，在步骤402中，第一电子设备100的控制器110通过摄像模块150产生眼睛图像。摄像模块150通过使用第一摄像机和第二摄像机的至少一个对用户10的眼睛拍摄来产生眼睛图像。

一旦产生了眼睛图像，在步骤404中，控制器110基于眼睛图像确定用户10的视线方向。具体地，在步骤S404中，视线确定模块12获得与眼睛图像的分析相对应的数据，例如用户10的瞳孔的大小、眼睑闭合的程度、眼睛和摄像模块150之间的角度和距离、用户10的面部图像等。在步骤S404中，视线确定模块12基于相对于眼睛图像的分析结果来确定用户10的视线。用户10的视线可以包括视线的方向或角度、用户10观看的点等。

当确定用户10的视线方向时，在步骤S406，控制器110通过摄像模块150产生观看图像。具体地，在步骤S406，摄像模块150通过用第一摄像机和第二摄像机的至少一个对用户10当前观看的至少一个对象拍摄来产生观看图像。

当产生观看图像时，在步骤S408，控制器110的视线确定模块12基于眼睛图像或观看图像来确定目标对象。根据本发明的实施例，在步骤S408，控制器110的信息确定模块14根据观看图像获得识别数据。信息确定模块14可以通过使用识别数据来获得包括目标对象的设备名称、目标物品的产品名称、目标对象的商品名等在内的对象信息。下面参考图5详细地描述相对于(a)的后续操作。

图5是根据本发明实施例的由第一电子设备建立与目标对象的连接的方法的流程图。

参考图5，在步骤S412，控制器110的信息确定模块14确定目标对象是否是第一电子设备100可控的可控对象。

如果确定目标对象是可控对象(例如，步骤S412中的“是”)，在步骤S414，信息确定模块14确定是否已经将与目标对象相对应的控制信息存储在存储单元175中。根据本发明的实施例，控制信息包括转换功能，所述转换功能用于将指示目标对象执行具体操作的第一电子设备10的命令转换为适用于目标对象的格式。

如果已经将与目标对象对象相对应的控制信息存储在存储单元175中(步骤S414的“是”)，在步骤S418，控制器110基于控制信息来设置与目标对象配对。根据本发明的实施例，控制器110将设备控制信号发送至目标对象，用于将第一电子设备设置为主设备并且将目标对象设置为从设备，从而执行在第一电子设备100和目标对象之间设置配对的操作。

如果确定还没有将与目标对象相对应的控制信息存储在存储单元175中(步骤S414中的“否”)，在步骤S416，控制器110控制通信接口120向外部设备发送针对与目标对象相对应的控制信息的请求，并且接收控制信息。根据本发明的实施例，控制器110将步骤S416中接收的控制信息存储在存储单元175中。控制器110可以将控制信息添加至设备列表以更新设备列表。由此，一旦接收了控制信息，在步骤S418中，控制器110基于控制信息设置第一电子设备100和目标对象之间的配对。

如果确定目标对象是不可控的(步骤S412中的“否”)，在步骤S422中，信息确定模块14确定与目标对象相关联的相关设备。根据本发明的实施例，信息确定模块14通过使用从观看图像获得识别数据或设备列表来确定与目标对象相关联的相关设备。

一旦确定了相关设备，在步骤S424中，控制器110的信息确定模块14确定是否已经将与相关设备相对应的控制信息存储在存储单元175中。根据本发明的实施例，控制信息包括转换功能，用于将指示目标对象执行具体操作的第一电子设备10的命令转换为适用于目标对象的格式。

如果确定已经将与相关设备相对应的控制信息存储在存储单元175中(步骤S424中的“是”)，在步骤S428中，控制器110基于控制信息设置与相关设备的配对。根据本发明的实施例，控制器110将设备控制信号发送至目标对象，用于将第一电子设备100设置为主设备并且将相关设备设置为从设备，从而执行在第一电子设备100和相关设备之间设置配对的操作。

如果确定还没有将与相关相对应的控制信息存储在存储单元175中(步骤S424中的“否”)，在步骤S426，控制器110控制通信接口120向外部设备发送针对与相关设备相对应的控制信息的请求，并且接收控制信息。根据本发明的实施例，控制器110将在步骤426中接收的控制信息存储在存储单元175中。控制器110可以将控制信息添加至设备列表以更新设备列表。由此，一旦接收了控制信息，在步骤S428中，控制器110基于控制信息设置第一电子设备100和相关设备之间的配对。

下面分别参考图6A和6B详细地描述了与(b)和(c)相对应的后续操作。图6A是示出了根据本发明实施例的由第一电子设备控制目标对象的方法的流程图，而图6B是示出了根据本发明实施例的由第一电子设备控制相关设备来改变目标对象的状态的方法的流程图

参考图6A，在步骤S432中，第一电子设备100通过摄像模块150或I/O模块160接收来自用户10的用户输入。根据本发明的实施例，摄像模块150通过使用第一摄像机和第二摄像机的至少一个来接收来自用户10的手势输入。根据本发明的实施例，I/O模块160可以实现为包括麦克风(MIC)，并且可以通过MIC接收来自用户10的语音输入。

一旦接收到用户输入，在步骤S434中，控制器110的信号产生模块16确定与用户输入相对应的目标对象的操作。在步骤S436中，信号产生模块16通过使用控制信息来产生用于目标对象的操作的设备控制信号。在产生了设备控制信号之后，在步骤S438中，信号产生模块16通过通信接口120将设备控制信号发送至目标对象。

例如，假设目标对象是TV，并且用户10通过用户输入请求第一电子设备100改变频道，第一电子设备100的控制器110确定与用户输入相对应的改变频道的TV操作。信号产生模块16根据用户输入产生设备控制信号，所述设备控制信号包括请求改变目标对象(TV)的频道的命令。根据本发明的实施例，TV从第一电子设备100接收设备控制信号，并且根据设备控制信号改变频道。

参考图6B，在步骤S442中，第一电子设备100通过摄像模块150或I/O模块160接收来自用户10的用户输入。根据本发明的实施例，摄像模块150通过第一摄像机和第二摄像机的至少一个接收来自用户10的手势输入。根据本发明的实施例，I/O模块160实现为包括MIC，并且通过MIC接收来自用户10的语音输入。

当接收到用户输入时，在步骤S444中，控制器110的信号产生模块16确定与用户输入相对应的相关设备的操作。在步骤S446中，信号产生模块16通过使用控制信息来产生用于相关设备的操作的设备控制信号。一旦产生了设备控制信号，在步骤S448中，信号产生模块16通过通信接口120将设备控制信号发送至相关设备。

例如，假设目标对象是垃圾并且与目标对象相关联的相关设备是清洁机器人，用户10通过用户输入请求第一电子设备100移除垃圾。第一电子设备100的控制器100确定清洁机器人执行清洁的操作以移除与用户输入相对应的垃圾。信号产生模块16产生设备控制信号，所述设备控制信号包括请求清洁机器人执行清洁以便移除垃圾的命令。根据本发明的实施例，清洁机器人通过根据设备控制信号执行清洁，从第一电子设备100接收设备控制信号并且移除垃圾。也就是说，清洁机器人改变垃圾的当前状态。

图7A是示出了根据本发明实施例的由与目标对象配对的第一电子设备控制目标对象的方法的流程图。在图7A中，假设第二电子设备200是目标对象。

参考图7A，在步骤S702中将第一电子设备100和第二电子设备200彼此配对。根据本发明的实施例，在步骤S702中，第一电子设备100建立连接，以将第一电子设备100设置为主设备并且当将第二电子设备200设置为从设备。

一旦完成了配对，在步骤S704中，第一电子设备100从用户10接收用于控制第二电子设备200的操作的用户输入。在步骤S706中，第一电子设备100确定与用户输入相对应的目标对象的操作。在步骤S708中，第一电子设备100产生与所述操作相对应的设备控制信号。

当产生了用于控制第二电子设备200的设备控制信号时，在步骤S710中，第一电子设备100将设备控制信号发送至第二电子设备200。在步骤S712中，已经从第一电子设备100接收设备控制信号的第二电子设备200执行与设备控制信号相对应的操作。按照这种方式，第一电子设备100能够根据用户输入来控制第二电子设备200的操作。

图7B是示出了根据本发明实施例的通过与目标对象配对的第一电子设备来控制与目标对象相关联的相关设备的方法的流程图。在图7B中，假设第二电子设备200是相关设备。

参考图7B，在步骤S722中将第一电子设备100和第二电子设备200彼此配对。根据本发明的实施例，第一电子设备100建立连接，以将第一电子设备100设置为主设备并且当将第二电子设备200设置为从设备。

一旦完成了配对，在步骤S724中，第一电子设备100从用户10接收用于改变目标对象的状态的用户输入。在步骤S726中，第一电子设备100确定与用户输入相对应的相关设备的操作。在步骤S728中，第一电子设备100产生与所述操作相对应的设备控制信号。

当在步骤S728产生了用于控制第二电子设备200的设备控制信号时，在步骤S730中，第一电子设备100将设备控制信号发送至第二电子设备200。在步骤S732中，已经从第一电子设备100接收设备控制信号的第二电子设备200执行与设备控制信号相对应的操作。当第二电子设备200执行了与设备控制信号相对应的操作时，第二电子设备200能够根据用户输入改变目标对象的状态。

根据本发明的一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备使用所述电子设备的图像传感器来确定用户的视线；由所述电子设备基于所述用户的视线来确定位于所述电子设备外部的对象；由所述电子设备确定与所述对象有关的对象信息；在所述电子设备处接收来自所述用户的相对于所述对象的用户输入；以及由所述电子设备基于所述用户输入和所述对象信息来控制所述对象或与所述对象相关联的其他电子设备。

根据本发明的另一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备捕获所述电子设备的用户的眼睛的图像；由所述电子设备基于所述用户的眼睛的图像来确定用户的视线；由所述电子设备捕获沿所述用户观看的方向的观看图像；由所述电子设备基于所述用户的视线从所述观看图像中选择对象；在所述电子设备处接收来自所述用户的相对于对象的用户输入；以及由所述电子设备基于所述用户输入控制所述对象或与所述对象相关联的其他电子设备。

根据本发明的另一个方面，提出了一种由电子设备控制外部对象的方法。所述方法包括：由所述电子设备捕获所述电子设备的用户的眼睛的图像；由所述电子设备基于所述用户的眼睛的图像来确定用户的视点；由所述电子设备确定与所述视点的坐标相对应的对象；在所述电子设备处接收来自所述用户的相对于对象的用户输入；以及由所述电子设备基于所述用户输入控制所述对象或与所述对象相关联的其他电子设备。

图8是示出了根据本发明实施例的包括第一电子设备在内的网络环境的图。

参考图8，网络环境800包括第一电子设备801，所述第一电子设备801包括总线810、处理器820、存储器830、输入/输出接口850、显示器860和通信接口870。根据本发明的实施例，电子设备801可以省略上述部件中的至少一个，或者还可以包括其他部件。

总线810可以包括连接上述部件810至870并且在上述部件之间传输通信(例如，控制消息和/或数据)的电路。

处理器820可以包括以下部件的一个或多个：中央处理单元(CPU)、应用程序处理器(AP)和通信处理器(CP)。处理器820执行例如电子设备801的至少一个其他元件的控制和/或通信的操作或数据处理。根据本发明的实施例，处理器820执行图2中所示的控制器110的所有操作。

处理器820分析用户10的视线以确定用户10当前正在观看的目标对象，例如第二电子设备(例如，电子设备802或804)。在确定目标对象时，处理器820基于与目标对象相对应的控制信息来控制第一电子设备801与目标对象配对。一旦第一电子设备801和第二电子设备彼此相连，处理器820产生与通过照明模块或输入/输出接口850输入的用户输入相对应的设备控制信号。当产生设备控制信号时，处理器820控制通信接口870向第二电子设备发送设备控制信号。根据本发明的实施例，第二电子设备从第一电子设备801接收设备控制信号，并且执行与设备控制信号相对应的操作。

存储器830可以包括易失性存储器和/或非易失性存储器。例如，存储器830可以存储与电子设备801的至少一个其他元件相关的命令或数据。根据本公开的实施例，存储器830可以存储软件和/或程序840。例如，程序840可以包括内核841、中间件843、应用编程接口(API)845和/或应用程序(或“应用”)847。内核841、中间件843和API845中的至少一些可以称作操作系统(OS)。

内核841可以控制或管理用于执行由其他程序(例如，中间件843、API845或者应用程序847)实现的操作或功能的系统资源(例如，总线810、处理器820或者存储器830)。另外，内核841可以提供接口，中间件843、API845或应用程序847可以通过所述接口访问电子设备801的分离元件以控制或管理系统资源。

中间件843例如可以用作媒介，用于允许API845或应用程序847与内核841通信以交换数据。对于从应用程序847接收的任务请求，例如，中间件843可以通过向应用程序847中的至少一个分配使用电子设备801的系统资源(例如，总线810、处理器820、存储器830等)的优先级，来相对于所述任务请求来执行控制(例如，调度或负载平衡)。

API845是一种接口，应用程序847通过所述接口来控制从内核841或中间件843提供的功能，并且可以包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，命令)。

I/O接口850用作可将从用户或另一外部设备输入的命令或数据传输至电子设备801的其他元件810、820、830、840、860和870的接口。I/O接口850也可以将从电子设备801的其他元件810、820、830、840、860和870接收的命令或数据输出至用户或另一外部设备。

显示器860可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器、电子纸显示器等。显示器860可以向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器860可以包括触摸屏，并且接收例如使用电子笔或用户的身体部位进行的触摸、手势、靠近、悬空输入等。

根据本发明的实施例，显示器860可以按照立体图像的形式显示由电子设备801提供的各种内容，从而向用户提供虚拟现实服务。

通信接口870可以设置电子设备801和外部设备(例如，第一外部电子设备802、第二外部电子设备804或者服务器806)之间的通信。例如，通信接口870可以通过无线或有线通信与网络862相连，以与外部设备(例如，第二外部电子设备804或服务器806)通信。

无线通信例如可以采用以下各项中的至少一个作为蜂窝通信协议：长期演进(LET)、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)。有线通信例如可以包括以下各项中的至少一个：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准-232(RS-232)和普通老式电话业务(POTS)。网络862可以包括通信网络中的至少一种，通信网络例如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网、电话网等。

第一外部电子设备802和第二外部电子设备804均可以是与电子设备801相同或不同的设备。根据本公开的实施例，服务器806可以包括一组一个或多个服务器。

根据本公开的各种实施例，电子设备801中执行的全部或部分操作可以在一个或多个其他电子设备(例如，电子设备802和804，或服务器806)中执行。根据本公开的实施例，当电子设备801应该自动地或者基于请求而执行功能或服务时，电子设备801可以请求另一设备(例如，电子设备802或804，或服务器806)执行与所述功能或服务相关的至少一些功能，而不是由它自身或者额外执行所述功能或服务。另一电子设备(例如，电子设备802或804，或服务器806)可以执行电子设备801所请求的功能或者附加功能，并且将执行的结果传输至电子设备801。然后，电子设备801可以处理或者进一步处理接收到的结果以提供所请求的功能或服务。为此，例如可以使用云计算、分布式计算或者客户端-服务器计算技术。

第一电子设备801还可以包括摄像模块。摄像模块可以包括在处理器820的控制下捕获静止图像或运动图像的第一摄像机或第二摄像机。第一摄像机或第二摄像机可以包括用于提供拍摄所需的光的辅助光源(例如，闪光灯)。第一摄像机可以位于第一电子设备801的前表面上，而第二摄像机可以位于第一电子设备801的后表面上。在本发明的另一个实施例中，第一摄像机和第二摄像机可以设置为位置彼此相邻(例如，第一摄像机和第二摄像机之间的间距大于1cm且小于8cm)，以捕获三维(3D)静止图像或3D运动图像。

摄像模块在处理器820的控制下捕获用户10的眼睛以产生眼睛图像。摄像模块沿用户10的视线方向捕获用户当前正在观看的图像以产生观看图像。

图9是示出了根据本发明实施例的电子设备的方框图.

电子设备901可以包括例如图8中所示的电子设备801的全部或者一部分。电子设备901包括包括一个或多个应用处理器(AP)910、通信模块920、订户身份模块(SIM)卡924、存储器930、传感器模块940、输入设备950、显示器960、接口970、音频模块980、图像传感器模块991、功率管理模块995、电池996、指示器997和电机998。

例如，AP910可以通过驱动操作系统或应用程序，来控制与AP910相连的多个硬件或软件元件。例如，AP910可以实现为芯片上系统(SoC)。根据本公开的实施例，AP910还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。AP910可以包括图8所示的元件的至少一些，例如蜂窝模块921。AP910将从至少一个其他元件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器中，以处理所述命令或数据并且将各种数据存储在非易失性存储器中。

通信模块920可以具有与图8的通信接口860相同或类似的结构。例如，通信模块920可以包括蜂窝模块921、无线保真(WiFi)模块923、蓝牙(BT)模块925、全球定位系统(GPS)模块927、近场通信(NFC)模块928和射频(RF)模块929。

蜂窝模块921可以通过通信网络提供语音通信、视频通信、文本服务、因特网服务等。根据本发明的实施例，蜂窝模块921可以使用订户识别模块SIM(例如，SIM卡924)来执行相对于电子设备901的识别和认证。根据本公开的实施例，蜂窝模块921可以执行AP910可以提供的功能中的至少一些。根据本发明的实施例，蜂窝模块921包括通信处理器(CP)。

WiFi模块923、BT模块925、GPS模块927或NFC模块928均可以包括用于处理通过相应模块发送/接收的数据的处理器。根据本发明的实施例，蜂窝模块921、WiFi模块923、BT模块925、GPS模块927或NFC模块928中的至少一些(例如，两个或更多)可以集成在单个集成芯片(IC)或IC封装中。

RF模块929发送和接收通信信号(例如，RF信号)。RF模块929例如可以包括收发机、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的另一个实施例，蜂窝模块921、WiFi模块923、BT模块925、GPS模块927或NFC模块928中的至少一个可以通过分离的RF模块发送和接收RF信号。

例如，SIM卡924可以是包括SIM和/或嵌入式SIM的卡，并且可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或者订户信息(例如，国际移动用户身份(IMSI))。

例如，存储器930(例如，存储器830)可以包括嵌入式存储器932或者外部存储器934。例如，嵌入式存储器932可以包括易失性存储器(例如，动态随机存取存储器(DRAM)或同步动态RAM(SDRAM))或非易失性存储器(例如，一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存存储器(例如，“与非”(NAND)闪存以及“或非”闪存(NOR)))、硬盘驱动器和固态驱动器(SSD)中的至少一个。

外部存储器934还可以包括闪速驱动器，例如紧凑闪存(CF)、安全数字(SD)、微-安全数字SD、迷你-SD、超级数字(xD)或记忆棒等。外部存储器934可以通过各种接口与电子设备901功能地和/或物理地相连。

传感器模块940可以测量物理量或者感测电子设备901的操作状态，将测量或感测到的信息转换为电信号。例如，传感器模块940可以包括手势传感器940A、陀螺传感器940B、气压传感器940C、磁传感器940D、加速度传感器940E、抓握传感器940F、接近度传感器940G、RGB传感器940H(例如，红、绿、蓝(RGB)传感器)、生物-物理传感器940I、温度/湿度传感器940J、照明传感器940K、紫外(UV)传感器940M中的至少一个。附加地或者替代地，传感器模块940还可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器、指纹传感器等，作为生物-物理传感器940I的一部分。传感器模块940还可以包括控制电路，用于控制所包括的至少一个传感器。根据本发明的实施例，电子设备901还包括处理器，配置为控制作为AP910的一部分或者与AP910分离的传感器模块940，并且当AP910处于休眠模式时控制传感器模块940。

例如，输入设备950可以包括触摸板952、(数字)笔传感器954、按键956、超声输入设备958等。触摸板952例如可以使用电容性、电阻性、红外型或者超声型的至少一种。触摸板952还可以包括控制电路。触摸板952还可以包括触觉层以向用户提供触觉响应。

(数字)笔传感器954可以是例如触摸板或分立的识别片的一部分。按键956例如可以包括物理按钮、光学按键或键区。超声输入设备958是能够经由产生超声信号的输入工具感测音频波，并且检查通过电子设备901中的麦克风(MIC)988的数据。

显示器960(例如，显示器860)可以包括面板962、全息设备964或投影仪966。面板962可以具有与图8的显示器860相同或类似的结构。面板962例如可以实现为柔性、透明或可穿戴。面板962可以与触摸板952一起构建为一个模块。全息设备964可以使用光的干涉在空气中展示三维图像。投影仪966可以将光投影到屏幕上以显示图像，所述屏幕例如可以位于电子设备901的内部或外部。根据本公开的实施例，显示器960还可以包括控制电路，用于控制面板962、全息设备964或投影仪966。

接口970例如可以包括高清多媒体接口(HDMI)972、通用串行总线(USB)974、光学接口976或者D-超小接口(D-sub)978。例如，可以在图8所示的通信接口870中包括所述接口970。附加地或者替代地，接口970可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或者红外数据协会(IrDA)标准接口。

音频模块980可以相互地转换声音和电信号。例如，可以在图8所示的输入/输出接口840中包括音频模块980的至少一些部件。音频模块980可以处理通过扬声器982、接收器984、耳机986或麦克风988输入或输出的声音信息。

摄像模块991是能够捕获静止画面或运动画面的设备。根据本公开的实施例，摄像模块991可以包括一个或多个图像传感器(例如，前置传感器或后置传感器)、镜头、ISP或者闪光灯(例如，LED或氙灯等)。

功率管理模块995管理电子设备901的电源。根据本发明的实施例，功率管理模块995包括功率管理集成电路(PMIC)、充电器IC、电池量计。PMIC可以使用有线和/或无线充电方案。无线充电方案例如可以是磁谐振方案、磁感应方案或电磁波方案，以及还可以包括用于无线充电的附加电路，例如线圈回路、谐振电路或整流器。电池量计可以测量电池996的剩余容量以及充电期间电池996的电压、电流或温度。例如，电池996可以包括可充电电池和/或太阳能电池。

指示器997可以显示电子设备901或电子设备901的一部分(例如，AP910)的具体状态，例如引导状态、消息状态或充电状态。电机998可以将电信号转换为机械振动，并且产生振动或触觉效应。

尽管未示出，可以包括用于支持移动TV的处理设备(例如，GPU)。用于支持移动TV的处理设备可以根据例如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流的标准来处理媒体数据。

电子设备901的上述元件的每一个可以包括一个或多个部件，并且元件的远程可以随着电子设备901的类型而改变。根据本发明的实施例，电子设备901包括上述元件的至少一个，并且可以省略一些元件或者可以进一步包括其他元件。同样，根据本发明实施例，电子设备901的元件的一些可以耦接至一个实体以执行与耦接之前的元件功能相同的功能。

图10是示出了根据本发明实施例的程序模块的方框图。

根据本公开的实施例，程序模块1010(例如，程序840)可以包括OS，用于控制与电子设备(例如电子设备801)相关联的资源和/或在OS上驱动的各种应用(例如，应用程序847)。

程序模块1010包括内核1020、中间件1030、API1060和/或应用1070。程序模块1010的至少一部分可以预先加载到电子设备上或者从服务器(例如，服务器806)下载。

内核1020(例如，图8的内核841)例如可以包括系统资源管理器1021和/或设备驱动器1023。系统资源管理器1021可以控制、分配或者收集系统资源。系统资源管理器1021可以包括例如进程管理器、存储器管理器和文件系统管理器。设备驱动器1023例如可以包括显示器驱动器、摄像机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。

中间件1030例如可以提供应用1070共同要求的功能，或者通过API1060向应用1070提供各种功能，使得应用1070可以有效地使用电子设备内有限的系统资源。根据本公开的实施例，中间件1030(例如，中间件843)例如可以包括运行时间库1035、应用管理器1041、窗口管理器1042、多媒体管理器1043、资源管理器1044、功率管理器1045、数据库管理器1046、数据包(package)管理器1047、连接管理器1048、通知管理器1049、位置管理器1050、图形管理器1051和安全管理器1052中的至少一个。

运行时间库1035可以包括库模块，在应用1070之一的执行期间，编译器使用所述库模块来通过编程语言添加新的功能。根据本发明的实施例，运行时间库1035可以执行输入/输出管理、存储器管理和/或算法函数的功能。

应用管理器1041例如可以管理应用1070中的至少一个的生命周期。窗口管理器1042可以管理屏幕所使用的图形用户界面(GUI)资源。多媒体管理器1043检测再现各种媒体文件所需的格式，并且可以通过使用适用于相应格式的编解码器来执行媒体文件的编码和/或解码。资源管理器1044可以管理资源，例如应用1070中的至少一个的源代码、存储器和存储空间。

电源管理器1045可以与基本输入/输出系统(BIOS)一起操作以管理电池和/或电力，并且可以提供电子设备的操作所需的功率信息。数据库管理器1046可以产生、搜索和/或改变要由应用1070中的至少一个使用的数据库。包管理器1047可以管理以数据包文件(packagefile)形式分发的应用的安装或更新。

例如，连接管理器1048可以管理例如Wi-Fi或BT的无线连接。通知管理器11049可以按照不会干扰用户的方式显示和/或通知事件，例如到达消息、提示、靠近通知等。位置管理器1050可以管理电子设备的位置信息。图形管理器1051可以管理要提供给用户的图形效果，和/或与图形效果相关的用户界面。安全管理器1052可以提供系统安全或用户认证所需的所有安全功能。根据本发明的实施例，当电子设备801具有电话呼叫功能时，中间件1030还包括电话管理器，用于管理电子设备的语音和/或视频通信功能。

中间件1030可以包括中间件模块，用于形成上述部件的各种功能的组合。中间件1030可以提供根据OS的类型而专门设计的模块，以便提供差异化功能。另外，中间件1030可以动态地去除一些已有部件和/或添加新的部件。

API1060(例如，API845)例如是API编程函数集，并可以根据操作系统提供API的不同配置。例如，对于每一平台可以提供一个API集，或者对于每一个平台可以提供两个或更多API集。

应用1070(例如，应用程序847)例如可以包括家庭功能1071、拨号器应用1072、短消息收发服务(SMS)/多媒体消息收发服务(MMS)1073、即时消息收发(IM)应用1074、浏览器应用1075、摄像机应用1076、告警应用1077、联系人应用1078、语音拨号应用1079、电子邮件应用1080、日历应用1081、媒体播放器应用1082、相册应用1083、时钟应用1084以及能够提供各种功能的一个或多个应用，例如保健功能APP(例如，测量锻炼燃烧的卡路里或者血糖)，或者能够提供环境信息的一个或多个应用(例如，气压、湿度或温度信息)。

根据本公开的实施例，应用1070可以包括支持在电子设备801和外部电子设备(例如电子设备802或804)之间交换信息的应用，称作“信息交换应用”。例如，信息交换应用可以包括用于向外部电子设备中继一定信息的通知中继应用，或者用于管理外部电子设备的设备管理应用。

例如，通知中继应用可以将电子设备的其他应用程序(例如，SMS/MMS应用、电子邮件应用、保健应用或环境信息应用)产生的通知信息中继到外部电子设备(例如，电子设备102或104)。通知中继应用从外部电子设备接收通知信息，并且将接收到的通知信息提供给用户。设备管理应用管理(例如，安装、删除或更新)与电子设备通信的外部电子设备(例如电子设备104)的至少一个功能(例如，开启/关闭外部电子设备(或者一些组件)，或者显示器的亮度(或分辨率)控制)、在外部电子设备中运行的应用或者由外部电子设备提供的服务(例如，电话呼叫服务或者消息收发服务)。

根据本公开的实施例，应用1070包括根据外部电子设备(例如，电子设备802或804)的属性(例如，移动医疗设备作为电子设备的属性)而指定的应用(例如，健康管理应用)。根据本公开的实施例，应用1070包括从外部电子设备(例如，服务器806或电子设备802或804)接收到的应用。根据本公开的实施例，应用1070可以包括预先加载的应用或者可以从服务器下载的第三方应用。程序模块1010的元件的名称可以根据操作系统的类型而变化。

根据本公开的各种实施例，程序模块1010的至少一部分可以通过软件、固件、硬件或者其中的两项或多项的组合来实现。例如，程序模块1010的至少一部分可以由处理器(例如AP910)来实现(例如执行)。例如，程序模块1010的至少一些可以包括用于执行一个或多个功能的模块、程序、例程、指令集或者进程。

根据本发明的另一个方面，提出了一种计算机可读记录介质，具有在上面记录的程序，所述程序用于执行以下操作：使用图像传感器来确定用户的视线；基于所述用户的视线来确定位于包括所述计算机可读记录介质在内的电子设备外部的对象；确定与所述对象有关的对象信息；接收来自所述用户的相对于对象的用户输入；以及基于所述用户输入和所述对象信息来控制所述对象或与所述对象相关联的其他电子设备。

如这里所使用的，术语“模块”可以指的是例如包括硬件、软件和固件或者以上两个或多个的组合在内地“单元”。术语“模块”可以与诸如单元、逻辑、逻辑块、部件或电路之类的其他术语互换。模块可以是整体配置的部件或者部件的一部分的最小单元。模块可以是用于执行一个或多个功能或者功能的一部分的最小单元。模块可以机械地或者电学地实现。例如，根据本发明实施例的模块包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知或者将来开发的可编程逻辑器件的至少一个。

根据本发明实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以通过在计算机可读存储介质中以程序模块的方式存储的指令来实现。当通过处理器(例如处理器120)执行所述指令时，一个或多个处理器可以执行与所述指令相对应的一个或多个功能。例如，所述计算机可读存储介质可以是存储器130。

计算机可读可以包括诸如硬盘、软盘和磁带之类的磁介质以及诸如紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)之类的光学记录介质、诸如光磁软盘之类的磁光介质以及诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存之类的硬件设备，具体地配置为存储和执行程序指令。此外，程序指令可以包括高级语言代码和通过编译器实现的机器码，可以通过使用编译器在计算机中执行所述高级语言代码。上述硬件设备可以配置为操作一个或多个软件模块操作以便执行上述操作。

根据本发明实施例的模块或程序模块可以包括上述元件的至少一个，排除了它们的一些或者还包括附加的元件。根据本发明实施例的由根据模块、程序模块或其他元件执行的操作可以按照顺序、并行、重复或探索的方式执行。同样可以基于不同的顺序执行一些操作，可以省略一些操作，或者可以包括附加的操作。

可以从本发明的实施例中获得或预期的其他效果在本发明实施例的详细描述中明示或暗示地公开。

尽管已经参考本发明的某些实施例示出和描述了本发明，本领域普通技术人员应该理解的是在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以实现形式和细节上的各种变化。

Claims (18)

1.一种由电子设备控制外部对象的方法，所述方法包括：

由所述电子设备使用所述电子设备的图像传感器来确定用户的视线；

由所述电子设备基于所述用户的视线来确定位于所述电子设备外部的对象；

由所述电子设备确定与所述对象有关的对象信息；

在所述电子设备处接收来自所述用户的相对于所述对象的用户输入；以及

由所述电子设备基于所述用户输入和所述对象信息来控制所述对象或与所述对象相关联的其他电子设备。

2.根据权利要求1所述的方法，其中确定用户的视线包括：

基于用户的眼睛图像来确定用户的视线的方向、瞳孔的大小以及视线坐标中的一个或多个。

3.根据权利要求1所述的方法，其中确定对象信息包括：

基于与所述对象相关联的图像的至少一部分的轮廓来确定所述对象的图像区域；以及

基于所述图像区域来确定所述对象信息。

4.根据权利要求3所述的方法，其中确定图像区域包括：

根据通过所述电子设备输入的用户的手势输入或语音输入来确定所述图像区域。

5.根据权利要求1所述的方法，其中确定对象信息包括：

确定以下中的至少一个作为所述对象信息：与所述对象相关联的商品名、所述对象的形式、在所述对象中包括的按钮的排列形式、所述对象的颜色、附着至所述对象的附件、所述对象的商标与所述对象相关联的文本信息。

6.根据权利要求1所述的方法，其中控制所述对象或与所述对象相关联的其他电子设备包括：

将所述对象信息与预先存储的设备列表或者预先存储的控制历史进行比较；以及

基于将所述对象信息与所述设备列表或所述控制历史进行比较的结果，产生用于控制所述对象或所述其他电子设备的控制信号。

7.根据权利要求1所述的方法，其中控制所述对象或与所述对象相关联的其他电子设备包括：

通过网络从外部服务器接收用于控制所述对象或所述其他电子设备的信息的至少一部分；以及

基于用于控制所述对象或所述其他电子设备的信息的至少一部分来产生用于控制所述对象或所述其他电子设备的控制信号。

8.根据权利要求1所述的方法，其中控制所述对象或与所述对象相关联的其他电子设备包括：

至少在与所述电子设备功能性地相连的显示设备的区域上，显示用于控制所述对象或与所述对象相关联的其他电子设备的信息。

9.一种用于控制外部对象的电子设备，所述电子设备包括：

控制器，配置为：

使用所述电子设备的图像传感器来确定用户的视线；

基于所述用户的视线来确定位于所述电子设备外部的对象；

确定与所述对象有关的对象信息；

以及

在接收到来自所述用户的用户输入时，基于相对于所述对象的用户输入和所述对象信息来产生用于控制所述对象或与所述对象相关联的另一个电子设备的控制信号；以及

通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。

10.根据权利要求9所述的电子设备，其中所述控制器还配置为基于用户的眼睛图像来确定用户的视线的方向、瞳孔的大小以及视线坐标中的一个或多个。

11.根据权利要求9所述的电子设备，其中所述控制器还配置为基于与所述对象相关联的图像的至少一部分的轮廓来确定所述对象的图像区域；以及基于所述图像区域来确定所述对象信息。

12.根据权利要求9所述的电子设备，其中所述控制器还配置为根据通过所述电子设备输入的用户的手势输入或语音输入来确定所述图像区域。

13.根据权利要求9所述的电子设备，其中所述控制器还配置为确定以下中的至少一个作为所述对象信息：与所述对象相关联的商品名、所述对象的形式、在所述对象中包括的按钮的排列形式、所述对象的颜色、附着至所述对象的附件、所述对象的商标以及与所述对象相关联的文本信息。

14.根据权利要求9所述的电子设备，其中所述控制器还配置为：将所述对象信息与预先存储的设备列表或者预先存储的控制历史进行比较；以及基于将所述对象信息与所述设备列表或所述控制历史进行比较的结果，产生用于控制所述对象或所述其他电子设备的控制信号。

15.根据权利要求9所述的电子设备，其中所述控制器还配置为控制所述通信接口通过网络从外部服务器接收用于控制所述对象或所述其他电子设备的信息的至少一部分，并且基于所述用于控制所述对象或所述其他电子设备的信息的至少一部分来产生用于控制所述对象或所述其他电子设备的控制信号。

16.根据权利要求9所述的电子设备，其中所述控制器还配置为控制所述其他电子设备至少在与所述电子设备功能性地相连的显示设备的区域上，显示用于控制所述对象或与所述对象相关联的其他电子设备的信息。

17.一种由电子设备控制外部对象的方法，所述方法包括：

由所述电子设备捕获所述电子设备的用户的眼睛的图像；

由所述电子设备基于所述用户的眼睛的图像来确定用户的视线；

由所述电子设备沿所述用户观看的方向捕获观看图像；

由所述电子设备基于所述用户的视线从所述观看图像中选择对象；

在所述电子设备处接收来自所述用户的相对于对象的用户输入；以及

由所述电子设备基于所述用户输入控制所述对象或与所述对象相关联的另一个电子设备。

18.一种用于控制外部对象的电子设备，所述电子设备包括：

摄像模块，配置为捕获所述电子设备的用户的眼睛的图像，并且沿用户观看的方向捕获观看图像；

控制器，配置为：

基于所述用户的眼睛的图像来确定用户的视线，

基于所述用户的视线从所述观看图像中选择对象；

在接收到来自所述用户的相对于对象的用户输入时，基于所述用户输入产生用于控制所述对象或与所述对象相关联的其他电子设备的控制信号；以及

通信接口，配置为向所述对象或者与所述对象相关联的其他电子设备发送所述控制信号。