CN105892051A - 眼镜式终端及其控制方法 - Google Patents

眼镜式终端及其控制方法 Download PDF

Info

Publication number
CN105892051A
CN105892051A CN201510165820.0A CN201510165820A CN105892051A CN 105892051 A CN105892051 A CN 105892051A CN 201510165820 A CN201510165820 A CN 201510165820A CN 105892051 A CN105892051 A CN 105892051A
Authority
CN
China
Prior art keywords
information
user
controller
terminal
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510165820.0A
Other languages
English (en)
Other versions
CN105892051B (zh
Inventor
张裕凖
金泰星
李晶允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105892051A publication Critical patent/CN105892051A/zh
Application granted granted Critical
Publication of CN105892051B publication Critical patent/CN105892051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0161Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163Electric or electronic control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1636Sensing arrangement for detection of a tap gesture on the housing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及眼镜式终端及其控制方法。提供一种眼镜式终端,包括:显示单元,在其上显示图片信息;感测单元,该感测单元在用户佩戴眼镜式终端的状态下感测用户的注视已经固定的时间段;以及控制器,在用户的注视已经固定了参考时间或者更长的时间段的情况下,收集与用户注视朝向的某物相关的信息,并且以多条收集的信息之中的至少一条收集的信息被显示在显示单元的方式控制显示单元。

Description

眼镜式终端及其控制方法
技术领域
本公开涉及一种眼镜式终端和用于控制眼镜式终端的方法。
背景技术
随着信息时代的技术进步,特别强调了实现增强现实屏幕的显示装置的重要性。头戴式显示器是这样的装置的一个示例。
主要以安全眼镜或者头盔的形式的头戴式显示器是在每个眼睛的前面具有小的显示光学的显示装置。头戴式显示器已经被开发以实现虚拟现实。通常,可佩戴的眼镜式终端具有被安装在紧密接近两只眼睛的小型的液晶显示器并且具有反映被投射的图像的性能。当前,针对在空间开发、核反应堆、军事机构中的使用,和对于在商业和计算机游戏中的使用的可佩戴的眼镜式终端的开发已经进行研究。
由于这些改进,根据一个实施例的可佩戴的眼镜式终端已经投入市场。被实现为可佩戴装置的智能眼镜方便地执行在现有的眼镜式终端中执行的功能。
智能眼镜包括与外部设备通信的功能。其中使用智能眼镜执行或者控制更多不同的功能的各种方法已经在开发中。
发明内容
因此,详细描述的一个方面是为了提供一种眼镜式终端和控制眼镜式终端的方法,该眼镜式终端能够以更加容易地方式收集关于用户的附近的信息并且在任何时候给用户提供被收集的信息。
详细描述的另一方面是为了提供一种眼镜式终端和控制眼镜式终端的方法,该眼镜式终端能够收集与用户移动所沿着的路径有关的信息并且每当必要时给用户提供被收集的信息,从而帮助用户沿着该路径往回移动。
为了实现这些和其他优点并且根据本说明书的用途,如在此具体化和广泛地描述的,提供一种眼镜式终端,包括:显示单元,在其上显示图片信息;感测单元,该感测单元在用户佩戴眼镜式终端的状态下感测用户的注视已经固定的时间段;以及控制器,在用户的注视已经固定了参考时间或者更长的时间段的情况下,收集与用户注视朝向的某物相关的信息,并且以多条收集的信息之中的至少一条收集的信息被显示在显示单元的方式来控制显示单元。
在眼镜式终端中,控制器可以存储关于与用户注视朝向的某物有关的信息被收集的时间和位置的多条信息,作为与收集的信息相对应的多条属性信息。
眼镜式终端可以进一步包括文本识别单元,该文本识别单元识别在与用户注视朝向的某物有关的信息中的文本信息,其中控制器可以包括在与被收集的信息相对应的多条属性信息中的通过文本识别单元的识别的结果。
在眼镜式终端中,当用户从多条属性信息之中选择任意一条属性信息时,基于所选择的属性信息,控制器可以基于选择的属性信息从多条搜索的信息之中搜寻相应的信息,或者可以有序地排列被显示在显示单元上的多条信息。
眼镜式终端可以进一步包括相机,该相机捕获图片信息,其中控制器可以至少收集通过相机捕获的一条图片信息,作为与用户注视朝向的某物有关的信息。
眼镜式终端可以进一步包括位置识别单元,该位置识别单元识别移动终端的当前位置,其中控制器可以收集与在感测到的当前位置的附近在与用户的注视已经固定了时间段或者更长的时间段的方向相对应的地点有关的信息。
在眼镜式终端中,控制器可以进一步收集关于用户移动所沿着的路径的信息,并且,在用户的请求下,可以以信息被定位在显示单元上显示的路径的附近的方式在显示单元上显示与用户注视朝着的某物有关的信息。
眼镜式终端可以进一步包括第二感测单元,该第二感测单元感测在被施加到眼镜式终端的主体的多个轻击、以及通过用户做出的预定姿势以及用户的面部肌肉的肌电图变化之中的至少一个,其中基于感测的结果,控制器可以识别用户的请求。
在眼镜式终端中,基于通过第二感测单元的感测的结果,控制器可以开始收集与用户注视朝向的某物有关的信息或者可以停止收集与用户注视朝着的某物有关的信息。
在眼镜式终端中,在信息的收集开始或者停止的情况下,控制器可以在显示单元上显示至少一个预定图形对象。
眼镜式终端可以进一步包括位置识别单元,该位置识别单元识别移动终端的当前位置,其中当从多条收集的位置信息之中选择与用户注视朝向的某物有关的任意一条收集的信息时,控制器可以以与所选择的一条收集的位置信息有关的当前位置和附加信息被显示在显示单元上的方式来执行控制。
在眼镜式终端中,控制器可以收集与用户注视朝向的某物有关的信息,作为与预定车辆被停放的位置有关的停车信息,并且可以在用户的请求下显示多条收集的停车信息之中的至少一条收集的停车信息。
在眼镜式终端中,控制器可以基于在用户的位置的移动速度中的变化和在用户的位置和预定车辆的位置之间的距离的变化之中的至少一个来确定是否用户从预定车辆下车,并且可以基于确定是否用户从预定车辆下车的结果,收集与用户注视朝向的某物相关的信息作为停车信息。
眼镜式终端可以进一步包括相机,该相机捕获关于预定车辆被停放的位置的附近的图片信息,其中当图片信息与多条已经收集的停车信息之中的至少一条停车信息相似达到预定程度或者更高时,控制器可以以其他多条停车信息被定位在被显示在显示单元上的至少一条停车信息的附近的方式在显示单元上显示其他多条停车信息。
在眼镜式终端中,基于在被施加到眼镜式终端的主体的多个轻击、通过用户做出的预定姿势、以及用户的面部肌肉的肌电图变化之中的至少一个,相机可以开始操作或者停止操作。
在眼镜式终端中,控制器可以进一步收集关于用户移动所沿着的路径的信息,并且,在用户的请求下,可以在显示单元上显示关于路径的信息和停车信息。
在眼镜式终端中,用户移动所沿着的路径可以作为使用增强现实的图形对象被显示在显示单元上。
为了实现这些和其他优点并且根据本说明书的用途,如在此具体化和广泛地描述的,提供一种控制眼镜式终端的方法,该方法包括:在用户佩戴眼镜式终端的状态下感测用户的注视已经固定的时间段;在用户的注视已经固定了参考时间段或者更长的时间段的情况下,收集与用户注视朝向的某物有关的信息;以及以在显示单元上显示多条收集的信息之中的至少一条收集的信息的方式来控制显示单元。
在该方法中,用户的注视固定的时间段的感测可以包括:感测在被施加到眼镜式终端的主体的多个轻击和用户做出的预定姿势之中的至少一个;以及基于感测的结果,操作被提供给眼镜式终端的相机,其中信息的收集可以是将通过操作中的相机捕获的图像存储为静态图像和运动图像之中的至少一个。
在该方法中,信息的收集进一步包括:对收集的信息执行文本识别;生成文本识别的结果作为与相对应的已经收集的信息有关的属性信息;以及基于生成的数据信息对已经存储的信息分类并且存储分类的结果。
根据在下文中给出的详细描述,本申请的进一步范围将变得更加显然。然而,应理解的是,仅通过说明给出指示本公开的优选实施例的特定示例和详细描述,因为对本领域的技术人员来说本公开的精神和范围内的各种变化和修改将变得更加显然。
附图说明
被包括以提供本公开的进一步理解并且被包含且组成本说明书的一部分的附图,图示示例性实施例并且连同描述一起用以解释本公开的原理。
在附图中:
图1是用于描述根据本发明的眼镜式终端的图;
图2是图示根据本发明的一个实施例的可佩戴的眼镜式终端的图;
图3和图4是其中眼镜式终端能够操作的通信系统的图;
图5是用于描述根据本发明的一个实施例的控制眼镜式移动终端的方法的流程图;
图6是用于描述在图5中图示的操作过程之中收集关于用户注视的某物有关的信息的操作过程的流程图;
图7是用于描述在图5中图示的操作过程之中收集关于用户注视的某物的信息的操作过程的另一示例的流程图;
图8是用于描述在图5中图示的操作过程之中分类和存储被收集的信息的操作过程的流程图;
图9是用于描述在图5中图示的操作过程之中显示根据用户的请求找到的信息的操作过程的流程图;
图10A至图10C是图示根据本发明的实施例的其中在眼镜式终端中收集与用户注视的某物有关的信息的示例的图;
图11A(a)和图11A(b)和图11B(a)和图11B(b)是图示根据本发明的实施例的在眼镜式终端中收集与用户注视的某物有关的信息的示例的图;
图12A(a)和图12A(b)和图12B(a)和图12B(b)是图示根据用户的请求在根据本发明的实施例的眼镜式终端中显示多条信息之中的至少一条收集的信息的示例的图;
图12C(a)和图12C(b)是图示在根据本发明的实施例的眼镜式终端中显示关于用户已经注视某物的时间段和用户已经拜访相对应的地点的次数的多条信息的示例的图;
图13A(a)至图13A(f)和图13B(a)至图13B(f)是图示其中在根据本发明的眼镜式终端中,基于用户做出的姿势搜寻多条已经收集的信息的示例的图;
图14A(a)和图14A(b)和图14B(a)和图14B(b)是根据本发明的眼镜式终端200中的其中停车信息被收集并且被提供给用户的示例的图。
具体实施方式
参考附图,根据在此公开的示例性实施例现在详细地给出描述。为了参考附图简要描述,相同的或者等效的组件可以被设有相同或者相似的附图标记,并且其描述将不会被重复。通常,诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此旨在仅有助于说明书的描述,并且后缀本身旨在没有给予任何特定的意义或者功能。在本公开中,为了简要描述通常已经省略了在相关领域中对于普通技术人员来说公知的后缀。附图被用于帮助容易地理解各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此,本公开应被解释为延伸到除了在附图中特别地陈述的之外的任何变更、等同物以及替代。
本描述中的终端可以诸如包括便携式电话、智能电话、笔记本计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、板式PC、平板PC、超级本、可佩戴装置(例如,智能手表)、头戴式显示器(HMD)等的移动终端。
然而,对于本领域的技术人员将会显然的是,除了用于移动性的特定配置之外,本发明也可以应用于诸如数字TV、桌上型计算机和数字签名的固定终端。
图1是根据本公开的实施例的移动终端的框图。
示出移动终端100,该移动终端100具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180、以及电源单元190的组件。要理解的是,不要求实现所有的被图示的组件,并且可以可替选地实现更多或者更少的组件。
现在参考图1,移动终端100被示出具有无线通信单元110,该无线通信单元110被配置有数个共同实现的组件。例如,无线通信单元110通常包括允许在移动终端100和无线通信单元或者移动终端位于的网络之间的无线通信的一个或者多个组件。
无线通信单元110通常包括一个或者多个模块,其允许诸如在移动终端100和无线通信系统之间的无线通信的通信、在移动终端100和另一移动终端之间的通信、在移动终端100与外部服务器之间通信。此外,无线通信单元110通常包括将移动终端100连接到一个或者多个网络的一个或者多个模块。为了有助于这样的通信,无线通信单元110包括一个或者多个广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及位置信息模块115中的一个或者多个。
输入单元120包括用于获得图像或者视频的相机121;麦克风122,该麦克风122是一种用于输入音频信号的音频输入装置;以及用于允许用户输入信息的用户输入单元(例如,触摸键、推动键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120被获得并且可以根据装置参数、用户命令、以及其组合通过控制器180分析和处理。
通常使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或者多个传感器实现感测单元140。例如,在图1A中,示出具有接近传感器141和照明传感器的感测单元140。必要时,感测单元140可以可替选地或者附加地包括其他类型的传感器或者装置,诸如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、移动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池量表、环境传感器(例如,气压计、湿度计、温度计、辐射监测传感器、热传感器、以及气体传感器等)、以及化学传感器(例如,电子鼻、医疗传感器、生物传感器等),举了一些例子。移动终端100可以被配置成利用从感测单元140获得的信息,并且具体地,从感测单元140的一个或者多个传感器、和其组合获得的信息。
感测单元140可以进一步包括用于感测用户的预设姿势的姿势传感器142。例如,姿势传感器142可以包括照片传感器、加速度传感器、惯性传感器、重力传感器等,并且可以被配置成感测何时通过用户的姿势改变移动终端100的位置。
感测单元140可以进一步包括肌电图(EMG)传感器143。该肌电图指示当肌肉收缩时产生的电气信号。
输出单元150通常被配置成输出诸如音频、视频、触觉输出等的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉模块153、以及光学输出模块154的输出单元150。
显示单元151可以具有与触摸传感器的层间结构或者集成结构以便于促进触摸屏幕。触摸屏幕可以在移动终端100和用户之间提供输出接口,并且用作在移动终端100和用户之间提供输入接口的用户输入单元。
接口单元160用作对接能够被耦合到移动终端100的各种类型的外部设备。例如,接口单元160可以包括任何有线或者无线端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,响应于被连接到接口单元160的外部设备,移动终端100可以执行与被连接的外部设备相关联的各式各样的控制功能。
存储器170通常被实现以存储数据以支持移动终端100的各种功能或者特征。例如,存储器170可以被配置成存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或者指令等。经由无线通信可以从外部服务器下载这些应用程序中的一些。在制造或者装运时其他应用程序可以被安装在移动终端100内,其通常是用于移动终端100的基本功能(例如,接收呼叫、拨打电话、接收消息、发送消息等)的情况。应用程序被存储在存储器170中、安装在移动终端100中,并且通过控制器180执行以执行用于移动终端100的操作(或者功能)是常见的。
除了与应用程序相关联的操作之外,控制器180通常用作控制移动终端100的整体操作。控制器180可以通过处理通过在图1中描述的各种组件输入或者输出的信号、数据、信息等,或者激活被存储在存储器170中的应用程序提供或者处理适合于用户的信息或者功能。作为一个示例,控制器180根据已经被存储在存储器170中的应用程序的执行控制在图1中图示的一些组件或者所有组件。
电源单元190能够被配置成接收外部电力或者提供内部电力以便于供应对于操作被包括在移动终端100中的元件和组件所要求的适当的电力。电源单元190可以包括电池,并且电池可以被配置成被嵌入在终端主体中,或者被配置成从终端主体可拆卸。
继续参考图1,现在将会更加详细地描述在本附图中描述的各种组件。关于无线通信单元110,广播接收模块111通常被配置成经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、陆地信道、或者这两者。在一些实施例中,可以利用两个或者更多个广播接收模块111以有助于同时接收两个或者更多个广播信道,或者支持广播信道之中的切换。
移动通信模块112能够将无线信号传送到一个或者多个网络实体并且/或者从一个或者多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这样的网络实体形成移动通信网络的一部分,其根据用于移动通信(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强的语音数据优化或者仅增强的语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)的技术标准或者通信方法构造。
经由移动通信模块112传送和/或接收到的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号、或者各种格式的数据以支持文本和多媒体消息的通信。
无线互联网模块113被配置成有助于无线互联网接入。此模块可以被内部地或者外部地耦合到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络传送和/或接收无线信号。
这样的无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(长期高级演进)等。无线互联网模块113可以根据一个或者多个这样的无线互联网技术,或者其他互联网技术传送/接收数据。
在一些实施例中,当根据例如WiBro、HSDPA、GSM、CDMA、WCDMA、LTE等作为移动通信网络的一部分实现无线互联网接入时,无线互联网模块113执行这样的无线互联网接入。正因如此,互联网模块113可以与移动通信模块112协作,或者用作移动通信模块112。
短程通信模块114被配置成有助于短程通信。适合于实现这样的短程通信的技术包括:蓝牙(BLUETOOTHTM)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBeeTM)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。经由无线局域网,短程通信模块114通常支持在移动终端100和无线通信系统之间的无线通信,在移动终端100和另一移动终端100之间的通信、或者在移动终端和另一移动终端100(或者外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线个人域网。
在一些实施例中,另一移动终端(可以类似于移动终端100配置)可以是可佩戴装置,例如,智能手表、智能眼镜或者头戴式显示器(HMD),其能够与移动终端100交换数据(或者以其他方式与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴装置,并且允许在可佩戴装置和移动终端100之间的通信。另外,当感测到的可佩戴装置是被授权以与移动终端100通信的装置时,例如,控制器180可以使在移动终端100中处理的数据经由短程通信模块114传输到可佩戴装置。因此,可佩戴装置的用户可以在可佩戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可以使用可佩戴装置应答呼叫。而且,当在移动终端100中接收到消息时,用户能够使用可佩戴装置检查接收到的消息。
位置信息模块115通常被配置成检测、计算、导出或者以其他方式识别移动终端的位置。作为示例,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块、或者这两者。如有必要,位置信息模块115可以与无线通信单元110中的任意其他模块可替选地或者附加地发挥作用以获得与移动终端的位置有关的信息。
作为一个示例,当移动终端使用GPS模块时,可以使用从GPS卫星发送的信号获取移动终端的位置。作为另一示例,当移动终端使用Wi-Fi模块时,能够基于将无线信号传送到Wi-Fi模块或者从Wi-Fi模块接收无线信号的无线接入点(AP)有关的信息获取移动终端的位置。
输入单元120可以被配置成允许对移动终端120的各种类型的输入。这样的输入的示例包括音频、图像、视频、数据、以及用户输入。使用一个或者多个相机121经常获得图像和视频输入。这样的相机121可以处理在视频或者图像捕获模式下通过图像传感器获得的静止图片或者视频的图像帧。被处理的图像帧能够被显示在显示单元151上或者被存储在存储器170中。在一些情况下,相机121可以以矩阵配置排列以允许具有多个角度或者焦点的多个图像被输入到移动终端100。作为另一示例,相机121可以位于立体排列以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现以允许对移动终端100的音频输入。根据在移动终端100中执行的功能以各种方式能够处理音频输入。如有必要,麦克风122可以包括各种消噪算法以去除在接收外部音频的过程中产生的不想要的噪声。
用户输入单元(未示出)是允许用户输入的组件。这样的用户输入可以使控制器180能够控制移动终端100的操作。用户输入单元可以包括机械输入元件中的一个或者多个(例如,键、位于移动终端100的前和/或后表面或者侧表面上的按钮、圆顶开关、转向轮、转向开关等)、或者触摸灵敏的输入等。作为一个示例,触摸灵敏的输入可以是通过软件处理被显示在触摸屏上的虚拟键或者软键、或者位于在除了触摸屏之外的位置处的移动终端上的触摸键。另一方面,虚拟键或者可视键可以以例如,图形、文本、图标、视频、或者其组合的各种形状显示在触摸屏上。
感测单元140通常被配置成感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或者多个。控制器180通常与感测单元140协作以基于通过感测单元140提供的感测控制移动终端100的操作或执行与被安装在移动终端中的应用相关联的数据处理、功能或者操作。使用任何种类的传感器可以实现感测单元140,现在将会更加详细地描述其中的一些。
接近传感器141可以包括在没有机械接触的情况下通过使用磁场、红外线等感测接近表面的对象、或者位于表面附近的对象的存在或者不存在的传感器。接近传感器141可以被布置在通过触摸屏覆盖的移动终端的内部区域处,或者触摸屏附近。
例如,接近传感器141可以包括任何透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等。当触摸屏被实现为电容型时,接近传感器141能够通过电磁场响应于具有导电性的对象的接近的变化来感测指示器相对于触摸屏的接近。在这样的情况下,触摸屏(触摸传感器)也可以被分类成接近传感器。
术语“接近触摸”将会在此被经常引用以表示其中指示器被定位接近触摸屏而没有接触触摸屏的场景。术语“接触触摸”将会在此被经常引用以表示其中指示器物理接触触摸屏的场景。对于与指示器相对于触摸屏的接近触摸相对应的位置,这样的位置将会对应于其中指示器垂直于触摸屏的位置。接近传感器141可以感测接近触摸和接近触摸模式(例如,距离、方向、速度、时间、位置、运动状态等)。
通常,控制器180处理与通过接近传感器141感测到的接近触摸和接近触摸模式相对应的数据,并且使在触摸屏上能够输出可视信息。另外,根据是否相对于触摸屏上的点的触摸是接近触摸或者接触触摸,控制器180能够控制移动终端100执行不同的操作或者处理不同的数据。
使用任何各种触摸方法,触摸传感器能够感测被施加到诸如显示单元151的触摸屏的触摸。这样的触摸方法的示例包括电阻型、电容型、红外型、以及磁场型等。
作为一个示例,触摸传感器可以被配置成将被施加到显示单元151的特定部分的压力的变化转换成电输入信号,或者将在显示单元151的特定部分处出现的电容转换成电输入信号。触摸传感器也可以被配置成不仅感测被触摸的位置和被触摸的区域,而且感测触摸压力和/或触摸电容。触摸对象通常被用于将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、触笔、指示器等。
当通过触摸传感器感测触摸输入时,相应的信号可以被传送到触摸控制器。触摸控制器可以处理接收到的信号,并且然后将相应的数据传送到控制器180。因此,控制器180可以感测已经触摸显示单元151的哪一个区域。在此,触摸控制器可以是与控制器180分离的组件、控制器180、或者其组合。
在一些实施例中,控制器180可以根据触摸了触摸屏或者除了触摸屏之外被设置的触摸键的一种触摸对象执行相同或者不同的控制。例如,基于移动终端100的当前操作状态或者当前执行的应用,可以决定根据提供触摸输入的对象是否执行相同或者不同的控制。
触摸传感器和接近传感器可以被单独地或者组合实现,以感测各种类型的触摸。这样的触摸包括短(或者轻击)触摸、长触摸、多触摸、拖动触摸、轻弹触摸、捏缩触摸、捏放触摸、刷动触摸、悬停触摸等。
如有必要,超声传感器可以被实现以使用超声波识别与触摸对象有关的位置信息。例如,控制器180可以基于通过照明传感器和多个超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得多,所以光到达光学传感器的时间远远比超声波到达超声传感器的时间短。使用此事实可以计算波生成源的位置。例如,可以基于光作为参考信号使用与超声波到达传感器的时间的时间差计算波生成源的位置。
相机121通常包括至少一个相机传感器(CCD、CMOS等)、光传感器(或者图像传感器)、以及激光传感器。
实现具有激光传感器的相机121可以允许相对于3D立体图像的物理对象的触摸的检测。光传感器可以被层压在显示装置上,或者与移动终端重叠。光传感器可以被配置成扫描接近触摸屏的物理对象的移动。更加详细地,光传感器可以包括在行和列处的光电二极管和晶体管以使用根据被施加的光的数量改变的电信号扫描在光传感器处接收到的内容。即,光传感器可以根据光的变化计算物理对象的坐标从而获得物理对象的位置信息。
显示单元151通常被配置成输出在移动终端100中处理的信息。例如,显示单元151可以显示在移动终端100处执行的应用的执行屏幕信息或者响应于屏幕执行信息的用户界面(UI)和图形用户界面(GUI)信息。
在显示单元151被配置成眼镜式、头戴式显示器(HMD)或者透明显示器的情况下,被输出到显示单元151的图像可以通过一般视图以重叠的方式被显示。在这样的情况下,显示单元151可以进一步包括增强现实(AR)输出单元152,该增强显示(AR)输出单元152被配置成使用这样的显示器的特性以与真实图像或者背景重叠的方式将虚拟图像显示为单个图像来提供增强现实(AR)。
在一些实施例中,显示单元151可以被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
音频输出模块153通常被配置成输出音频数据。可以从任何大量的不同的来源获得这样的音频数据,使得可以从无线通信单元110接收音频数据或者可以已经将其存储在存储器170中。可以在诸如信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等的模式期间输出音频数据。音频输出模块153能够提供与由移动终端100执行的特定功能(例如,呼叫信号接收声音、消息接收声音等)有关的音频输出。音频输出模块153也可以被实现为接收器、扬声器、蜂鸣器等。
触觉模块154能够被配置成产生用户能够感觉、感知、或者以其他方式体验的各种触觉效果。通过触觉模块153产生的触觉效果的典型示例是振动。能够通过用户选择或者通过控制器进行设置来控制通过触觉模块155产生的振动的强度、模式等。例如,触觉模块153可以以组合的方式或者顺序的方式输出不同的振动。
除了振动之外,触觉模块153能够生成各种其他触觉效果,包括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等。
触觉模块153也能够被实现以允许用户通过诸如用户的手指或者手臂的肌肉感觉来感觉触觉效果,以及通过直接接触传递触觉效果。根据移动终端100的特定配置也可以设置两个或者更多个触觉模块153。
光学输出模块155能够使用光源的光输出用于指示事件产生的信号。在移动终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。
也可以以移动终端发射单色光或者具有多种颜色的光的方式实现通过光学输出模块155输出的信号。例如,当移动终端感测用户已经检查了产生的事件时信号输出可以被结束。
接口单元160用作用于要连接到移动终端100的外部设备的接口。例如,接口单元160能够接收从外部设备传送的数据,接收电力以传送到移动终端100内的元件和组件,或者将移动终端100的内部数据传送到这样的外部设备。接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
标识模块可以是存储用于认证使用移动终端100的权限的各种信息的芯片并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、通用订户标识模块(USIM)等。另外,具有标识模块(在此也被称为“标识装置”)的装置可以采用智能卡的形式。因此,标识装置经由接口单元160能够与终端100相连接。
当移动终端100与外部托架相连接时,接口单元160能够用作允许电力从托架供应到移动终端100的通道或者可以用作允许用户从托架输入的各种命令信号传递到移动终端的通道。从托架输入的各种命令信号或者电力可以作为用于识别移动终端被正确地安装在托架上的信号操作。
存储器170能够存储程序以支持移动终端180的操作并且存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和音频有关的数据。
存储器170可以包括一种或者多种类型的存储介质,包括闪存、硬盘、固定盘、硅盘、多媒体卡式、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。也可以关于在诸如互联网的网络上执行存储器170的存储功能的网络存储装置操作移动终端100。
控制器180通常可以控制移动终端100的一般操作。例如,当移动终端的状态满足预设条件时控制器180可以设置或者释放用于限制用户输入与应用有关的控制命令的锁定状态。
控制器180也能够执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理,或者执行模式识别处理以将在触摸屏上执行的手写输入或者图片绘制输入分别识别为字符或者图像。另外,控制器180能够控制这些组件中的一个或者组合以便于实现在此公开的各种示例性实施例。
电源单元190接收外部电力或者提供内部电力并且供应对于操作被包括在移动终端100中的各自的元件和组件所需的适当的电力。电源单元190可以包括电池,该电池通常是可充电的或者可拆卸地耦合到终端主体,用于充电。
电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例,用于供应电力以对电池再充电的外部充电器被电气地连接到该接口单元160。
作为另一示例,电源单元190可以被配置成在没有使用连接端口的情况下以无线的方式对电池再充电。在本示例中,使用以磁感应为基础的感应耦合方法或者以电磁谐振为基础的电磁谐振耦合方法,电源单元190能够接收从外部无线电力发射器传递的电力。
可以使用例如软件、硬件、或者其任何组合,以计算机可读介质、机器可读介质、或者类似介质实现在此描述的各种实施例。
另一方面,根据本发明的移动终端100的感测单元140包括轻击感测单元144,其感测用户施加到主体的轻击或者轻击姿势。
在这一点上,轻击感测单元144感测被施加到移动终端100的主体或者对象的姿势。更加具体地,该轻击被构造以意指在移动终端100的主体或者对象上轻轻地击打诸如手指的轻击工具的操作,或者使轻击工具轻轻地接触移动终端100的主体或者对象的操作。
另一方面,应用关于轻击的轻击工具是指利用其外力被施加到移动终端100的主体和对象的物体,例如,诸如触笔、钢笔、尖端、或者拳头。另一方面,根据本发明,轻击工具没有必要被限于触摸输入被施加到移动终端100的武器,利用其外力能够被施加到移动终端100的主体或者对象的所有类型的物体够被用作轻击工具。
另一方面,对其施加轻击姿势的对象是移动终端100的主体和在其上放置移动终端100的对象之中的至少一个。
另一方面,根据本发明,通过被包括在轻击感测单元144中的加速度传感器和触摸传感器之中的至少一个感测轻击或者轻击姿势。在这一点上,加速度传感器是能够测量被施加到移动终端100的主体的诸如加速、振动、以及冲击的动力的传感器。
即,通过感测由于轻击姿势出现的移动终端100的主体的移动(振动),加速度传感器感测是否轻击被施加到对象。因此,加速度传感器感测在移动终端100的主体上的轻击或者感测在对象上的轻击,该对象被定位为靠近移动终端100的主体以至于移动终端100的主体的移动或者振动能够被感测到。
以这样的方式,只要加速度传感器能够感测移动终端100的主体的移动或者振动,加速度传感器就能够感测不仅被应用于移动终端100的主体,而且被施加于除了移动终端100的主体之外的区域的轻击。
在根据本发明的移动终端中,为了感测移动终端100的主体上的轻击,加速度传感器和触摸传感器之中的仅一个被使用,加速度传感器和触摸传感器被顺序地使用,或者加速度传感器和触摸传感器被同时使用。另一方面,其中仅加速度传感器被用于感测轻击的模式被称为第一模式,其中触摸传感器被用于感测轻击的模式被称为第二模式,并且其中加速度传感器和触摸传感器都(同时或者顺序地)被利用以感测轻击的模式被称为第三模式或者混合模式。
另一方面,在通过触摸传感器感测轻击的情况下,能够更加精确地识别其中轻击被感测到的位置。
另一方面,在根据本发明的移动终端100中,为了通过加速度传感器或者触摸传感器感测轻击,移动终端100的显示单元151在最小量的电流或者电功率被消耗的特定模式下,甚至在禁用的状态下操作。这样的特定模式被称为“瞌睡模式”。
例如,在具有其中触摸传感器以分层的方式与显示单元151组合的移动终端100中,在瞌睡模式下,用于将屏幕输出到显示单元151的发光元件被切断并且用于感测在显示单元151上的轻击的触摸传感器被接通。另外,瞌睡模式可以是其中显示单元151被切断并且加速度传感器被接通的模式。另外,瞌睡模式可以是其中显示单元151被切断并且触摸传感器和加速度传感器都被接通的模式。
因此,在瞌睡模式下,即,在用于显示单元151的照明被切断,或者显示单元151被切断的状态下(在显示单元151禁用的状态下),在用户将轻击施加到显示单元151上的至少一个点或者将轻击施加到移动终端100的主体上的特定点的情况下,触摸传感器或者加速度传感器之中的至少一个感测用户施加轻击。
另外,仅在参考时间内施加连续的至少两个或者多个轻击的情况下,轻击感测单元144确定感测到用于控制移动终端100的“轻击”。例如,在利用其外力能够被施加到显示单元151的轻击工具的情况下,向显示单元151施加一次轻击,轻击感测单元144将一次轻击视为触摸输入。即,在这样的情况下,控制器180控制根据与一次轻击相对应的触摸输入的功能(例如,选择被输出到施加触摸输入的点的图标的功能),而不是与一次轻击相对应的功能。
因此,仅在参考时间内轻击感测单元144感测施加连续的至少两个轻击或者更多个(或者多个轻击)的情况下,控制器180确定用于控制至少一个功能或者多个的“轻击”被感测。
即,轻击的感测意指在参考时间内感测连续的至少两个轻击姿势或者多个。因此,在下文中“轻击”的感测意指利用诸如用户的手指、或者触摸笔的对象,大体上,多个轻击被充分地施加到移动终端100的主体。
此外,控制器180可以不仅确定是否在参考时间内感测轻击,而且是否感测到利用不同的手指施加的轻击或者利用一个手指施加的轻击。例如,在轻击被感测为被施加到显示单元151的情况下,控制器180通过识别在施加轻击的显示单元151的一部分上的指纹来确定是否利用一个手指或者或利用不同的手指施加轻击。另外,控制器180通过在轻击感测单元144中提供的触摸传感器和加速度传感器中的至少一个识别其中感测轻击的显示单元151上的位置,或者由于轻击产生的加速度。由此,控制器410确定是否利用一个手指或者利用不同的手指施加轻击。
此外,控制器180附加地考虑施加轻击的角度和在施加轻击的点之间的距离或者识别指纹的方向,以便于确定是否利用一个手指、两只手或者至少两个手指施加轻击。
另一方面,轻击的感测意指在参考时间内感测连续的多个轻击或者轻击。在这一点上,参考时间可以是非常短的,并且例如,是处于300ms至2s的范围内。
因此,当轻击感测单元144感测在第一次轻击被施加到移动终端100的主体时,轻击感测单元144感测是否在第一次轻击被施加之后在参考时间内第二次施加击。然后,在参考时间内感测下一个轻击的情况下,轻击感测单元144或者控制器180确定感测到用于控制根据本发明的实施例的移动终端的特定功能的轻击。以这样的方式,仅在感测到第一轻击之后预定时间段内感测到第二轻击的情况下,控制器180将第一和第二轻击视为“有效的轻击”。因此,控制器确定是否用户施加轻击以便于控制移动终端100或者错误地施加轻击。
另外,存在控制器180将轻击视为“有效请求”的各种方法。例如,当在其数目是第一参考数目或者更大的第一轻击被感测为被施加之后在预定时间段内其数目是第二参考数目或者更大的第二轻击被感测为被施加到移动终端100的主体时,控制器180可以将第一和第二轻击视为“有效轻击”。在这一点上,第一参考次数和第二参考次数可以是相同的或者不同的。例如,第一参考数目可以是1,并且第二参考数目可以是2。作为另一示例,第一参考数目和第二参考数目可以都是1。
另外,仅在轻击被施加到“预定区域”中的情况下,控制器180确定“轻击”被感测。即,当第一次轻击被感测为施加到移动终端100的主体时,控制器180从第一次感测到轻击的点计算预定区域。然后,在第一次感测轻击之后在参考时间内其数目是第一参考数目或者第二参考数目的轻击,或者其数目等于或者大于第一参考数目或者第二参考数目的轻击被感测为被施加到“预定区域”的情况下,控制器180确定第一轻击或者第二轻击被施加。
另一方面,当然,可以根据实施例以各种方式改变参考时间和预定区域。
另一方面,当然,不仅根据参考时间和预定区域,而且根据其中感测到第一和第二轻击中的每一个的位置,第一轻击和第二轻击可以被视为相互独立的轻击。即,如果在距其中第一轻击的位置预定的距离或者更多的位置中感测到第二轻击,则控制器180确定第一轻击和第二轻击被施加。然后,在基于以该方式感测的位置,第一和第二轻击被识别的情况下,可以同时感测第一和第二轻击。
另外,如果第一轻击和第二轻击均由多个触摸组成,即,如果轻击作为第一轻击和第二轻击被施加多次,则当前,同时感测组成第一轻击和第二轻击中的每一个的多个触摸。例如,在感测组成第一轻击的初始触摸并且同时在位于距其中感测到组成第一轻击的初始触摸的位置预定的距离或者更多的位置中感测到组成第二轻击的初始触摸的情况下,控制器180确定组成第一轻击和第二轻击中的每一个的初始触摸被感测。然后,控制器180确定附加的触摸输入被感测为被施加到各个位置。在各个位置中感测其数目是第一参考数目或者第二参考数目的触摸的情况下,控制器180确定第一轻击和第二轻击被施加。
另一方面,当轻击感测单元144感测多个轻击被施加到移动终端100的主体时,控制器180基于感测到的多个触摸控制在移动终端100上能够执行的功能之中的至少一个。
例如,在多个轻击的应用满足预定条件的情况下,控制器180控制在移动终端100上能够执行的功能之中的至少一个。作为一个示例,取决于是否用户仅利用他的/她的一个手指或者手,或者利用至少他/她的手指或者两只手施加多个轻击,控制器180可以控制不同的功能。另外,可以基于移动终端100的当前操作状态中和在移动终端100的当前环境中的多个轻击控制在移动终端100上能够执行的功能之中的至少一个。
在这一点上,在移动终端100上能够执行的功能意指在移动终端100上能够执行或者运行的所有类型的功能。例如,能够执行的功能之中的一个可以是执行被安装在移动终端100中的程序的功能。例如,表达“执行任意功能”意指在移动终端100上执行或者运行的任意的应用。
作为另一示例,在移动终端100上能够执行的功能可以是对于移动终端100的基本驱动所必需的功能。例如,作为对于基本功能所必需的功能,存在接通和切断被设置在显示单元151中的相机121或者麦克风122的功能、将移动终端100从解锁状态切换到锁定状态或者从锁定状态切换到解锁状态的功能、提供关于通信网络的设置的功能、改变关于移动终端100上的设置的信息的功能等。
最近的眼镜式移动终端被配置成可佩戴在人体上的可佩戴的装置,超出用户使用他的或者她的手抓握眼镜式移动终端的常规技术。这样的可佩戴装置的示例是智能手表、智能眼镜、头戴式显示器(HMD)等。在下文中,将会解释被配置成可佩戴的装置的移动终端。
在一些实施例中,其他移动终端(可以被类似地配置成移动终端100)可以是可佩戴的装置,例如,智能手表、智能眼镜或者头戴式显示器(HMD),能够与移动终端100交换数据(或者否则与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴装置,并且允许在可佩戴装置和移动终端100之间的通信。另外,当感测到的可佩戴装置是被授权与移动终端100通信的装置时,控制器180例如可以经由短程通信模块114将在移动终端100中处理的数据传输到可佩戴装置。因此,可佩戴装置的用户可以在可佩戴装置上使用移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可以使用可佩戴装置应答呼叫。而且,当在移动终端100中接收消息时,用户能够使用可佩戴装置检查接收到的消息。
图2是图示根据另一示例性实施例的眼镜式移动终端200的一个示例的透视图。
眼镜式移动终端200能够被佩戴在人体的头部并且被提供有框架(壳体、外罩等)。框架可以是由容易佩戴的柔性材料制成。移动终端200的框架被示出,其具有能够是由相同或者不同的材料制成的第一框架201和第二框架202。通常,移动终端200可以被配置成包括与图1的移动终端的相同或者相似的特征。
框架可以被支撑在头部并且限定用于安装各种组件的空间。如图所示的,诸如控制模块280、音频输出模块252等的电子组件可以被安装到框架部分。而且,用于覆盖左眼和右眼中的任意一个或者这两者的镜片203可以被可拆卸地耦合到框架部分。
控制模块280包括被布置在移动终端200中的各种电子组件。控制模块280可以被理解为与前述的控制器180相对应的组件。图2图示控制模块280被安装在头的一侧上的框架部分中,但是其他位置是可能的。
显示单元251可以被实现为头戴式显示器(HMD)。HMD指的是一种显示技术,通过该显示技术显示器被安装在头部以在用户的眼睛的前面直接地示出图像。为了当用户佩戴眼镜式移动终端200时在用户的眼睛的前面直接地提供图像,显示单元251可以位于对应于左眼和右眼中的任意一个或者这两者。图2图示显示单元251位于与右眼相对应的一部分上以输出通过用户的右眼可观看的图像。
使用棱镜显示单元251可以将图像投射到用户的眼睛。而且,棱镜可以由光学透明的材料形成使得用户能够在用户的前面观看被投射的图像和一般视野(用户通过眼睛观看的范围)这两者。
以这样的方式,通过显示单元251输出的图像可以被观看同时与一般视野重叠。移动终端200可以使用显示器通过将虚拟图像重叠在现实图像或者背景上提供增强现实(AR)。
相机221可以位于与左眼和右眼中的任意一个或者这两者相邻以捕获图像。因为相机221位于与眼睛相邻,所以相机221能够获取用户当前观看的场景。相机221可以被定位移动终端的至多任何位置处。在一些实施例中,多个相机221可以被利用。这样的多个相机221可以被用于获取立体图像。
眼镜式移动终端200可以包括用户输入单元223a和223b,通过用户能够操作其中的每一个以提供输入。用户输入单元223a和223b可以采用经由触觉输入允许输入的技术。典型的触觉输入包括触摸、推动等。用户输入单元223a和223b被示出,当它们分别位于框架部分和控制模块280上时该用户输入单元223a和223b以推动方式和触摸模式是可操作的。
必要时,移动终端200可以包括:麦克风,该麦克风将输入声音处理成电音频数据;以及音频输出模块252,该音频输出模块252用于输出音频。音频输出模块252可以被配置成以一般的音频输出方式或者骨传导方式产生音频。当以骨传导方式实现音频输出模块252时,当用户佩戴移动终端200时音频输出模块252可以被紧密地贴附到头部并且振动用户的头颅以传输声音。
为了方便描述在下文中眼镜式移动终端被称为“眼镜式终端”。对于该描述,根据本发明的移动终端100在下文中被假定为是以眼镜终端的形式。
现在更加详细地描述通过不同地描述的移动终端可操作的通信系统。
图3和图4是其中眼镜式终端100能够操作的通信系统的图。
参考图3,这样的通信系统可以被配置成利用不同的空中接口和/或物理层中的任意一个。通过通信系统利用的这样的空中接口的示例包括:频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(包括长期演进(LTE)、LTE-A(长期演进高级))、全球移动通信系统(GSM)等。
仅通过非限制性示例,进一步的描述将会涉及CDMA通信系统,但是这样的教导同等地应用于包括CDMA无线通信系统以及OFDM(正交频分复用)无线通信系统的其他系统类型。
如在图3中所示,CDMA无线通信系统通常包括一个或者多个移动终端(MT或者用户设备,UE)100、一个或者多个基站(BS、节点B、或者演进的节点B)370、一个或者多个基站控制器(BSC)375、以及移动交换中心(MSC)380。MSC 380被配置成与常规的公共交换电话网络(PSTN)390和BSC 375对接。BSC 375经由回程线路被耦合到基站370。可以根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL、或者xDSL的数个已知的接口中的任何一个来配置回程线路。因此,CDMA无线通信系统中能够包括多个BSC 375。
各个基站370可以包括一个或者多个扇区,每个扇区具有全向天线或者在放射状地远离基站370的特定方向中指向的天线。可替选地,每个扇区可以包括两个或者更多个不同的天线。各个基站370可以被配置成支持多种频率分配,每个频率分配具有特定的频谱(例如,1.25MHz、5MHz等)。
扇区和频率分配的交叉可以被称为CDMA信道。基站370也可以被称为基站收发器子系统(BTS)。在一些情况下,术语“基站”可以用于统称为BSC 375,以及一个或多个基站370。基站也可以被表示为“小区站点”。可替选地,给定的基站370的单个扇区可以被称为小区站点。
如在图3中所示,广播发送器(BT)395将广播信号传送到在系统内操作的移动终端100。图1的广播接收模块111通常被配置在移动终端100内部以接收由BT 395传送的广播信号。
参考图3,用于定位移动终端100的位置的全球定位系统(GPS)卫星300可以与CDMA无线通信系统协作。可以以比两个卫星更多或者更少的卫星获得有用的位置信息。要了解的是,可以可替选地实现其他类型的位置检测技术(即,除了或者替代GPS定位技术可以使用的定位技术)。必要时,GPS卫星中的至少一个可以被可替选地或者另外配置成提供卫星DMB传输。
位置信息模块115通常被配置成检测、计算、或者以其他方式识别移动终端的位置。作为示例,位置信息模块115可以包括全球定位系统(GPS)模块、Wi-Fi模块、或者这两者。如有必要,位置信息模块115可以可替选地或者另外用作无线通信单元110的其他模块中的任意一个以获得与移动终端的位置有关的数据。
将会参考图4解释使用WiFi定位系统定位眼镜式移动终端的方法。
Wi-Fi定位系统(WPS)指的是使用Wi-Fi基于无线局域网(WLAN)的位置确定技术作为用于跟踪移动终端100的位置的技术。此技术通常包括移动终端100中的Wi-Fi模块和用于与Wi-Fi模块通信的无线接入点420的使用。
Wi-Fi定位系统可以包括Wi-Fi位置确定服务器410、眼镜式移动终端100、被连接到眼镜式移动终端100的无线接入点(AP)420、以及存储有无线AP信息的数据库430。
被连接到无线AP的移动终端可以将位置信息请求消息传送到Wi-Fi位置确定服务器410。Wi-Fi位置确定服务器410基于移动终端100的位置信息请求消息(或者信号)提取被连接到移动终端100的无线AP 420的信息。无线AP的信息可以通过移动终端100被传送到Wi-Fi位置确定服务器,或者可以从无线AP 420被传送到Wi-Fi位置确定服务器410。
基于移动终端100的位置信息请求消息提取的无线AP的信息可以包括媒介访问控制(MAC)地址、服务集识别(SSID)、接收信号强度指示符(RSSI)、参考信号接收功率(RSRP)、参考信号接收指量(RSRQ)、信道信息、隐私、网络类型、信号强度、噪声强度等中的一个或者多个。
Wi-Fi位置确定服务器410可以接收被连接到如上所述的移动终端100的无线AP 420的信息,并且可以使用接收到的无线AP 420的信息和被包括在数据库中的信息提取(或者分析)移动终端100的位置信息。例如,Wi-Fi位置确定服务器410可以从预先建立的数据库430中提取与被连接到移动终端的无线AP相对应的无线AP信息。
参考图4,眼镜式移动终端100能够通过被连接到第一至第三无线AP 420获取位置信息。被要求获取移动终端100的位置信息的无线AP的数目可以根据在移动终端100被定位的无线通信环境而不同地改变。眼镜式移动终端100能够通过被连接到至少一个无线AP获取位置信息。
被存储在数据库430中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐式、网络类型、纬度和经度坐标、无线AP所位于的建筑物、楼层、详细的室内位置信息(GPS坐标可用)、AP拥有者的地址、电话号码等的信息。为了在位置确定过程期间去除使用移动AP或者非法的MAC地址提供的无线AP,Wi-Fi位置确定服务器可以仅提取预定数目的无线AP信息,以便于高的RSSI。
如上所述,数据库430包括任何无线AP的信息和对应于无线AP的信息。
因此,Wi-Fi位置确定服务器410可以搜索被连接到移动终端100的无线AP 420的信息。并且Wi-Fi位置确定服务器410可以使用从数据库430中提取的至少一个无线AP信息提取(分析)移动终端100的位置信息。
除了这些定位位置方法之外,各种算法可以被用于提取(分析)移动终端的位置信息。这样的被提取的位置信息可以通过Wi-Fi位置确定服务器410被发送到移动终端100,从而获取移动终端100的位置信息。
图5是用于根据本发明的一个实施例的描述控制眼镜式移动终端的方法的流程图。
参考图5,基于用户注视的方向和用户的注视已经固定的时间段,根据本发明的眼镜式终端的控制器180收集与用户注视的某物相关的信息(S500)。
在步骤S500中,控制器180感测是否在预定参考时间段或者更长的时间段内用户的注视被固定在一个方向上。例如,控制器180使用惯性传感器、重力传感器、罗盘传感器等感测眼镜式终端200面向的方向是否被改变。然后,在预定参考时间段或者更长的时间段内眼镜式终端200面向的方向没有被改变的情况下,控制器180确定用户的注视被固定在特定的方向上。然后,控制器180收集与被确定为与用户注视的某物相对应的位置相关的信息。
在这一点上,可以收集多条各种信息。例如,控制器180将通过相机221接收的诸如运动图像或者静态图像的图像存储为图片信息,并且通过分析被存储的图片信息收集多条各种信息。
例如,控制器180检测静态图像或者运动图像的可识别的部分,并且以文本格式存储被检测的部分的结果。另外,可以将识别的结果分类成与预先存储的静态图像或者动态图像相关的属性信息并且可以存储分类的结果。即,在识别在静态图像或者动态图像中的单词“电话”或者电话符号“”并且其后识别7位或者9位号码的情况下,控制器180将号码视为与静态图像或者运动图像相关的电话信息。另外,控制器180可以从静态图像或者运动图像识别可识别文本的图像的大小,并且可以基于被分析的大小,将文本识别的结果视为与用户注视的某物相对应的地点相关的公司名称。另外,无论何时如有必要,控制器180可以进一步不仅收集文本信息,而且收集声音信息。
另一方面,当然,相机221可以不需要总是保持通电的状态。例如,在被固定的用户的注视满足预定条件的情况下,即,在用户的注视已经固定参考时间段或者更长的时间段的情况下,或者基于用户的选择,控制器180可以确定相机221的操作状态(相机被接通或者被切断的状态)。
在这一点上,用户能够以各种方式做出选择。例如,在施加预定特定的键(按钮)输入的情况下,控制器180可以操作相机221。此外,基于被施加到眼镜式终端200的主体的多个轻击,即,基于施加轻击的次数,或者基于多个轻击被施加到的区域,控制器180可以操作相机221。可替选地,在用户做出预定姿势的情况下(例如,诸如当用户来回摇动他的/她的头预定次数时),控制器180通过感测单元140的传感器感测姿势并且操作相机221。
可替选地,控制器180可以通过肌电图传感器等感测由于在用户的面部肌肉中的变化而感测到的非常小量的电流,并且根据感测结果操作相机221。在这样的情况下,基于在用户的面部表情中的变化确定是否操作相机221。
然后,在操作相机221的情况下,当然,控制器180可以指示该情况,使得用户能够识别相机221处于操作中。例如,控制器180通过诸如蜂鸣的预定声音信号、预定语音信号、或者预定触觉振动警告用户相机221处于操作中。可替选地,控制器180通过在显示单元251上显示预定图形对象警告用户相机221当前处于操作中,并且警告用户关于用户的注视固定到的方向的信息被收集。
另一方面,当然,可以使用除了使用相机221的方法之外的方法收集与用户注视的某物相关的多条信息。例如,控制器180使用重力传感器、罗盘传感器等识别眼镜式终端200当前面向的方向。然后,控制器180识别当前的位置,并且基于与用户的当前位置相对应的地图信息并且基于所识别的眼镜式终端200面向的方向,获得与用户当前注视的某物相对应的地点相关的信息。然后,控制器180可以进一步执行与被获得的位置信息相关的附加信息的搜寻。为了进行搜索,控制器180使用被存储在存储器170或者通过无线通信单元110连接的网站中的软件应用。
以这样的方式,控制器180获得与对应于用户当前注视的某物的地点相关的多条各种信息。在这一点上,被获得的多条信息可以包括关于相应的地点等的图像信息,并且包括与用户注视的某物相对应的地点相关的公司名称或者电话信息等。另外,控制器180可以进一步获得诸如被网民创建的评价意见的多条各种信息。
然后,控制器180可以根据它们的属性对以这样的方式收集的多条信息进行分类,并且可以存储分类的结果。例如,控制器180根据它们被收集的时间和地点对多条收集的信息进行分类,并且存储分类的结果。然后,控制器180生成像关于收集多条信息的时间和地点的多条信息一样的多条信息作为多条属性信息,用作多条收集的信息进行分类所针对的参考。
多条各种信息可用于属性信息。如上所描述,关于多条信息的时间或者地点的多条信息可用于属性信息。可替选地,从多条收集的信息提取的多条信息或者通过分析多条收集的信息获得的多条信息可用于属性信息。例如,在收集图片信息的情况下,控制器180可以在收集的信息上执行文本识别,并且可以将文本识别的结果的至少一个部分生成为属性信息。可替选地,控制器180可以根据用户的当前位置的地图信息和与用户的注视已经固定参考时间段或者更长的时间段的某物相对应的地点上的搜索结果的至少一个部分生成地图信息作为属性信息。
因此,控制器180根据收集它们的时间或者地点等对多条收集的信息进行分类。在用户选择属性信息(例如,特定的时间、特定的地点、特定的公司名称等)的情况下,控制器180有序地排列与被选择的属性信息相同的属性信息相关的多条信息用于在显示单元251上显示。
另一方面,根据用户的请求任何时候提供多条收集的信息。例如,用户能够通过输入语音、或者例如通过使用诸如可佩戴的智能手表的各种输入设备发出提供收集的多条信息的请求(S502)。
作为一个示例,控制器180识别通过麦克风122接收的语音信号,并且在步骤S500中收集的多条信息之中搜寻与识别的结果相对应的信息。在这一点上,当然,麦克风122可以不需要始终被操作,并且可以根据用户的选择被操作。
例如,在施加预定特定的键(按钮)的情况下,控制器180操作麦克风122。可替选地,基于被施加到眼镜式终端200的主体的多个轻击,即,基于施加轻击的次数,或者基于多个轻击被施加到的区域,控制器180可以操作麦克风122。可替选地,在用户做出预定姿势的情况下(例如,诸如当用户来回摇动他的/她的头预定次数时),控制器180通过感测单元140的传感器感测姿势并且操作麦克风122。
可替选地,控制器180可以通过肌电传感器等感测由于在用户的面部肌肉中的变化而感测到的非常小量的电流,并且根据感测结果操作麦克风122。在这样的情况下,基于在用户的面部表情中的变化确定是否操作麦克风122。
另外,在操作麦克风122的情况下,当然,控制器180可以指示该情况使得用户能够识别麦克风122处于操作中。例如,控制器180通过诸如蜂鸣的预定声音信号、预定语音信号、或者预定触觉振动警告用户麦克风122处于操作中。可替选地,控制器180通过在显示单元251上显示预定图形对象警告用户麦克风122当前处于操作中并且用户麦克风122准备从用户接收语音信号。
然后,当请求搜索多条收集的信息时,控制器180使用被用户输入的关键字,即,使用作为语音信号输入或者通过能够被连接到眼镜式终端200的不同的设备输入的信息,从多条收集的信息搜寻至少一条信息。
例如,用户能够直接地输入诸如“今天上午8点”或者“在今天上午8点和9点之间”的被具体地指定的时间。可替选地,用户能够直接地输入诸如“Edan街”的被具体指定的地点的名称。在这样的情况下,基于被用户输入的关键字信息,控制器180从多条收集的信息中搜寻与关键字匹配的多条信息。
另一方面,如上所描述,根据本发明的眼镜式终端200通过各种方法(例如,基于GPS或者基于WiFi的无线电确定等)识别它的位置。使用这样的方法,控制器180可以识别用户在特定的时间段内移动所沿着的路径,即从家到工作地点的路径或者从工作地点到家的路径,并且可以根据被识别的路径对多条收集的信息进行分类,并且可以存储分类的结果。
在这样的情况下,当用户指定被识别的路径和特定的时间段时,控制器180搜索在指定的时间段内沿着被识别的路径已经收集的多条信息。即,例如,在用户将诸如“今天上午,去工作地点的路径”的关键字作为语音信号输入的情况下,控制器180检查当前的日期,即“今天”的日期,并且搜寻在被识别的路径之中与“去工作地点的路径”相对应的移动路径、在被检查的日期,即,“今天”,对于用户沿着路径(“去工作地点的路径”)移动的时间已收集的多条信息等。
然后,响应于通过用户的关键字的输入,控制器180在显示单元251上有序地显示发现的多条信息(S504)。基于排列的预定顺序,控制器180有序排列发现的多条信息,以便于用户从多条有序排列的信息之中选择任何一条信息。例如,控制器180可以基于用户的注视已经固定的时间段,即,用户朝向某物已经注视的时间段,排列发现的多条信息,或者可以按从第一被存储的信息到最后被存储的信息的时间顺序或者反之亦然有序地排列发现的多条信息。
在这一点上,用户能够使用各种方法选择特定的信息。例如,使用通过例如,诸如智能手表的预定的不同的设备可用的选择信息,或者使用通过麦克风122识别的语音信号,控制器180能够选择特定的信息。另外,在用户做出预定姿势,例如,在用户在特定的方向上转动他的/她的头或者在特定的信息中向后弯曲他的/她的头的姿势的情况下,控制器180可以识别这样的姿势并且可以选择与姿势相对应的特定的信息。另外,基于根据在用户的面部表情中的变化感测在用户的面部肌肉中的肌电变化的结果,控制器180可以选择特定的信息。
然后,在显示单元251上,在特写的状态中显示被用户选择的信息。因此,用户能够检查与他/她输入的按键字相匹配的信息。另一方面,将多条收集的信息以随着它们的类型,诸如静态图像、运动图像、文本信息、以及语音信息,而变化的格式存储为数据项。基于多条收集的信息的类型,控制器180使用户能够通过适当的应用检查信息。
另一方面,在这一点上,当然,与由用户输入的关键字相匹配的多条信息可以包括其他多条信息以及静态图像信息。即,如上所描述,多条收集的信息不仅可以包括静态信息,而且包括诸如运动图像的图片信息,并且可以通过分析图片信息收集多条各种信息。因此,控制器180不仅搜寻诸如静态图像或者运动图像的图片信息而且搜寻作为分析图片信息的结果获得的、或者作为搜寻与由用户输入的关键字相匹配的信息的结果获得的多条信息。然后,控制器180给用户提供被发现的信息。因此,如果用户输入特定的地点名称和诸如“今天、去工作地点的路径、‘米斯特披萨’、电话号码”的作为关键字的特定的信息,当然,控制器180不仅可以给用户提供图片信息,而且可以给用户提供与输入的关键字相对应的电话信息。
另一方面,控制器180不仅可以给用户提供被用户选择的信息,而且可以给用户提供多条各种信息。例如,控制器180提供除上述的多条信息之外的与用户的当前位置相关的信息。
可替选地,控制器180可以基于在被用户输入的关键字之中的至少一个搜寻很多条信息,以便于给用户提供附加的信息。
作为一个示例,在用户输入“今天、上午、去工作地点的路径、披萨”作为关键字的情况下,控制器180从来自用户的输入识别四个关键字“今天”、“上午”、“去工作地点的路径”、“披萨”。然后,控制器180在多条收集的信息中搜寻与四个关键字相匹配的信息。然后,在找到与关键字相匹配的信息的状态中,基于用户的选择,控制器180可以提供关于在关键字之中的至少一个相关的附加的信息。
然后,在用户进一步从输入的关键字之中选择“披萨”的情况下,控制器180在多条收集的信息中进一步搜寻与被用户选择的关键字“披萨”相对应的信息,并且可以在显示单元251上显示搜寻的结果和当前找到的多条信息。可替选地,控制器180可以识别用户的当前位置,并且可以在用户的当前位置周围的区域搜寻与被选择的关键字“披萨”相对应的地点并且可以在显示单元251上显示搜寻的结果。
此外,基于用户选择,控制器180可以提供与特定地点周围的区域相关的信息作为附加的信息。
例如,在步骤S500中用户注视已经固定了参考时间段或者更长的时间段的情况下,基于与用户的当前位置相对应的地图信息,通过进行搜索,控制器180收集与用户注视的某物相对应的地点和在该地点周围的区域相关的信息。可替选地,在步骤S500中用户的注视已经固定了参考时间段或者更长的时间段的情况下,控制器180在预定时间段内收集图片信息并且从在预定时间段内收集的多条信息中提取与用户注视的某物相对应的地点和在该地点周围的区域相关的多条信息。
例如,控制器180对在预定时间段内已经收集的多条信息执行文本识别以便于提取这样的多条信息。然后,基于用户选择,控制器180提供通过搜索或者通过文本识别获得的信息作为附加信息。
另一方面,如上所描述,控制器180可以根据它们的属性对多条收集的信息进行分类,并且可以存储分类结果。在这样的情况下,当由用户从多条收集的信息之中选择任何一条收集的信息时,控制器180进一步在其上显示被选择的信息的显示单元251的一个区域上显示当前被选择的信息的关联信息。
然后,基于预定姿势或者触摸输入,或者基于语音输入,控制器180以用户能够从当前被选择的信息的关联信息之中选择任何一个这样的方式执行控制。在这样的情况下,控制器180可以基于被选择的关联信息进行新的搜寻并且可以给用户提供进行新的搜寻的结果。
另一方面,图6是用于描述在图5中图示的操作过程之中的操作过程的图,其在将收集通过相机接收的图片信息作为与用户注视的某物相对应的地点相关的信息的情况下被执行。在这一点上,在根据本发明的实施例的眼镜式终端200的情况下,当然,相机可以保持持续被操作的状态。然而,当以这样的方式操作相机221时,因为消耗不必要的功率,优选的是,控制器180应受限地操作相机221。
因此,下面描述其中受限地操作相机221以便于防止不必要的功率消耗的情况。
参考图6,根据本发明的眼镜式终端200的控制器180在预定条件下操作相机221(S600)。然后,在步骤S600中操作相机221的情况下,控制器180存储从相机221输入的至少一条图片信息(S602)。
在这一点上,多条图片信息不仅可以包括静态图像而且可以包括运动图像。基于用户的当前状态,或者在预定条件下,控制器180以静态图像或者运动图像的格式存储通过相机221接收的图像。
例如,控制器180感测用户的位置移动的速度,并且基于用户的位置的移动速度,确定是否以静态图像的格式或者以运动图像的格式收集图像。这是因为在用户的移动速度处于预定水平或者以上的状态中存储静态图像的情况下,由于用户的移动速度导致静态图像模糊不清。因此,在用户的移动速度处于预定水平或者以上的情况下,控制器180可以以在运动了一段时间的运动图像的格式收集图像。在用户的移动速度低于预定水平的情况下,可以以静态图像的格式收集图像。
另一方面,在以这样的方式以不同的形式收集的多条信息的情况下,将会存储多条信息的时间段相互不同。例如,因为以运动图像的格式存储的信息具有比以静态图像的格式存储的信息更大的大小,所以将会存储的以运动图像的格式存储的信息的时间段与以静态图像的格式存储的信息相比较相对较长。另外,在存储器170中存储的数据量处于预定水平或者更高的水平的情况下,可以优选地删除以运动图像的格式收集的信息而不是以静态图像的格式收集的信息。
另一方面,被用于以静态图像或者运动图像的格式收集与对应于用户注视的某物的地点相关的信息的相机是具有预定像素数或者更低的像素的相机。可替选地,相机或者是存储作为黑白图像,即,黑白的静态图像或者黑白的运动图像捕获图像的单独的相机。在这样的情况下,控制器180收集与用户注视朝向的某物相对应的地点相关的信息作为低分辨率图片信息或者黑白图像,并且因此最小化数据量。另外,替代以这样的方式使用单独的相机,当收集与用户注视朝向的某物相对应的地点相关的信息时,当然,控制器180可以以存储被捕获为具有预定像素或者更低的像素或者被捕获为黑白图像的图像这样的方式控制相机221。
另一方面,在步骤S600中用于操作相机221的预定条件是用户做预定姿势、用户将触摸施加到在眼镜式终端200的特定的点上、或者是用户将多个轻击施加到眼镜式终端200的主体上。可替选地,可以基于在用户的面部肌肉中的肌电变化满足预定条件。即,在用户有意识地选择相机221的操作的情况下,控制器180基于用户的选择操作相机221。然后,基于是否用户的注视的方向已经固定了预定参考时间段或者更长的时间段,控制器180存储通过相机221的镜头捕获的图像作为关于用户注视朝向的某物相关的信息。
此外,当满足特定的条件时,根据本发明的眼镜式终端200可以自动地操作相机221以存储图片信息。例如,在预定条件是在预定参考时间段或者更长的时间段内眼镜式终端200的前侧面向的方向没有被改变的情况下,当用户的注视已经固定了预定时间段时,控制器180可以操作相机221,并且同时,可以存储通过相机221的镜头捕获的图像作为关于用户注视朝向的某物的信息。
在这样的情况下,根据本发明的眼镜式终端200自动地收集与用户注视朝向的某物相关的信息。因此,即使用户没有有意识地开始收集信息,根据本发明的眼镜式终端200也可以基于用户的无意识的动作等收集信息。
另一方面,当在步骤S602中存储与用户注视朝向的某物相关的图片信息时,控制器180提取与存储的图片图像相关的多条各种信息作为属性信息(S604)。例如,控制器180提取诸如“今天(4/27),去工作地点的路径”的与时间和/或收集图片信息的地点相关的信息作为属性信息。
另外,当然,控制器180可以提取分析被存储的图片信息的结果作为属性信息。例如,控制器180检测被存储的图片信息的可识别的部分,并且对被检测的部分执行文本识别。然后,控制器180提取识别的结果作为与对应的图片图像相关的属性信息。
例如,控制器180从被存储的图片信息识别在特定的餐馆的招牌上示出的文本、图像等。在这样的情况下,控制器180提取识别文本、图像等的结果作为与在其上执行识别的图片信息相关的信息,即,作为属性信息。作为一个示例,在将诸如“披萨天堂”的文本视为分析图片信息的结果的情况下,控制器180从包括食物名“披萨”的被识别的文本进行识别。在这样的情况下,控制器180从包括文本的图片信息提取属性信息“披萨”。可替选地,在作为识别的结果,识别单词“电话”或者识别电话符号并且识别其后的多位号码的情况下,控制器180提取号码作为与运动图像或者静态图像相关的属性信息,即,作为“电话号码”。
另一方面,当在步骤S604中提取属性信息时,控制器180基于被提取的属性信息对被存储的图片信息进行分类并且存储分类的结果(S606)。例如,在包括文本的图片信息的属性信息是“披萨”的情况下,控制器180将包括文本的图片信息分类成通用词语,即,分类为“食物”,或“餐馆”,并且存储分类的结果。参考图10A至10C详细地描述以这样的方式收集的信息的示例。
另一方面,当然,可以使用与用户的当前位置相关的信息以便于收集用户注视朝向的某物相关的信息。例如,在确定用户开始收集信息的情况下,控制器180可以识别当前的位置,并且可以使用与被识别的当前位置和用户注视的当前方向相关的地图信息收集与用户的注视已经固定了预定时间段或者更长的时间段的某物相关的信息。
图7图示根据本发明的实施例的通过眼镜式终端200的控制器180的操作过程。
参考图7,控制器180在预定条件下感测当前位置,并且利用被感测的当前位置作为参考,检测用户的注视已经固定了预定时间段或者更长的时间段的方向(S700)。
在这一点上,预定条件意指开始收集信息的条件。即,例如,在用户在特定的方向上注视而没有改变注视的方向的情况下,控制器180确定满足预定条件并且检测当前位置和用户的注视已经固定了预定时间段或者更长的时间段的方向。可替选地,预定条件可以是用户做预定姿势、可以是用户将触摸施加到在眼镜式终端200上的特定的点、或者可以是用户将多个轻击施加到眼镜式终端200的主体。可替选地,可以基于在用户的面部肌肉中的肌电变化满足预定条件。
另一方面,在满足预定条件的情况下,控制器180识别开始收集与用户注视朝向的某物相关的信息,并且收集与用户的注视的方向相对应的地点相关的信息(S702)。例如,基于与当前被识别的位置相对应的地图信息,控制器180检测位于用户的注视的方向的地点并且对被检测的地点进行搜索。例如,为了进行搜索,控制器180使用预定网站等,在这样的情况下通过网站收集的多条各种信息是与用户注视朝向的某物相关的多条信息。
例如,在步骤S702中收集的多条信息是多条各种信息。即,控制器180收集关于哪个商店位于与用户注视朝向的某物相对应的地点的信息或者关于商店具有哪些业务范围的信息,并且收集与商店的名称和电话号码相关的多条信息。另外,如果用户注视朝向在各层具有多个商店的购物中心,则控制器180可以收集关于多个商店的每一个的信息。可替选地,基于在用户的当前位置和相应的商店之间的距离并且基于相对于水平线用户向上注视的角度,控制器180可以仅选择地收集关于在特定的层上的商店的多条信息。
另一方面,控制器180对以这样的方式收集的多条信息进行分类,并且生成代表性的信息(S704)。例如,作为收集多条信息的结果,控制器180不仅获得关于诸如商店名称、业务范围、以及电话号码的位于相应的地点的相应的商店的多条信息,而且获得诸如被网民创建的评价意见的多条信息,作为关于与用户注视朝向的某物相对应的地点的多条信息。根据它们的属性,即,商店名称(例如,“披萨天堂”)、电话号码、以及业务类型(例如,“餐馆”),控制器180对以这样的方式获得的多条信息进行分类,从多条收集的信息之中选择代表性的信息并且将被分类的多条信息和代表性的信息存储为与用户注视朝向的某物相关的多条信息。在这一点上,控制器180生成关于商店的名称的信息作为代表性的信息。可替选地,在关于相应的商店的图像信息存在于多条收集的信息中的情况下,控制器180可以生成图像信息作为代表性的信息,或者可以生成关于商店的名称的信息和图像信息作为代表性的信息。
然后,当生成代表性的图像时,控制器180将其他多条收集的信息存储为与代表性的信息相关的属性信息(S706)。例如,控制器180将收集的电话信息和业务类型信息存储为与生成的代表性的信息相关的属性信息。然后,控制器180根据属性信息对代表性的信息进行分类。例如,在与代表性的信息相关的属性信息是“餐馆”的情况下,将代表性的信息分类为“餐馆”并且存储分类的结果。
另一方面,多条收集的信息不仅可以包括与在用户注视朝向的某物相对应的地点中的商店相关的信息,而且可以包括关于收集信息的时间和/或地点的信息。在这样的情况下,也将关于收集信息的时间和/或地点的信息存储为与代表性的信息相关的属性信息。然后在步骤S706中,将代表性的信息用作分类的参考。
参考图11A(a)、图11B和图11B(a)更加详细地描述以这样的方式,控制器180基于当前位置和用户注视的方向收集关于特定的地点的信息的示例。
另一方面,基于在用户的运动状态中的变化,根据本发明的眼镜式终端200设置信息收集方法或者将收集的信息分类为特定的信息并且存储分类的结果。例如,如上所述,在用户的移动速度是预定速度或者更高的速度的情况下,控制器180将信息收集为运动图像而不是静态图像,并且存储收集的信息。可替选地,基于用户的位置或者基于用户的移动速度的变化,控制器180可以确定用户是否从预定车辆下车。然后,根据确定的结果,控制器180可以将收集的信息分类为停车信息并且可以存储分类的结果。
图8图示根据本发明的实施例的眼镜式终端200基于用户的运动状态的变化对收集的信息进行分类,并且存储分类的结果的过程的示例。
参考图8,根据本发明的眼镜式终端200的控制器180感测用户的运动状态的变化(S800)。基于通过加速度传感器或者惯性传感器感测的结果或者基于是否作为识别用户的位置用户的位置的移动速度处于预定水平或者更高的水平,控制器180确定用户是否在车辆内或者外。可替选地,在预定车辆的情况下,控制器180使用被安装在预定车辆中的近场通信(NFC)标签或者射频(RF)芯片检查在用户的位置和预定车辆之间的距离上的变化。基于检查的结果,当然,控制器180可以确定用户是否上了预定车辆或者从预定车辆下车。
基于用户的运动状态的变化或者基于用户的位置的变化,根据本发明的眼镜式终端200设置信息收集方法(S802)。例如,如上所描述,基于用户的移动速度,控制器180以运动图像或者静态图像的格式收集信息。可替选地,基于用户是否从预定车辆下来,控制器180可以以预定方法(例如,用收集停车信息的方法)收集要被收集的信息。
此外,当然,控制器180可以直接地选择特定的信息收集方法。例如,用户能够通过将预定姿势或者多个轻击施加到眼镜式终端200的主体选择特定的信息收集方法,或者能够使用被连接到眼镜式终端200的不同的设备,或者使用语音信号选择特定的信息收集方法。
可以预定各种信息收集方法。例如,预定信息收集方法包括停车信息收集方法。停车信息收集方法是一种方法,其中在用户在参考时间段或者更长的时间段内在特定的方向上固定他的/她的注视的情况下,除了通过相机221获得的静态图像信息或者运动图像信息,进一步收集关于用户沿着其移动的路径的多条信息,即,移动方向和速度,以及用户移动的距离的方法。用户通过选择将被收集的信息的类型(例如,在收集停车信息的情况下的图片信息和关于用户的移动方向、用户的移动速度、以及用户移动的距离的信息)事先设置这样的信息收集方法。
另一方面,当在步骤S802中,基于用户的运动状态的变化设置信息收集方法,控制器180基于预定条件,收集与用户的注视朝向的某物相关的信息(S804)。在这一点上,预定条件是为了开始收集信息的条件。
即,如上所描述,预定条件是用户在预定时间段或者更长的时间段内在特定的方向上固定他的/她的注视、是用户做特定姿势(例如,用户上下摇动他的/她的头的姿势或者做特定的面部表情)、或者是用户将触摸施加到在眼镜式终端200上的预定点。可替选地,预定条件可以是将预定多个轻击施加到眼镜式终端200的主体的条件。
当满足预定条件时,在步骤S802中,控制器180根据预定信息收集方法收集与用户注视朝向的某物相关的信息。即,在用户的移动速度处于预定速度或者更高的速度的情况下,信息收集方法使用运动图像的格式。因此,在步骤S804中,以运动图像的格式存储通过相机221捕获的图像。
另一方面,当然,控制器180不仅可以存储在步骤S804中收集的多条信息,而且可以存储通过分析多条收集的信息获得的多条信息。例如,控制器180对多条收集的信息执行文本或者图像识别,并且可以进一步将识别的结果存储为与多条收集的信息相关的信息。
另外,在当前设置的信息收集方法是为了收集停车信息的情况下,除了通过相机221收集的信息之外,控制器180进一步收集关于用户沿着其移动的路径的信息,并且存储收集的信息。
在这一点上,以预定时间单位存储关于用户沿着其移动的路径的信息,并且包括用户的移动方向和用户的移动速度。当收集关于移动路径的信息时,控制器180可以将收集的信息与通过相机221收集的图片信息相关联,并且可以存储关联的结果。例如,当收集图片信息时,控制器180将关于在与收集图片信息的时间相对应的时间收集的用户沿着其移动的路径的信息与收集图片信息的时间相关联。
另一方面,在步骤S804中,根据用户的移动速度对收集的信息进行分类,并且存储分类的结果(S806)。因此,在作为在步骤S800中确定的结果,用户的移动速度处于预定水平或者更高的水平的情况下,控制器180确定用户在车辆内,并且在步骤S804中以运动图像的格式收集信息。然后,在步骤S806中,将以运动图像的格式收集的多条信息分类为在用户在车辆内的状态中收集的多条信息并且存储分类的结果。另一方面,在用户从车辆下来的情况下,对以与此相似的方式收集的多条信息进行分类并且存储分类的结果。例如,在步骤S800中确定用户从预定车辆下来的情况下,控制器180在步骤S804中收集多条信息作为停车信息,并且将多条收集的信息进行分类作为停车信息并且在步骤S806中存储分类的结果。
然后,基于分类的结果,控制器180可以设置不同的删除条件(S806)。例如,当用户处于车辆中时收集的多条信息将是关于用户的生活范围(例如,包围用户的居所或者用户的工作地点的区域)的多条信息的可能性被确定为低。这时因为当车辆被驾驶到目的地时获得多条收集的信息。反之,当用户处于车辆外时收集的多条信息将是在用户的生活范围的多条信息的可能性被确定是高的。因此,当用户不处于车辆中时多条收集的信息将被存储的时间段被设置为比当用户处于车辆中时收集的多条信息将被存储的时间段更长。
可替选地,在多条收集的信息是多条停车信息的情况下,基于用户的位置或者基于在移动速度中的变化,控制器180可以立即删除多条收集的信息。例如,当然,在感测用户再次处于预定车辆中的情况下(例如,在用户再次被定位在距被安装在预定车辆内的NFC标签或者RF芯片预定的距离内或者更低的距离内的情况下)或者在作为感测用户的位置的移动速度的结果用户的位置的移动速度处于预定水平或者更高的水平的情况下,控制器180可以确定用户再次处于预定车辆中并且可以删除停车信息。
图9图示在图5中的操作过程之中,显示在用户的请求下找到的信息的操作过程。
参考图9,根据本发明的眼镜式终端200的控制器180根据用户的请求在显示单元251上显示在多条已经收集的信息之中找到的多条信息(S900)。
在这一点上,用户通过将语音信号输入到麦克风122发出请求,或者通过能够被连接到根据本发明的实施例的眼镜式终端200的不同的设备输入请求。在将多个轻击施加到眼镜式终端200的主体或者确定预定姿势被感测的情况下,或者在将触摸输入施加到在眼镜式终端200上特定的点的情况下,控制器180操作麦克风122或者能够被连接到眼镜式终端200的不同的设备以接收用户的请求。
例如,当假定用户使用语音信号发出收集信息的请求时,用户使用他的/她的语音输入用于他/她想要搜寻的多条信息的关键字。然后,控制器180在多条收集的信息中搜寻与输入的关键字相对应的信息。
在这一点上,与关键字相匹配的多条信息是与多条收集的信息相关的多条各种属性信息。即,与收集信息的时间或者地点相关的信息(例如,属性信息)是与关键字相匹配的信息。因此,在用户将诸如特定的时间(例如,“今天,上午,去工作地点的路径”)或者特定的地点(例如,“Edan街”)的关键字输入到麦克风122的情况下,控制器180在多条已经收集的信息中搜索与输入的关键字相匹配的多条信息,并且在显示单元251上显示找到的多条信息。
此外,当然,与关键字相匹配的多条信息可以包括通过分析多条收集的信息获得的文本信息、图像信息等。例如,在多条已经收集的信息之中的任何一条信息中识别文本“披萨天堂”的情况下,当用户输入关键字“披萨”时,控制器180使用与输入的关键字相匹配的信息检测被识别的文本信息“披萨天堂”。然后,控制器180在显示单元251上显示在多条已经收集的信息之中与被检测的文本信息“披萨天堂”相对应的信息。
在这一点上,控制器180以各种形式显示找到的信息。例如,控制器180以包括缩略图图像的列表形式显示找到的多条信息。可替选地,控制器180可以使用地图信息显示找到的多条信息。另外,为了显示,控制器180有序地排列根据预定条件找到的多条信息。例如,为了显示,控制器180以从第一被存储的信息到最后被存储的信息的时间顺序有序地排列找到的多条信息,或者为了显示,反之亦然。可替选地,控制器180感测用户的当前位置,并且以从距用户的当前位置最远处收集的信息到距用户的当前位置最近处收集的信息的顺序有序地排列多条收集的信息,或者为了显示,反之亦然。
此外,为了显示,控制器180根据预定的优先顺序有序地排列找到的信息项目。在这一点上,预定的优先顺序可以基于对多条收集的信息执行文本识别的结果(例如,增加识别精确度顺序或者字母顺序),并且可以基于当收集信息时用户的注视已经固定的时间段确定。即,控制器180进一步收集关于当收集信息时用户的注视固定的时间的信息。为了显示,根据用户的注视已经固定的时间段,控制器180有序地排列通过在用户的请求下进行搜索找到的多条信息。
另一方面,当找到与被用户输入的关键字相对应的多条信息时,控制器180根据用户的选择从找到的多条信息之中选择已经收集的信息中的任意一个(S902)。例如,控制器180感测用户做出的预定姿势,并且基于被感测的姿势从找到的多条信息之中选择找到的任何一条信息。在这样的情况下,在显示单元251上,在特写的状态中,显示被用户选择的任何一条信息。在这一点上,参考图13A(a)至图13A(f)更加详细地描述基于用户做出的姿势,从找到的多条信息之中选择任何一条找到的信息的示例。
另一方面,在步骤S902中选择的多条信息包括多条各种属性信息。例如,控制器180在显示单元251上进一步显示关于收集被选择的信息的时间或者地点的信息。可替选地,控制器180可以在显示单元251上进一步显示从当前被选择的信息提取的属性信息,如在被选择的信息中识别的文本、图像等(S904)。
另一方面,当在显示单元251上显示多条属性信息时,用户能够从同在特写状态中的信息一起被显示的多条属性信息之中选择任何一条属性信息,并且基于被选择的属性信息对多条信息进行搜寻。然后,找到的多条信息被有序地显示,并且在显示单元251上显示被有序显示的找到的多条信息(S906)。
例如,用户能够通过预定姿势等从与当前被选择的信息相关的多条属性信息之中选择任何一条属性信息。在这样的情况下,基于感测的被用户做出的姿势,控制器180搜寻具有与被选择的属性信息相同的属性的信息或者搜寻具有与被选择的属性信息相似的属性的信息,并且在显示单元251上显示搜寻的结果。
参考图13B(a)至图13B(f)更加详细地描述基于以这样的方式感测的姿势,在多条已经收集的信息中搜寻相同的或者相似的属性信息的示例。
另一方面,基于用户在步骤S906中选择的属性信息,控制器180确定是否找到新的多条信息作为搜寻的结果(S908)。然后,在作为在步骤S908中确定的结果确定找到新的多条信息的情况下,控制器180返回到步骤S902,并且从找到的多条信息之中根据用户的选择来选择任意一条找到的信息。然后,控制器180在步骤S904、S906、S908中重复地执行过程。
然而,在作为在步骤S908中确定的结果未找到新的多条信息的情况下,即,在用户没有选择特定的属性信息的情况下,控制器180确定用户是否选择停止显示找到的多条信息的选项(S910)。然后,在作为在步骤S910中确定的结果用户没有选择停止显示的选项的情况下,控制器180返回到步骤S906并且确定用户从当前在特写状态中显示的多条信息之中选择任何一条信息。
然而,当作为在步骤S910中确定的结果,用户选择停止显示的选项时,控制器180停止显示在显示单元251上找回的多条信息。
上面描述根据本发明的眼镜式终端200的控制器180收集与用户注视朝向的某物相关的信息,并且在用户的请求下显示通过搜寻多条收集的信息获得的多条信息的操作过程。
下面更加详细地描述示例,其中,在根据本发明的实施例的眼镜式终端200中,根据上述的通过控制器180的操作过程,与用户注视朝向的某物相关的信息被收集,并且根据用户的选择,被显示在显示单元251上。
图10A至图10C图示在根据本发明的实施例的眼镜式终端200中从相机221收集与用户注视朝向的某物相关的信息的示例。
如上面所述,在用户的注视已经固定了预定参考时间段或者更长的时间段的情况下,控制器180自动地操作相机。可替选地,在用户做预定姿势的情况下,或者在用户将预定次数或者更多次数的轻击施加到主体或者将触摸输入施加到特定的点上的情况下,控制器180可以操作相机221。在这样的情况下,如在图10A中所图示,控制器180在显示单元251上显示指示相机221处于被操作的状态中的图形对象100,以便于用户识别相机221当前处于操作中。
当以这样的方式操作相机221时,自动地、或者基于用户的选择,诸如当做预定姿势时或者当将多个轻击施加到眼镜式终端200的主体时,控制器180以静态图像或者运动图像的格式存储通过相机221捕获的图像。然后,被存储的信息被收集为与用户注视朝向的某物相关的信息。另外,在相机221处于操作中状态中,用户施加相同的输入,即,做预定姿势,或者将预定次数或者更多次数的轻击施加到主体、或者将触摸输入施加到预定点的情况下,控制器180可以切断相机221以便于相机221返回到其先前的状态。当以这样的方式切断相机时,图形对象100可以不被显示在显示单元251上。
另一方面,如上所描述,控制器180使用文本识别等从被存储的静态图像和运动图像进一步提取属性信息。例如,如在图10B中所图示,在文本可识别的部分1002和1004被包括在收集的信息中的情况下,控制器180对此进行识别,并且将识别的结果存储为与收集的信息相关的属性信息。在这样的情况下,当在用户的请求下在显示单元251上显示收集的信息时,控制器180将提取的信息与收集的信息一起显示。
图10C图示此的示例。
图10C图示与基于在图10A中的用户的选择收集的信息1012相关的属性信息1010的示例,和与收集的信息1012相关的属性信息1010的示例。如在图10C中所图示,收集的信息1012是通过相机221捕获的图片信息,并且属性信息是包括收集信息的时间(“4月27日上午08:00”和地点(“Edan街”))的信息和从收集的图片信息1012提取的信息,即,文本识别的结果(“米斯特披萨”)。
另一方面,图11A(a)和图11A(b)和图11B(a)和图11B(b)图示在根据本发明的眼镜式终端中使用关于用户的位置的信息收集与用户注视朝向的某物相关的信息的示例。
在用户的注视已经固定了参考时间段或者更长的时间段、或者用户将预定次数或者更多次数的轻击施加到主体、或者将触摸输入施加到预定点的情况下,控制器180开始收集信息。在这样的情况下,当然,控制器180可以在显示单元251上显示指示当前收集信息的状态的图形对象,以便于用户识别当前收集信息的状态。
然后,当开始收集信息时,如在图11A(a)中所图示,控制器180感测用户的当前位置。然后,控制器180感测用户的注视的方向1102。然后,控制器180使用与用户的当前位置相关的地图信息检测用户的注视已经固定了预定时间段或者更长的时间段的地点1110,如在图11A(b)中所图示。
在这一点上,控制器180优选地存储用户沿着其移动的路径1100、用户注视的方向1102、用户朝着特定方向注视的时间段、以及用户朝着特定方向注视的时间。然后,在稍后能够将眼镜式终端200连接到预定网站或者服务器的情况下,当然,控制器180可以从网站或者服务器使用诸如用户沿着其移动的路径1100、用户注视的方向1102、用户朝着特定的方向注视的时间段、以及用户朝着特定的方向注视的时间的被存储的数据检测用户的注视固定了预定时间段或者更长的时间段的地点1110。
另一方面,当检测用户的注视已经固定了预定时间段或者更长的时间段的地点1110时,控制器搜寻与地点1110相关的信息。例如,控制器180通过关于其中用户当前停留的区域的地图信息检测关于与用户的注视已经固定了预定时间段或者更长的时间段的某物相对应的地点1110的地址信息,并且使用被检测的地址信息检测关于哪个站位于地点1110的信息、关于地点1110的名称的信息等。图11B(a)图示此的示例。
另一方面,如在图11B(a)中所图示,当作为搜寻的结果找到与用户的注视已经固定了预定时间段或者更长的时间段的某物相对应的地点1110相关的多条信息时,控制器180将找到的多条信息存储为与地点1110相关的信息。在这一点上,控制器180从找到的多条信息之中选择代表性的信息。例如,关于地点1110的图像信息和/或关于地点1110的站名信息是多条代表性的信息。
因此,如在图11B(a)中所图示,在找到的多条信息之中存在相关的信息的情况下,控制器180选择相关的图像(“Mr_PIZZA.jpg”)作为代表性的图像,将被选择的相关的图像存储为基于在预定时间段或者更长的时间段内已经被固定的用户的注视收集的信息,并且将多条收集的信息存储为相关的属性信息。
图11B(b)图示此的示例。图示在用户的请求下,作为基于关于用户的位置和用户的注视的方向的信息搜寻的结果找到的与地点相关的图像信息(“Mr_PIZZA.jpg”)1120,将找到的多条信息显示为属性信息(1122)的示例。
另一方面,图12A(a)和12A(b),至12B(a)和12B(b),以及12C(a)和12C(b)是图示在根据本发明的眼镜式终端中在用户的请求下显示在多条收集的信息之中的至少一条信息的示例的图。
首先,图12(a)图示在用户的请求下,以包括缩略图图像的列表形式显示找到的信息的示例。例如,在例如输入诸如“今天,上午,去工作地点的路径”的特定的关键字的情况下,控制器180在多条已经收集的信息之中搜寻与关键字相匹配的多条信息1200、1202、以及1204并且显示搜寻的结果,如在图12A(a)中所图示。
在这样的情况下,如上所述,为了在显示器251上进行显示,控制器180基于用户朝着特定的方向注视的时间段、距用户的当前位置的距离、收集信息的时间等有序地排列找到的多条信息1200、1202、以及1204。图12A(a)图示此的示例。
另一方面,根据本发明的眼镜式终端200可以以除了列表形式之外的形式显示多条收集的信息。例如,如在图12A(b)中所图示,控制器180在关于用户当前停留的区域的地图信息上显示多条收集的信息1210、1212、以及1214。在这样的情况下,如在图12A(b)中所图示,在显示单元251上优选地显示关于位于距用户的当前位置1214预定的距离内的地点的多条信息。然后,根据用户的选择,在显示单元251上显示关于位于距当前位置较远的地点的多条信息。
另一方面,如在图12A(a)和12A(b)中所图示,在用户的请求下显示多条收集的信息的情况下,在显示单元251上进一步显示识别用户的请求等的结果。控制器180可以在显示单元251上显示搜寻关键字,例如,“14.04.27,去工作地点的路径,上午08:00”。因此,用户能够检查他/她输入的请求是否被正确地识别,和被用于搜寻当前显示在显示单元251上的多条信息的搜寻关键字。
另一方面,如上所描述,根据本发明的眼镜式终端200可以进一步提供关于用户的当前位置的附加信息。图12B(a)和图12B(b)图示此的示例。图示在用户的请求下,使用地图信息或者包括缩略图图像的列表形式提供找到的信息的示例。
首先,如在图12B(b)中所图示,在使用地图信息提供找到的信息的情况下,控制器180提供从用户的当前位置到找到的多条信息1222、1224、以及1226中的每个的距离“DIST”、和移向找到的多条信息1222、1224、以及1226中的每个花费的时间“TIME”。在这一点上,控制器180基于被用户设置的移动手段(例如,步行或者骑自行车)测量到达找到的多条信息1222、1224、以及1226中的每个花费的时间。在改变移动手段的情况下,到达找到的信息花费的时间经历变化。
另一方面,图12B(b)图示在以包括缩略图图像的列表形式提供找到的信息的情况下,提供关于距用户的当前位置的距离“DIST”和关于到达找到的信息花费的时间“TIME”的多条信息的示例。在这样的情况下,如在图12B(b)中所图示,控制器180可以根据预定的优先顺序有序地排列多条收集的信息1230、1232、以及1234并且可以在找到的多条信息1230、1232、以及1234之中的至少一个上显示关于距用户的当前位置的距离和关于到达找到的多条信息的花费的时间的多条信息。
另一方面,在用户的请求下,根据本发明的眼镜式终端200可以与找到的信息一起提供关于用户的注视已经固定的时间段和关于用户拜访相应的地点的次数的多条信息。
图12C(a)和图12C(b)图示此的示例。
首先,图12C(a)图示在使用地图信息在显示单元251中显示找到的多条信息的情况下,显示找到的多条信息的示例。在这样的情况下,与在地图信息上找到的多条信息的位置一起显示与用户已经朝着与相应的地点相关的某物注视的时间段“GAZING”的信息。另外,如在图12(a)中所图示,在用户拜访(“VISIT”)相应的地点的情况下,用户的拜访的记录也被包括在找到的信息中。在这一点上,通过感测用户的位置,或者通过用户的选择检查关于用户的拜访的信息。可替选地,使用被安装在相应的地点的RF芯片或者NFC芯片的使用记录,或者通过在相应的地点中用户的信用卡的支付记录检查用户的拜访的信息。
另一方面,如在图12C(a)中所图示,在不仅通过地图信息的使用,而且以包括缩略图图像的列表的格式提供找到的多条信息的情况下,进一步显示这些多条信息。例如,如在图12C(b)中所图示,在以列表形式显示找到的多条信息的情况下,在缩略图图像1250、1252、以及1254的附近显示关于用户朝着与相应的地点相关的某物注视的时间段“GAZING”和/或关于对相应的地点的用户的拜访(“VISIT”)记录的多条信息。
另一方面,在根据本发明的实施例的眼镜式终端中,用户能够以各种方法开始收集信息或者停止收集信息或者能够输入关键字以从找到的多条信息之中选择任何一条信息。另外,用户能够从找到的多条信息之中选择至少一条信息。如上所描述,各种方法在此涉及由用户做的预定姿势、与在用户的面部表情中的变化相关联的肌电变化、在眼镜式终端200的主体上的多个轻击、到特定的点的触摸输入等。
图13A(a)至图13A(f)和图13B(a)至图13B(f)图示在根据本发明的眼镜式终端中,基于由用户做的姿势搜寻多条已经收集的信息的示例。
例如,如在图13A(a)中所图示,在用户通过预定角度或者更大的角度来回摇动他的/她的头的情况下,控制器180将此确定为用于在多条已经收集的信息之中搜寻特定的信息的用户输入。在这样的情况下,控制器180操作输入用户的语音的麦克风122。在这样的情况下,控制器180使用预定图形对象1300指示麦克风122处于操作中。
然后,在用户再次做此姿势(其中用户通过预定角度或者更大的角度来回摇动他的/她的头的姿势)的情况下,控制器180将此确定为用于停止语音输入的用户输入,并且将麦克风122切回到切断状态。然后,在这样的情况下,控制器180可以在显示单元251上显示用于使图形对象1300从显示单元251显示或者用于指示麦克风122处于切换状态的预定的不同的图形对象。
另一方面,在麦克风122处于操作中的情况下,控制器180使用户的语音信号能作为用于搜寻特定的信息的关键字被输入到麦克风122。然后,控制器180在多条已经收集的信息中搜寻与输入的关键字信息相匹配的多条信息,并且在显示单元251上显示找到的多条信息。在这样的情况下,用户从多条显示的信息之中选择任何一条显示的信息。也通过由用户做的姿势做这个选择。
例如,如在图13A(c)中所图示,用户能够做出他/她以预定角度或者更大的角度从一边到另一边摇动他的/她的头的姿势。在这样的情况下,控制器180基于用户摇动他的/她的头的方向从找到的多条信息之中选择任何一条信息。例如,在用户向左移动他的/她的头的情况下,控制器180临时地选择被定位到当前从找到的多条信息之中临时选择的任何一条信息1302的左边的信息。在这样的情况下,如在图13A(d)中所图示,以区分自身与多条不同的信息的方式(即,以更大的大小的缩略图图像的形式)显示临时被选择的信息。另外,在这一点上,在用户在特定的方向上多次摇动他的/她的头的情况下,控制器180显示被定位在用户摇动他的/她的头的方向中的多条信息,其数量对应于用户摇动他的/她的头的次数。
另一方面,用户能够选择当前被临时地选择的信息并且在特写的状态在显示单元251上显示被选择的信息,例如,如在图13A(e)中所图示,在用户做特定的面部表情的情况下,控制器180感测在用户的面部肌肉中的肌电变化或者在用户的眼睛的形状中的变化。在这样的情况下,控制器180将当前临时选择的信息确定为由用户选择的特写视图中的信息。图13A(f)图示在这样的情况下,以特写的状态显示该信息的示例。
另一方面,在这样的方式被显示在特写的状态中的信息上显示与当前选择的信息相关的多条属性信息。在这样的情况下,用户从多条属性信息之中选择任何一条属性信息,并且在多条已收集的信息中搜寻具有相同属性信息的多条信息。然后,在显示单元251上显示搜寻的结果。
图13B(a)至图13B(f)图示此的示例。
如上所描述,当在显示单元251上以特写状态显示特定的信息时,使用各种方法,控制器180从被显示在处于特写状态中的信息上的多条属性信息之中选择任何一条属性信息。各种方法在此涉及由用户做的预定姿势、根据在用户的面部表情中的变化的肌电变化、在眼镜式终端200的主体上的多个轻击、到特定点的触摸输入等。
例如,如在图13B(a)中所图示,在用户在特定的方向上向后弯曲他的/她的头的情况下,控制器180将此确定为用于从与当前处在特写状态中的信息相关的多条属性信息之中选择任何一条属性信息的用户输入。因此,如在图13B(a)至图13B(c)中所述,在用户在特定的方向上向后弯曲他的/她的头的情况下,基于用户向后弯曲他的/她的头的方向,控制器180从与当前处在特写状态中的信息相关的多条属性信息之中选择任何一条属性信息。图13B(b)和图13B(d)图示此的示例。图示被用户选择的属性信息从收集时间1310“3.27上午08:00”变成收集地点“Edan街”的示例。
如在图13B(d)中所述,当通过由用户做的姿势选择特定的属性信息时,用户能够基于当前被选择的属性信息进行搜寻。例如,如在图13B(e)中所图示,在用户做特定的面部表情的情况下,控制器180感测在用户的面部肌肉中的肌电变化或者在用户的眼睛的形状上的变化。在这样的情况下,控制器180确定用户选择基于当前被选择的属性信息的搜寻。因此,控制器180搜寻已经被用户选择的属性信息的多条信息,即,具有与如在图13B(d)中所图示的收集地点“Edan街”相同的属性信息的多条信息,并且在显示单元251上显示搜寻的结果。图14B(f)图示在显示单元251上显示在多条已收集的信息中搜寻具有属性信息“Edan街”的多条信息的结果的示例。
另一方面,上面描述头的移动被感测并且被使用以便于从多条收集的信息之中选择特定的信息或者特定的属性信息的情况。然而,除头的移动之外,当然,瞳孔的移动或者摇晃预定的身体部分,例如,手边等的姿势是可能的。
另外,在从多条收集的信息之中选择特定的信息或者特定的属性信息的情况下,当然,可以使用被感测为施加到眼镜式终端200的主体的特定部分的触摸输入。例如,当在与用户的左眼相对应的镜片的邻近处施加用户的触摸时,基于施加的触摸输入的次数,控制器180确定被定位到找到的信息的左边的信息或者属性信息或者当前临时选择的属性信息被用户临时地选择。同样地,当将用户的触摸输入施加在与用户的右眼相对应的镜片的邻近处时,控制器180确定被定位到找到的信息的右边的信息或者属性信息或者当前临时地被选择的属性信息被用户临时地选择。另外,当将用户的触摸输入感测为被施加在眼镜式终端200的主体的中心的邻近处时,可以确定找到的信息或者当前被临时选择的属性信息被用户选择,用于特写视图或者用于根据相应的属性信息的搜寻。
如上所描述,根据本发明的眼镜式终端200自动地或者基于用户的选择收集与用户的注视的方向相关的信息,并且在用户的请求下给用户提供收集的信息。在这一点上,多条收集的信息包括诸如静态图像或者运动图像的图片信息。进一步收集通过分析多条收集的信息获得的诸如文本或者图像识别的结果的信息。另外,当然,无论何时如有必要可以收集声音信息等。
然后,使用麦克风122等,能够给用户提供多条收集的信息之中的至少一条信息。然后,如在图10A至图13B(f)中所图示,在这一点上提供的多条信息例如是以包括缩略图图像的列表形式或者以在地图图像上显示的文本图像的形式。然后,以这样的方式,当用户从找到的多条信息之中选择任意一条找到的信息时,控制器180提供更多详细的相应的信息。例如,在收集的信息是运动图像信息的情况下,控制器180可以使用与收集的信息相对应的应用在显示单元251上以运动图像的形式显示收集的信息。此外,在收集的信息是静态图像信息的情况下,控制器180在显示单元251上以特写的状态显示静态图像信息。
以这样的方式,在从找到的多条信息之中选择任何一条找到的信息的情况下,控制器180以适当的形式给用户提供相应的信息。以这样的方式,控制器180根据收集的信息的类型确定适合于提供信息的形式,并且提供更合适的信息。例如,在使用关于用户的位置和地图信息而不是相机221的信息收集的信息的情况下,控制器180可以提供通过搜索收集的多条信息之中的文本信息而不是图像或者运动图像。
另外,控制器180可以基于用户的选择提供多条各种附加信息。例如,控制器180可以感测用户逇位置,并且因此可以提供用户的当前位置和与找到的信息相关的信息(例如,到找到的信息的距离、到找到的信息花费的时间等)。可替选地,控制器180可以提供与找到的信息相关的多条各种属性信息(收集时间和收集地点、或者诸如作为文本识别的结果的多条分析信息)。
另一方面,控制器180在收集信息中进一步考虑用户的运动状态的变化。例如,基于用户的运动状态的变化,控制器180确定用户是否位于在车辆内或者外。然后,基于此,控制器180将当前收集的信息分类为停车信息。在用户的情况下,控制器180基于提供停车信息的方法提供多条收集的信息。
图14A(a)和图14A(b)、图14B(a)和图14B(b)图示收集停车信息并且在根据本发明的眼镜式终端200中提供停车信息的示例。
如上所描述,根据本发明的眼镜式终端200基于用户的选择确定用户的运动状态,并且将当前收集的信息分类为停车信息并且存储分类的结果。在这样的情况下,基于用户选择,诸如当将多个轻击施加到眼镜式终端200的主体时、当将触摸输入施加到预定的特定的部分时、或者当做预定姿势时,通过操作相机221,控制器180收集与用户注视朝着的某物相关的信息。
图14A(a)和图14A(b)图示在这样的情况下收集信息的示例。例如,在用户将车辆停在室内停车场并且从车辆下来的情况下,控制器180,如在图14A(a)中所图示,基于用户的选择、用户的注视已经固定的时间段等,收集与用户的注视的方向相关的至少一条信息。然后,控制器180进一步执行收集的信息的分析(例如,文本识别或者图像识别)并且将分析结果存储为与收集的信息相关的属性信息。
因此,如在图14A(a)中所图示,在包括指示停车场的文本“停车”1402或者图像的情况下,通过识别这样的文本或者这样的图像获得信息,例如,将诸如或者“停车”的信息存储为属性信息。
可替选地,控制器180不仅进一步考虑用户的运动状态,而且考虑在将收集的信息分类为停车信息并且存储分类的结果时的周围环境。例如,在用户的位置被移动的速度突然变慢或者预定车辆到站并且用户移动给定的距离或者从预定车辆离开的情况下,控制器180确定用户从预定车辆下来。在这样的情况下,基于用户的选择(例如,诸如当将多个轻击施加到主体时),控制器180可以操作相机221并且可以基于通过相机捕获的图像收集通过相机221收集的信息作为停车信息。
例如,如在图14A(a)中所图示,在通过相机221捕获指示用户的当前位置在停车场的文本“停车”1402或者图像的情况下,控制器180识别用户当前在停车场内。然后,在用户从车辆下来并且当前在停车场内的情况下,控制器180可以基于用户的选择、用户的注视已经固定的时间段等收集与用户的注视方向相关的图片信息作为停车信息。
另一方面,在用户发出停车信息的情况下,控制器180在显示单元251上显示被分类为停车信息的信息。另外,在通过相机221捕获的图像之中存在与已收集的停车信息相匹配的图像的情况下,控制器180以将被匹配的图像与其他多条停车信息区别的方式显示被匹配的图像。
因此,如在图14A(b)中所图示,在作为分析通过相机221捕获的图像的结果,文本“A38B”1420被识别的情况下,控制器180以将信息1422与其他多条信息区分的方式,显示在已经被收集为停车信息的多条信息之中的与文本“A38B”相匹配的信息1422。在这样的情况下,用户能够识别他/她注视朝着的某物对应于在多条已经收集的停车信息之中的任何一条停车信息,并且因此能够使用收集的信息,以更容易的方式,找到停放他的/她的车辆的地点。
另一方面,当然,收集的信息可以进一步包括关于沿着其用户移动的移动路径的信息。图14B(a)和图14B(b)图示在根据本发明的眼镜式终端200中提供停车信息的示例。
例如,如在图14B(a)中所图示,在作为分析通过相机221捕获的图像的结果,文本“A38B”1442被识别的情况下,控制器180以将信息1422与其他多条信息区分的方式,显示在已收集为停车信息的多条信息之中的与文本“A38B”相匹配的信息1440。另外,可以将被匹配的关于在收集信息1440时用户沿着其移动的路径的信息进一步显示为使用增强现实的图形对象1446。在这一点上,如在图14B(a)和图14B(b)中所图示,控制器180可以以与用户在过去沿着其移动的路径相反的方向上显示图形对象1446。这是因为用户沿着路径往回移动以便于找到停放他的/她的车辆的地点。
如在图14B(b)中所图示,控制器180检查在随着用户移动捕获的新图像中是否存在可识别的信息,并且以将已收集的信息与其他多条信息区分的方式显示对应于被检测的信息的已经收集的信息。因此,如在图14B(b)中所图示,当在通过相机捕获的图像中识别文本“A39B”1444时,显示与被识别的文本“A39B”相对应的已收集的信息1448。因此,用户能够直观地识别他/她沿着在他/她在停放他的/她的车辆之后沿着其移动的路径往回移动。
在这一点上,使用关于其中用户当前停留的建筑物的地图信息,基于停放预定车辆的位置并且基于用户的当前位置,生成关于用户沿着其移动的路径的信息。在这一点上,关于其中用户当前停留的建筑物的地图信息是被存储在存储器170的或者从预定网站或者外部服务器下载的一条信息。
另一方面,当然,可以通过各种方法收集关于用户移动所沿着的路径的信息。例如,当收集停车信息时,控制器180使用惯性传感器、重力传感器、罗盘传感器等在收集停车信息的时收集与用户的移动方向和用户的移动速度相关的信息。然后,基于收集的信息生成用于显示用户移动所沿着的路径的图形对象1446并且将其显示在显示单元251上。
因此,不管用户的注视的当前位置,图形对象1446被显示在显示单元251上。此外,图形对象1446被显示在显示单元251上,根据用户的运动状态而变化。因此,用户能够使用图形对象1446检查在停放他的/她的车辆之后他/她立即移动所沿着的路径,并且因此更加容易地找到停放他的/她的车辆的地点。
另一方面,上面描述了本发明的特定的实施例,但是在没有离开本发明的范围的情况下对特定的实施例的各种修改是可能的。具体地,根据本发明的实施例,描述了仅在用户的注视已经固定了预定时间段或者更长的时间的情况,但是,当然,用户的注视朝着特定的方向的预定次数的情况可以是用于收集信息的条件。
此外,上面描述了通过被施加到主体的多次轻击或者通过姿势接通或者切断麦克风或者相机的情况,但是当然,可以始终接通麦克风或者相机。
如下描述了根据本发明的眼镜式终端的作用和控制给眼镜式终端的方法。
根据本发明的实施例中的至少一个,基于用户的注视已经固定的时间段收集与用户朝着其注视的某物相关的信息。这提供能够识别用户感兴趣的地点并且能够在没有经历单独的收集信息的过程的情况下将关于被识别的地点的信息提供给用户的优点。
另外,根据本发明的实施例中的至少一个,进一步提供被识别的地点和与用户的当前位置相关的信息,以及与被识别的地点相关的信息。这提供用户能够以更加容易的方式找到期待的地点的优点。
通过执行本文呈现的各种方法的处理器使用在其上存储有用于执行的指令的机器可读介质可以实现各种实施例。可能的机器可读介质的示例包括在此陈述的HDD(硬盘驱动)、SSD(固态盘)、SDD(硅盘驱动)、ROM、RAM、CD-ROM、磁带、软盘、以及光数据存储装置、其他类型的存储介质、和其组合。如有必要,以载波(例如,互联网上的传输)的形式可以实现机器可读介质。处理器可以包括移动终端的控制器180。
前述实施例和优点仅是示例性的并且不被视为对本公开的限制。本教导能够被容易地应用于其他类型的装置。此描述旨在是说明性的,并且没有限制权利要求的范围。许多替代、变型以及变体对于本领域的技术人员来说将会是显然的。可以以各种方式组合在此描述的示例性实施例的特征、结构、方法以及其他特性以获得其他和/或替代的示例性实施例。
由于在没有脱离本特征的特性的情况下可以以多种形式实现本特征,所以也应理解的是,上述实施例不受前面描述的任何细节的限制,除非另有规定,否则应在所附的权利要求中限定的范围内被广泛地解释,并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者该范围和界限的等同物内的所有变化和变型。

Claims (20)

1.一种用户可佩戴的眼镜式终端,包括:
显示器;
传感器,所述传感器被配置成生成与所述终端的定位有关的数据;以及
控制器,所述控制器被配置成:
获得与在佩戴所述终端的用户的注视方向中存在的对象有关的信息,根据来自于所述传感器的数据来确定所述注视方向;以及
使所述显示器显示所述信息。
2.根据权利要求1所述的终端,其中,所述控制器进一步被配置成使属性信息存储在存储器中,所述属性信息包括获得与所述对象有关的信息的时间和位置。
3.根据权利要求2所述的终端,其中:
所述控制器进一步被配置成识别在与所述对象有关的信息中存在的文本信息;以及
所述属性信息进一步包括识别的文本信息。
4.根据权利要求2所述的终端,其中,所述属性信息进一步包括多个信息,以及响应于从所述多个信息中选择特定属性信息,所述控制器进一步被配置成:
基于选择的特定属性信息,从与所述对象有关的信息中搜寻相应的信息;或者
基于所述选择的特定属性信息来排列所述显示器上显示的信息的顺序。
5.根据权利要求1所述的终端,进一步包括相机,所述相机被配置成捕获所述对象。
6.根据权利要求1所述的终端,进一步包括位置信息单元,所述位置信息单元被配置成识别所述终端的当前位置,
其中:
所述控制器进一步被配置成基于识别的当前位置来获得位置信息;以及
获得的位置信息与所述对象存在的地点相关联。
7.根据权利要求1所述的终端,其中,所述控制器进一步被配置成:
获得与所述终端被移动所沿着的路径有关的信息;以及
响应于用户输入,使所述显示器在所述显示器上显示的路径的附近显示与所述对象有关的信息。
8.根据权利要求1所述的终端,其中:
所述传感器进一步被配置成至少感测被施加到所述终端的一部分的多个轻击、用户输入的预定姿势、或者在所述用户的面部肌肉中的肌电图变化;以及
所述控制器进一步被配置成基于通过所述传感器的感测来识别用户输入。
9.根据权利要求8所述的终端,其中,所述控制器进一步被配置成响应于识别的用户输入来发起或者终止获得与所述对象有关的信息。
10.根据权利要求9所述的终端,其中,所述控制器进一步被配置成:当获得与所述对象有关的信息被发起或者终止时,使所述显示器显示至少一个指示符。
11.根据权利要求1所述的终端,进一步包括:
位置信息单元,所述位置信息单元被配置成获得包括所述终端的当前位置的位置信息,
其中,所述控制器进一步被配置成:响应于从获得的位置信息中选择特定位置,使所述显示器显示获得的位置信息之中的与所述当前位置有关的信息和与特定位置有关的附加信息。
12.根据权利要求1所述的终端,其中,所述控制器进一步被配置成:
识别与所述对象有关的获得的信息作为包括停放车辆的位置的停车信息;以及
响应于用户输入,使所述显示器显示所述停车信息中包括的多个部分之中的停车信息的至少一部分。
13.根据权利要求12所述的终端,其中,所述控制器进一步被配置成:
至少基于所述终端的移动速度的变化或者在所述终端和所述车辆的位置之间的距离的变化来确定是否用户在所述车辆外;以及
基于是否所述用户在所述车辆外来识别所述停车信息。
14.根据权利要求12所述的终端,进一步包括:
相机,所述相机被配置成捕获停放所述车辆的位置的视觉信息,
其中,所述控制器进一步被配置成:
使捕获的视觉信息与多个预先存储的停车信息中的至少一个相匹配;以及
使所述显示器与所述多个预先存储的停车信息之中的其他预先存储的停车信息相区分地显示匹配的至少一个预先存储的停车信息。
15.根据权利要求14所述的终端,其中,所述控制器进一步被配置成至少响应于被施加到所述终端的一部分的多个轻击、由用户输入的预定姿势、或者在所述用户的面部肌肉中的肌电图变化,发起或者终止所述相机的操作。
16.根据权利要求12所述的终端,其中,所述控制器进一步被配置成:
确定与所述终端移动所沿着的路径有关的信息;以及
响应于用户输入,除了所述停车信息之外,使所述显示器显示与所述路径有关的信息。
17.根据权利要求16所述的终端,其中,所述控制器进一步被配置成使所述显示器将所述路径显示为以增强现实呈现的图形对象。
18.一种控制眼镜式终端的方法,所述眼镜式终端包括显示器和传感器,所述传感器被配置成生成与所述终端的定位有关的数据,所述方法包括:
获得与在佩戴所述终端的用户的注视方向中存在的对象有关的信息,根据来自于所述传感器的数据来确定所述注视方向;以及
显示获得的信息。
19.根据权利要求18所述的方法,其中:
所述终端进一步包括相机;
所述方法进一步包括:响应于至少包括被施加到所述终端的一部分的多个轻击或者由用户产生的预定姿势的用户输入来操作所述相机;以及
获得所述信息包括将经由所述相机捕获的图像存储为至少静态图像或者运动图像。
20.根据权利要求18所述的方法,其中,获得所述信息包括:
相对于获得的信息来执行文本识别;
基于所述文本识别的结果来生成要与预先存储的信息相比较的属性信息;
基于所述产生的属性信息来分类所述预先存储的信息;以及
存储分类的信息。
CN201510165820.0A 2014-05-12 2015-04-09 眼镜式终端及其控制方法 Active CN105892051B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0056720 2014-05-12
KR1020140056720A KR102209511B1 (ko) 2014-05-12 2014-05-12 안경형 단말기와 그 안경형 단말기의 제어 방법

Publications (2)

Publication Number Publication Date
CN105892051A true CN105892051A (zh) 2016-08-24
CN105892051B CN105892051B (zh) 2019-07-05

Family

ID=52465196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510165820.0A Active CN105892051B (zh) 2014-05-12 2015-04-09 眼镜式终端及其控制方法

Country Status (4)

Country Link
US (1) US9734402B2 (zh)
EP (1) EP2945043B1 (zh)
KR (1) KR102209511B1 (zh)
CN (1) CN105892051B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657976A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种可视范围延伸方法、装置及虚拟现实眼镜
CN106843479A (zh) * 2017-01-18 2017-06-13 北京小米移动软件有限公司 控制目标设备切换状态的方法及装置、电子设备
CN107680432A (zh) * 2017-06-20 2018-02-09 国网浙江平湖市供电公司 一种用于员工电器设备操作培训的智能设备及操作方法
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN110412777A (zh) * 2019-07-20 2019-11-05 佛山市顺德区迪康眼镜有限公司 一种可打电话的眼镜
US20220391619A1 (en) * 2021-06-03 2022-12-08 At&T Intellectual Property I, L.P. Interactive augmented reality displays

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
CN105320931B (zh) * 2014-05-26 2019-09-20 京瓷办公信息系统株式会社 物品信息提供装置和物品信息提供系统
CN106796692A (zh) * 2014-09-29 2017-05-31 惠普发展公司,有限责任合伙企业 经由可穿戴计算设备向用户提供技术支持
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2017184274A1 (en) * 2016-04-18 2017-10-26 Alpha Computing, Inc. System and method for determining and modeling user expression within a head mounted display
US10852829B2 (en) 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US10606457B2 (en) * 2016-10-11 2020-03-31 Google Llc Shake event detection system
EP3337089B1 (en) 2016-12-14 2020-11-11 Nxp B.V. Rf transceiver
US10482664B1 (en) * 2016-12-16 2019-11-19 Jpmorgan Chase Bank, N.A. Augmented and virtual reality system and method for conducting transactions
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
WO2018194320A1 (ko) * 2017-04-20 2018-10-25 한국전자통신연구원 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
JP2019016044A (ja) * 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
CN108205664B (zh) * 2018-01-09 2021-08-17 美的集团股份有限公司 一种食物识别方法及装置、存储介质、计算机设备
CN108460103B (zh) * 2018-02-05 2019-10-15 百度在线网络技术(北京)有限公司 信息获取方法和装置
KR102660973B1 (ko) * 2018-10-08 2024-04-25 한화오션 주식회사 이동용 통합 항해 정보 제공 hmd
KR20210073603A (ko) 2018-11-09 2021-06-18 베크만 컬터, 인코포레이티드 선택적 데이터 제공을 갖는 서비스 안경
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
CN113168676A (zh) 2019-04-18 2021-07-23 贝克曼库尔特有限公司 保护实验室环境中对象的数据
CN110162178A (zh) * 2019-05-22 2019-08-23 努比亚技术有限公司 说明信息的展示方法、可穿戴设备以及存储介质
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11300811B2 (en) 2019-12-18 2022-04-12 Devaraj Thiruppathi Eyeglass suspension device and method of moving eyeglasses off the nose utilizing the same
US11176751B2 (en) 2020-03-17 2021-11-16 Snap Inc. Geospatial image surfacing and selection
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
US11686940B2 (en) 2020-03-19 2023-06-27 Snap Inc. Context-based image state selection
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
WO2022076019A1 (en) 2020-10-09 2022-04-14 Google Llc Text layout interpretation using eye gaze data
EP4180919A4 (en) 2020-11-30 2024-02-28 Samsung Electronics Co., Ltd. AUGMENTED REALITY DEVICE, ELECTRONIC DEVICE INTERACTING WITH THE AUGMENTED REALITY DEVICE AND METHOD FOR CONTROLLING THEREOF
KR20220075857A (ko) * 2020-11-30 2022-06-08 삼성전자주식회사 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) * 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US20220308655A1 (en) * 2021-03-25 2022-09-29 City University Of Hong Kong Human-interface-device (hid) and a method for controlling an electronic device based on gestures, and a virtual-reality (vr) head-mounted display apparatus
CN117178245A (zh) * 2021-04-01 2023-12-05 苹果公司 凝视和头部姿态交互
KR20220140221A (ko) * 2021-04-09 2022-10-18 삼성전자주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치
EP4343516A4 (en) 2021-08-23 2024-04-24 Samsung Electronics Co., Ltd. PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
EP1637975A1 (en) * 2004-09-20 2006-03-22 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
US20090251333A1 (en) * 2005-08-30 2009-10-08 Satoru Itani Parking position search assisting apparatus, method and program
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US20120235900A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
KR20130083087A (ko) * 2011-12-28 2013-07-22 최이호 스마트 기기를 이용한 주차 위치 저장 및 전송 서비스 제공 방법
US9019129B2 (en) * 2013-02-21 2015-04-28 Apple Inc. Vehicle location in weak location signal scenarios

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
EP1637975A1 (en) * 2004-09-20 2006-03-22 Samsung Electronics Co., Ltd. Apparatus and method for inputting keys using biological signals in head mounted display information terminal
US20090251333A1 (en) * 2005-08-30 2009-10-08 Satoru Itani Parking position search assisting apparatus, method and program
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US20120235900A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657976A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种可视范围延伸方法、装置及虚拟现实眼镜
CN106657976B (zh) * 2016-11-17 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种可视范围延伸方法、装置及虚拟现实眼镜
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN106843479A (zh) * 2017-01-18 2017-06-13 北京小米移动软件有限公司 控制目标设备切换状态的方法及装置、电子设备
CN107680432A (zh) * 2017-06-20 2018-02-09 国网浙江平湖市供电公司 一种用于员工电器设备操作培训的智能设备及操作方法
CN109756727A (zh) * 2017-08-25 2019-05-14 华为技术有限公司 信息显示方法及相关设备
CN110412777A (zh) * 2019-07-20 2019-11-05 佛山市顺德区迪康眼镜有限公司 一种可打电话的眼镜
US20220391619A1 (en) * 2021-06-03 2022-12-08 At&T Intellectual Property I, L.P. Interactive augmented reality displays

Also Published As

Publication number Publication date
EP2945043A1 (en) 2015-11-18
KR20150129546A (ko) 2015-11-20
KR102209511B1 (ko) 2021-01-29
CN105892051B (zh) 2019-07-05
EP2945043B1 (en) 2019-10-23
US9734402B2 (en) 2017-08-15
US20150324645A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
CN105892051B (zh) 眼镜式终端及其控制方法
EP3040684B1 (en) Mobile terminal and control method for the mobile terminal
US10495878B2 (en) Mobile terminal and controlling method thereof
KR102344063B1 (ko) 이동 단말기
KR102224483B1 (ko) 터치 스크린을 포함하는 이동 단말기 및 그 제어 방법
US9904918B2 (en) Mobile terminal and control method therefor
KR102592649B1 (ko) 이동단말기 및 그 제어방법
US10354551B2 (en) Mobile terminal and method for controlling the same
KR101761631B1 (ko) 이동단말기 및 그 제어방법
KR102503945B1 (ko) 워치 타입의 이동 단말기 및 그 제어 방법
CN104423573A (zh) 显示装置及其操作方法
US9706343B2 (en) Glasses-type terminal, and system including glasses-type terminal and signage
CN106412222A (zh) 移动终端及其控制方法
EP3247170B1 (en) Mobile terminal
US10404857B2 (en) Mobile terminal
CN106034173A (zh) 移动终端及其控制方法
US10271035B2 (en) Glasses type terminal and system including glasses type terminal and signage
KR102369559B1 (ko) 단말기
KR102524266B1 (ko) 이동 단말기 및 그의 동작 방법
KR101638922B1 (ko) 이동단말기 및 그 제어방법
KR102423491B1 (ko) 이동 단말기 및 그의 동작 방법
KR102114650B1 (ko) 이동단말기 및 그 제어방법
KR102158697B1 (ko) 이동 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant