CN106210253A - 眼镜型终端及其控制方法 - Google Patents

眼镜型终端及其控制方法 Download PDF

Info

Publication number
CN106210253A
CN106210253A CN201610124368.8A CN201610124368A CN106210253A CN 106210253 A CN106210253 A CN 106210253A CN 201610124368 A CN201610124368 A CN 201610124368A CN 106210253 A CN106210253 A CN 106210253A
Authority
CN
China
Prior art keywords
image
gesture
drone
type terminal
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610124368.8A
Other languages
English (en)
Other versions
CN106210253B (zh
Inventor
权俏希
韩东树
林国赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106210253A publication Critical patent/CN106210253A/zh
Application granted granted Critical
Publication of CN106210253B publication Critical patent/CN106210253B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Abstract

眼镜型终端及其控制方法。提供了一种能够与无人机进行通信的眼镜型终端。所述眼镜型终端包括:通信单元,该通信单元被配置为与无人机进行通信;显示器,该显示器被配置为输出从所述无人机接收的可视信息;光学单元,该光学单元包括至少一个透镜并且被配置为在外部虚拟区域中形成所述可视信息的图像,使得所述图像仅对穿戴所述终端的用户可见;传感器,该传感器被配置为感测针对所述图像施加的用户手势;以及控制器,该控制器被配置为基于所感测到的用户手势来控制所述无人机。

Description

眼镜型终端及其控制方法
技术领域
本公开涉及能够与无人机(drone)进行通信的眼镜型终端。
背景技术
终端通常可以根据可动状态被分类为眼镜型终端(移动(便携式)终端)和固定终端。眼镜型终端还可以根据用户的携带方法被分类为手持终端和车载终端。
随着终端的功能变得更多样化,终端能够支持诸如采集图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等的更复杂的功能。通过综合地且共同地实现这些功能,可以按照多媒体播放器或装置的形式具体实现移动终端。为了支持并增加终端的功能,可以考虑终端的结构部分和/或软件部分的改进。
最近,被配置为可穿戴在人类的一部分上的可穿戴眼镜型终端一直在发展。安装在用户的头部上的眼镜型终端可以是头戴式显示器(HMD)。诸如HMD的设置在眼镜型终端中的显示器可以与除简单的图像输出功能之外的增强显示技术、N屏技术等组合,以向用户提供各种方便。
并且,最近,已积极地发展了无人飞行器(在下文中,被称为“无人机”)。无人机是不使用跑道的飞行器,并且各种功能(诸如对象的运输、图像采集和低空侦察)可以被安装在其相对较轻的小主体中。
无人机已应用于各种领域。无人机可以被远程地控制并且可以被控制为在期望部分中执行功能。
因为已积极地发展了眼镜型终端和无人机,所以也已积极地发展了使用眼镜型终端来控制无人机的方法。
发明内容
因此,详细描述的一个方面在于提供一种能够按照优化方式控制无人机的眼镜型终端及其控制方法。详细描述的另一方面在于提供一种能够通过使用从无人机发送的可视信息的虚像来控制无人机的眼镜型终端以及控制方法。详细描述的另一方面在于提供一种能够按照优化方式采集从无人机发送的可视信息以及通过眼镜型终端的相机接收的预览图像的眼镜型终端及其控制方法。
为了实现这些和其它优点并且根据本说明书的目的,如本文所具体实现和广义描述的,一种眼镜型终端包括:通信单元,该通信单元被配置为与无人机进行通信;显示器,该显示器被配置为输出从所述无人机接收的可视信息;光学单元,该光学单元包括至少一个透镜并且被配置为在外部虚拟区域中形成所述可视信息的图像,使得所述图像仅对穿戴所述终端的用户可见;传感器,该传感器被配置为感测针对所述图像施加的用户手势;以及控制器,该控制器被配置为基于所感测到的用户手势来控制所述无人机。
在本公开的示例性实施方式中,所述控制器还被配置为响应于针对所述图像施加的预设用户手势而控制所述无人机的移动或所述无人机的相机中的至少一个。
在本公开的示例性实施方式中,所述控制器还被配置为:在所述预设用户手势是第一用户手势时控制所述无人机的移动;以及在所述预设用户手势是第二用户手势时控制所述相机。
在本公开的示例性实施方式中,所述第一用户手势在抓取所述图像的手势之后施加的手势;并且,所述控制器还被配置为响应于之后施加的所述手势使所述无人机移动。
在本公开的示例性实施方式中,所述无人机根据抓取所述图像的手势的方式按照不同的方式移动。
在本公开的示例性实施方式中,所述控制器还被配置为在所述手势的方式是第一方式时移动所述无人机;并且,所述控制器还被配置为在所述手势的方式是第二方式时使所述无人机旋转。
在本公开的示例性实施方式中,当在按照第一显示方式显示所述图像的状态下施加所述第一用户手势时,按照第二显示方式显示所述图像。
在本公开的示例性实施方式中,当所述第一用户手势被释放时按照所述第二显示方式显示的所述图像被恢复为按照所述第一显示方式显示。
在本公开的示例性实施方式中,所述第二用户手势包括针对所述图像施加的向内挤压(pinch-in)手势或向外挤压(pinch-out)手势;并且,所述控制器还被配置为响应于所述向内挤压手势或所述向外挤压手势来控制所述相机执行缩小功能或放大功能。
在本公开的示例性实施方式中,所述控制器还被配置为使所述无人机在施加了所述向外挤压手势时移动以移出所述图像。
在本公开的示例性实施方式中,所述眼镜型终端还可以包括相机,并且所述控制器还被配置为使所述显示器显示经由所述相机接收的预览图像;并且所述光学单元还被配置为除了形成所述可视信息的图像之外还形成所述预览图像的图像。
在本公开的示例性实施方式中,所述预览图像的图像和所述可视信息的图像被形成为彼此间隔开。
在本公开的示例性实施方式中,当预设类型的手势被施加到所述预览图像的图像或所述可视信息的图像中的至少一个时,所述控制器还被配置为使所述预览图像的图像或所述可视信息的图像中的至少一个移动。
在本公开的示例性实施方式中,当所述预览图像的图像和所述可视信息的图像由于移动而彼此接触时,所述控制器还被配置为采集所述预览图像的图像和所述可视信息的图像。
为了实现这些和其它优点并且根据本说明书的目的,如本文所具体实现和广义描述的,一种用于控制眼镜型终端的方法,该方法包括:形成从无人机接收的可视信息的图像;以及基于针对所述图像施加的用户手势来控制所述无人机,其中,所述图像形成在外部虚拟区域中,使得所述图像仅对穿戴所述终端的用户可见;并且控制所述无人机的步骤包括响应于针对所述图像施加的预设用户手势而控制所述无人机的移动或所述无人机的相机中的至少一个。
在本公开的示例性实施方式中,当所述预设用户手势是第一用户手势时所述无人机的移动被控制;以及当所述预设用户手势是第二用户手势时所述相机被控制。
在本公开的示例性实施方式中,所述第一用户手势是在抓取所述图像的手势之后施加的手势;并且,所述控制器还被配置为响应于之后施加的所述手势使所述无人机移动。
在本公开的示例性实施方式中,所述第二用户手势包括针对所述图像施加的向内挤压手势或向外挤压手势;并且,所述控制器还被配置为响应于所述向内挤压手势或所述向外挤压手势而控制所述相机执行缩小功能或放大功能。
在本公开的示例性实施方式中,所述方法还可以包括:除了形成所述可视信息的图像之外,还形成经由所述终端的相机接收的预览图像的图像,其中,响应于施加到所述预览图像的图像或所述可视信息的图像中的至少一个的预设类型的手势来移动所述预览图像的图像或所述可视信息的图像中的至少一个。
在本公开的示例性实施方式中,所述方法还可以包括:当所述预览图像的图像和所述可视信息的图像由于移动而彼此接触时采集所述预览图像的图像和所述可视信息的图像。
本申请的适用性的进一步的范围将从下文给出的详细描述而变得更显而易见。然而,应该理解,详细描述和特定示例虽然指示本发明的优选实施方式,但是仅通过例示来给出,因为根据详细描述,在本发明的精神和范围内的各种改变和修改对于本领域技术人员而言将变得显而易见。
附图说明
附图被包括以提供对本发明的进一步理解,并且被并入本说明书并构成本说明书的一部分,附图例示了示例性实施方式,并且与本说明书一起用于说明本发明的原理。
附图中:
图1是例示了与本公开的实施方式有关的眼镜型终端的框图。
图2A是例示了根据本公开的实施方式的在一个方向上看到的眼镜型终端的视图。
图2B是例示了包括在图2A的眼镜型终端中的光学单元的概念图。
图2C是例示了形状变形透镜的概念图。
图3A是例示了根据本公开的另一实施方式的在一个方向上看到的眼镜型终端的视图。
图3B是例示了包括在图3A的眼镜型终端中的光学单元的概念图。
图4是例示了在一个方向上看到的与本发明有关的无人机的视图。
图5是例示了本发明的控制方法的流程图。
图6是例示了图5的控制方法的概念图。
图7是例示了根据本公开的实施方式的眼镜型终端和无人机的控制方法的流程图。
图8是例示了根据本公开的实施方式的用于连接眼镜型终端和无人机以用于通信的方法的概念图。
图9是例示了根据本公开的实施方式的用于基于施加到虚像的用户手势来控制无人机的方法的流程图。
图10A、图10B、图10C和图11是例示了根据本公开的实施方式的用于使用从无人机发送的可视信息的图像来控制无人机的移动的方法的概念图。
图12是例示了根据本公开的实施方式的改变可视信息的图像的显示方案的概念图。
图13A和图13B是例示了根据本公开的实施方式的用于使用从无人机发送的可视信息的图像来控制设置在无人机中的相机的方法的概念图。
图14A和图14B是例示了根据本公开的实施方式的用于改变从无人机发送的可视信息的图像的显示大小的方法的概念图。
图15A、图15B和图15C是例示了根据本公开的实施方式的用于通过使用可视信息的图像来采集从无人机发送的可视信息的方法的概念图。
图16A、图16B、图16C和图16D是例示了用于控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像(虚像)的方法的概念图。
图17A和图17B是例示了根据本公开的另一实施方式的用于控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像(虚像)的方法的概念图。
图18是例示了根据本公开的实施方式的用于检查采集的图像的方法的概念图。
图19A、图19B、图19C和图19D是例示了通过使用根据本公开的实施方式的眼镜型终端来控制无人机的方法的概念图。
图20是例示了通过使用根据本公开的实施方式的眼镜型终端来控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像的方法的流程图。
图21A、图21B图21C是例示了图20所例示的控制方法的概念图。
具体实施方式
现在将参照附图根据本文所公开的示例性实施方式详细地给出描述。为了参照附图的简要描述起见,相同或等效的组件可以被提供有相同或类似的附图标记,并且将不重复其描述。一般而言,诸如“模块”和“单元”的后缀可以被用于指代元件或组件。这种后缀在本文中的使用仅旨在方便对本说明书的描述,并且后缀本身不旨在给出任何特殊的含义或功能。在本公开中,为了简洁起见通常已省略了为相关领域的普通技术人员所公知的。附图被用于帮助容易地理解各种技术特征,并且应该理解,本文所呈现的实施方式不受附图限制。因此,本公开应该被解释为扩展到除在附图中具体地陈述的变更、等同物和替代方案之外的任何变更、等同物和替代方案。
应当理解,尽管术语第一、第二等可以在本文中用于描述各种元件,但是这些元件不应该受这些术语限制。这些术语通常仅被用于区分一个元件和另一元件。
应当理解,当元件被称为“与”另一元件“连接”时,该元件能够与另一个元件连接或者还可以存在中间元件。相比之下,当元件被称为“与”另一元件“直接连接”时,不存在中间元件。
除非单数表示表示与上下文明确不同的含义,否则单数表示可以包括复数表示。
诸如“包括”或“具有”的术语被用在本文中,并且应该理解,它们旨在指示本说明书中所公开的多个组件、功能或步骤的存在,并且还应当理解,可以同样地利用更多或更少的组件、功能或步骤。
图1是根据本发明的实施方式的眼镜型终端的框图。眼镜型终端100可以包括无线通信单元110、输入单元120、光学单元130、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190等。图1将眼镜型终端示出为具有各种组件,但是应该理解,不要求实现所例示的组件中的全部。可以另选地实现更多或更少的组件。
详细地,无线通信单元110通常包括许可通信(诸如眼镜型终端100与无线通信系统之间的无线通信、眼镜型终端100与另一眼镜型终端之间的通信、眼镜型终端100与外部服务器之间的通信以及眼镜型终端100与无人机1000(请参照图4)之间的通信)的一个或更多个模块。此外,无线通信单元110通常包括将眼镜型终端100连接至一个或更多个网络的一个或更多个模块。
无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
详细地,在无线通信单元110中,广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可以包括卫星频道、地面频道或二者。在一些实施方式中,可以利用两个或更多个广播接收模块111,以方便同时接收两个或更多个广播频道,或者以支持在广播频道之间切换。
移动通信模块112能够向一个或更多个网络实体发送无线信号和/或从一个或更多个网络实体接收无线信号。网络实体的典型示例包括基站、外部眼镜型终端、服务器等。这些网络实体形成移动通信网络的一部分,所述移动通信网络是根据用于移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强语音数据优化或仅增强语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)LTE-A(高级的长期演进)等)来构造的。
经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号,或者用于支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。这个模块可以在内部或在外部耦接至眼镜型终端100。无线互联网模块113可以根据无线互联网技术经由通信网络来发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可以根据这些无线互联网技术以及其它互联网技术中的一种或更多种来发送/接收数据。
在一些实施方式中,当无线互联网接入根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等作为移动通信网络的一部分被实现时,无线互联网模块113执行这种无线互联网接入。因此,互联网模块113可以与移动通信模块112协作,或者充当移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的适合的技术包括BLUETOOTHTM、射频识识(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114一般而言经由无线局域网来支持眼镜型终端100与无线通信系统之间的无线通信、眼镜型终端100与移动终端100之间的通信、眼镜型终端100与固定终端之间的通信、眼镜型终端100与存在有移动终端(或外部服务器)的网络之间的通信或者眼镜型终端100与外部装置(例如,无人机1000)之间的通信。无线局域网的一个示例是无线个人局域网。
本公开所描述的移动终端可以包括能够与眼镜型终端100交换数据的手机、智能电话、笔记本计算机(或膝上型计算机)、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、石板PC、平板PC、超极本、可穿戴装置(例如,诸如智能手表的手表型终端、诸如智能眼镜的眼镜型终端、头戴式显示器(HMD)等)。
然而,对于本领域技术人员而言将明显的是,除了针对移动性的特定配置之外,本公开还可以适用于诸如数字TV、台式计算机和数字标牌的固定终端。
短距离通信模块114可以感测或者识别可穿戴装置,并且许可该可穿戴装置与眼镜型终端100之间的通信。另外,当所感测的可穿戴装置是被认证以与眼镜型终端100进行通信的装置时,例如,控制器180可经由短距离通信模块114将眼镜型终端100中处理的数据发送到可穿戴装置。因此,可穿戴装置的用户可以在可穿戴装置上使用在眼镜型终端100中处理的数据。例如,当在眼镜型终端100中接收到呼叫时,用户可以使用可穿戴装置来回电话。并且,当在眼镜型终端100中接收到消息时,用户能够使用可穿戴装置来检查所接收的消息。
位置信息模块115通常被配置为检测、计算、得到或者以其它方式标识眼镜型终端的位置。作为示例,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或二者。如果需要,位置信息模块115可以另选地或附加地与无线通信单元110的任何其它模块一起工作,以获得与眼镜型终端的位置有关的数据。作为一个示例,当眼镜型终端使用GPS模块时,可以使用从GPS卫星发送的信号来获取眼镜型终端的位置。作为另一示例,当眼镜型终端使用Wi-Fi模块时,能够基于与无线接入点(AP)有关的信息来获取眼镜型终端的位置,所述AP向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。必要时,位置信息模块115可以执行无线通信单元110的不同模块的任何一个功能,以便基本上或附加地获得关于眼镜型终端的位置的数据。位置信息模块115被用于获得眼镜型终端的位置(或当前位置),这不限于直接计算或者获得眼镜型终端的位置的模块。
输入单元120包括用于获得图像或视频的相机121、麦克风122(其是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120来获得,并且可以由控制器180根据装置参数、用户命令及其组合进行分析和处理。
感测单元140通常使用被配置为感测眼镜型终端的内部信息、眼镜型终端的周围环境、用户信息等的一个或更多个传感器来实现。例如,在图1A中,感测单元140被示出为具有接近传感器141和光照传感器142。如果需要,感测单元140可以另选地或附加地包括其它类型的传感器或装置,诸如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器、气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物计量传感器等)等。眼镜型终端100可以被配置为利用从感测单元140获得的信息,具体地,从感测单元140的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出各种类型的信息,例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
显示单元151可以具有带触摸传感器的中间层结构或集成结构以便方便触摸屏。触摸屏可以在眼镜型终端100与用户之间提供输出接口,并且充当在眼镜型终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与能够耦接至眼镜型终端100的各种类型的外部装置的接口。例如,接口单元160可以包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等中的任一个。在一些情况下,眼镜型终端100可以响应于外部装置连接至接口单元160而执行与连接的外部装置关联的配套控制功能。
存储器170通常被实现为存储用于支持眼镜型终端100的各种功能或特征的数据。例如,存储器170可以被配置为存储在眼镜型终端100中执行的应用程序、用于眼镜型终端100的操作的数据或指令等。这些应用程序中的一些可以经由无线通信从外部服务器下载。其它应用程序可以在制造或出厂时被安装在眼镜型终端100内,针对眼镜型终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等),通常是这种情况。常见的是应用程序被存储在存储器170中,被安装在眼镜型终端100中,并且由控制器180执行以执行眼镜型终端100的操作(或功能)。
除与应用程序关联的操作之外,控制器180通常还用于控制眼镜型终端100的总体操作。控制器180可以通过对由图1A所描绘的各种组件输入或输出的信号、数据、信息等进行处理、或者激活存储在存储器170中的应用程序来提供或者处理适合于用户的信息或功能。作为一个示例,控制器180根据已被存储在存储器170中的应用程序的执行来控制图1A至图1C所例示的一些或全部组件。
电源单元190能够被配置为接收外部电力或者提供内部电力,以便供应对包括在眼镜型终端100中的元件和组件进行操作所需的适当电力。电源单元190可以包括电池,并且该电池可以被配置为嵌入在终端主体中,或者被配置为可从终端主体拆卸。
并且,根据本发明的实施方式的眼镜型终端100可以包括形成可视信息的虚像的光学单元130,并且可以基于光学单元130在各种位置中显示具有各种大小的虚像。
这些组件的至少一部分可以协作地操作,以实现根据在下文中所描述的各种实施方式的眼镜型终端的操作、控制或控制方法。并且,可以在眼镜型终端中通过驱动存储在存储器170中的至少一个应用程序来实现眼镜型终端的操作、控制或控制方法。
图2A是例示了根据本公开的实施方式的在一个方向上看到的眼镜型终端的视图。图2B是例示了包括在图2A的眼镜型终端中的光学单元的概念图。图2C是例示了形状变形透镜的概念图。
图2A所例示的眼镜型终端100可以是头戴式显示器(HMD)型终端。眼镜型终端100可以包括框架单元101或框架单元102、输入单元123、感测单元140、显示单元151、光学单元130、音频输出单元152、控制单元180、无线通信单元110、接口单元160、存储器170和电源单元190。本公开所描述的头戴式显示器可以具有比以上所提及的那些组件多或少的组件。
详细地,眼镜型终端100可以可穿戴在用户的头部上,为此眼镜型终端100可以包括框架单元(壳体、外壳等)。框架单元可以由柔性材料形成以方便眼镜型终端100的穿戴。在此附图中,框架单元包括由不同材料形成的第一框架101和第二框架102。框架单元可以被称为主体或主体。
框架单元由头部支承并且提供安装有各种组件的空间。如所例示的,在框架单元中,可以安装诸如控制单元180、感测单元140、用户输入单元123、音频输出单元152和光学单元130的电子组件。
并且,可以在框架单元中可拆卸地安装覆盖左眼和右眼中的至少一个的显示单元151。显示单元151可以被形成为防止环境光不能够借此通过,使得可以实现虚拟现实(VR),或者可以被形成为使得环境光能够借此通过,使得可以实现增强现实(AR)。
并且,显示单元151可以是外部移动终端的显示单元。也就是说,框架单元可以被形成为使得外部移动终端能够可拆卸地附接至其,并且可以电连接至外部移动终端。在外部移动终端的显示单元被安装为面对用户的左眼和右眼的情况下,显示单元151可以是外部移动终端的显示单元。
控制单元180被配置为控制被设置在眼镜型终端100中的各种电子组件。可以将控制单元180理解为与以上所描述的控制单元180对应的组件。在此附图中,例示了控制单元180被安装在头部部分一侧的框架单元中。然而,控制单元180的位置不限于此。
相机121被布置为与左眼和右眼中的至少一个相邻以采集前侧的图像。因为相机121被定位为与眼睛相邻,所以相机121可以获得用户观看的场景的图像。
在该附图中,例示了相机121被设置在控制单元180中,但是本发明不限于此。还可以将相机单元121安装在框架单元中,并且可以设置多个相机以获得立体图像。
眼镜型终端100可以包括被操纵以接收控制命令的用户输入单元123a和123b。用户输入单元123a和123b可以采用任何方案,只要它使得用户能够按照触觉方式(诸如触摸、推动等)执行操作即可。在该附图中,例示了触摸以及触摸输入型用户输入单元123a和123b被设置在框架单元和控制单元180中。
设置在眼镜型终端100中的感测单元140(或检测单元140)可以包括用于感测眼镜型终端内的信息、眼镜型终端的状态、关于眼镜型终端的周围环境的信息以及用户信息(用户的姿势)中的至少一种的一个或更多个传感器。
并且,眼镜型终端100可以包括接收声音并且将所接收的声音处理为电音频数据的麦克风(未示出)以及输出声音的音频输出单元152。音频输出单元152可以被配置为根据一般声音输出方案或骨传导方案来传递声音。在根据骨传导方案实现音频输出单元152的情况下,当用户穿戴眼镜型终端100时,音频输出单元152可以紧紧地附接至用户的头部并且使颅骨振动以传递声音。
接口单元可以用作与连接至眼镜型终端100的各种类型的外部装置的通路。并且,存储器存储支持眼镜型终端100的各种功能的数据。
除与应用程序有关的操作之外,控制单元180还控制眼镜型终端100的一般操作。也就是说,控制单元180可以通过对经由以上所描述的组件输入或输出的信号、数据或信息进行处理或者驱动存储在存储器中的应用程序来提供或者处理适合于用户的信息或功能。
并且,控制单元180可以控制以上参照图1描述的组件的至少一部分,以便驱动存储在存储器中的应用程序。另外,为了驱动应用程序,控制单元180可以组合包括在眼镜型终端100中的组件中的至少两个或更多个以操作该眼镜型终端100。
在控制单元180的控制下,电源单元可以接收外部电力或内部电力并且将该电力供应给包括在眼镜型终端100中的组件。电源单元可以包括电池,并且该电池可以是内部电池或可更换的电池。
显示单元151可以被安装在用户的头部上并且向用户的眼睛直接示出图像。当用户穿戴头戴式显示器100时,显示单元151可以被布置为对应于左眼和右眼中的至少一个以向用户的眼睛直接提供图像。在该附图中,例示了显示单元151被定位为覆盖左眼和右眼二者,使得可以朝向用户的左眼和右眼二者输出图像。
并且,由显示单元151输出的画面信息(或可视信息)可以向用户的眼睛投影画面信息(或由显示单元151输出的可视信息)作为通过包括多个透镜的光学单元130所形成的虚像400。
参照图2B,光学单元130包括第一透镜131和第二透镜132以及变焦透镜单元133。第一透镜131和第二透镜132是其焦距可以变形的形状变形透镜。
参照图2C,第一透镜131可以包括被设置在一对基板上的两种类型的第一液层131a和第二液层131b。第一液层131a和第二液层131b具有不同的折射率并且不混合。第一液层131a可以是具有绝缘特性和非极性的油,而第二液层131b被形成为导电水溶液。该对基板可以包括可以施加有电(或电力)的电极以及涂在该电极上的绝缘体。
当具有相反极性的电极被安装在与第二液层131b和第一液层131a相邻的基板上并且该对基板的电极连接时,第一透镜131可以具有诸如电容器的结构。当对第一透镜131施加电压时,第二液层131b的表面张力改变以改变两个液层131a和131b之间的曲率。因此,改变了第一透镜131的焦距。如该附图所例示的,控制单元180可以对第一透镜施加电压以调整焦距。
可以将输出可视信息300的显示单元151布置在第一透镜131的焦点f与第一透镜131之间。因此,可以将图像400形成为可视信息300的放大虚像。
这里,与可视信息300的放大虚像对应的图像400(或虚像400)可以形成在主体外部的虚拟区域中。详细地,图像400可以形成在显示单元151上,或者可以形成在显示单元151外部的虚拟区域中(例如,在空中)。
这里,图像400可能仅对穿戴眼镜型终端100的用户可见。详细地,图像400可能不对旁观者用户(即,除穿戴眼镜型终端100的用户以外的人)可见。
关于对穿戴眼镜型终端的用户可见的可视信息的虚像400的位置和大小的数据可以根据光学单元130的结构(例如,第一透镜131的折射率、焦距等)、从显示单元151输出的可视信息的位置以及可视信息的大小中的至少一个被存储在根据本发明的实施方式的眼镜型终端100中。
并且,根据本发明的实施方式的眼镜型终端100可以控制光学单元130的结构、从显示单元151输出的可视信息的位置以及可视信息的大小中的至少一个,使得可以基于用户请求改变虚像400的位置和大小。
例如,控制单元180可以通过调整被设置在光学单元130中的第一透镜131的焦距来控制图像400的大小和图像400的显示位置。基于焦距,可以放大图像400以变得远离(或者变得离开)用户的眼睛(或透镜)或者可以缩小图像400以变得更靠近用户的眼睛(或透镜)。
然而,本发明不限于此,并且在维持图像400的大小的同时,控制单元180可以执行控制,使得图像400的大小被放大以变得更近或者图像400的大小被缩小以变远,或者控制单元180可以执行控制,使得图像400变远或更近。为此,光学单元130还可以包括用于移动第一透镜131和第二透镜132中的至少一个的驱动器。
第一透镜131可以被控制为具有随着具有凸透镜结构而改变的折射率,并且第二透镜132可以具有随着具有凹透镜结构而改变的折射率。第二透镜132被布置在用户的眼睛与第一透镜131之间。第二透镜132调整形成有图像400的位置。因此,可以通过第一透镜131和第二透镜132来调整图像400的大小以及形成有图像400的位置。
因此,基于用户的眼睛的视觉(或视力)状态,图像400可以形成在不同的位置中(或者输出到不同的位置)。因此,可以甚至在没有单独的视觉校正装置的情况下通过第一透镜131和第二透镜132来给用户提供清晰的图像400。
因为图像400的输出位置是通过第二透镜132来调整的,所以可以在光学单元130与用户的眼睛之间的距离是固定的状态下实现小型光学单元130。
光学单元130还可以包括被控制为放大和缩小可视信息300以放大或者缩小图像400来输出该图像的变焦透镜单元133。变焦透镜单元133包括多个透镜以及沿着光轴移动所述多个透镜的驱动器。变焦透镜单元133可以基于用户的控制命令来放大或者缩小图像400的一部分或图像400的全体。
控制单元180可以独立地控制第一透镜131和第二透镜132以及变焦透镜单元133。用户可以输入用于独立地控制第一透镜131和第二透镜132以及变焦透镜单元133以任意地改变图像的大小以及输出有图像的位置的独立控制信号。
光学单元130的第二透镜132和变焦透镜单元133在实现眼镜型终端时是不必要的,进而,可以根据眼镜型终端的设计选择性地包括或排除光学单元130的第二透镜132和变焦透镜单元133。
图3A是例示了根据本公开的另一实施方式的在一个方向上看到的眼镜型终端的视图,并且图3B是例示了包括在图3A的眼镜型终端中的光学单元的概念图。
参照图3A,眼镜型终端100被配置为被穿戴在人类的头部部分上,并且为此,眼镜型终端100可以包括框架单元(壳体、外壳等)。框架单元可以由方便穿戴的塑性材料形成。在该附图中,例示了框架单元包括由不同材料形成的第一框架101和第二框架102。一般而言,眼镜型终端100可以具有与图1、图2A、图2B和图2C的眼镜型终端100的那些特性相同或类似的特性。
框架单元由头部部分支承,并且提供安装有各种组件的空间。如所例示的,控制模块180或音频输出模块252可以被安装在框架中。并且,棱镜151’可以被安装和布置为与左眼和右眼中的至少一个相邻。棱镜151’是可拆卸的。
控制模块180控制被设置在眼镜型终端100中的各种电子组件。可以将控制模块180理解为与以上所描述的控制单元180对应的组件。在该附图中,例示了控制模块180被安装在一侧的头部部分上的框架中。然而,控制模块180的位置不限于此。
相机121被布置为与左眼和右眼中的至少一个相邻以采集前图像。因为相机121被定位为与眼睛相邻,所以相机121可以获得由用户观看的场景的图像。
眼镜型终端100可以包括被操纵以接收控制命令的输入单元123a和123b。用户输入单元123a和123b可以采用任何方案,只要用户按照诸如触摸或推动的触觉方式操作它即可。在该附图中,例示了分别基于推动输入方案和触摸输入方案的用户输入单元123a和用户输入单元123b被设置在框架单元和控制模块180中。
在下文中,将主要描述基于触摸输入方案的用户输入单元123b并且将为此使用附图标记123。
并且,眼镜型终端100可以包括接收声音并且将所接收的声音处理为电语音数据的麦克风(未示出)以及输出声音的音频输出模块152。
通过显示单元输出的可视信息300作为通过光学单元130和棱镜151’的虚像400可能是可见的,所述虚像400与通过光学单元130和棱镜151’的一般视场交叠。使用显示器的这些特性,眼镜型终端100可以通过将虚像400叠加到现实的图像(或场景、背景、用户的一般视场)上以显示单个图像来提供增强现实(AR)。可以将光学单元130嵌入在框架101中。也就是说,光学单元130未被定位在用户的视场中。
在图3B中,除了棱镜151’之外,通过光学单元130来输出可视信息300的虚像400’的结构与以上参照图2B所描述的结构基本上相同。光学单元130包括第一透镜131和第二透镜132以及变焦透镜单元133。由光学单元130形成的虚像400’可以被棱镜151’反射并提供给用户的眼睛。
然而,眼镜型终端的光学单元和显示单元的结构不限于此。控制单元180可以基于用户的控制命令来形成具有各种大小的虚像400,并且控制光学单元130以便在各种位置中输出虚像400。
显示单元可以在光学单元130的第一透镜131的焦点f与第一透镜131之间输出可视信息300。因此,可视信息300的虚像400’可以被放大并且形成在与参照第一透镜131的焦点f输出可视信息300的位置相对的位置中。
虚像400’可以通过光学单元130和棱镜151’对用户可见。在这种情况下,在用户的位置中,虚像400’在定位在用户的眼睛所朝向的前侧的虚拟区域450(空间或虚拟空间)中是可见的。这可能意味着可视信息300的虚像400形成在主体外部的虚拟区域450(例如,定位在用户的眼睛所朝向(或者用户凝视)的前侧的虚拟区域)中。也就是说,光学单元130可以在眼镜型终端的主体外部的虚拟区域450(例如,定位在用户的眼睛所朝向的前侧的虚拟区域450(或空间))中形成从显示单元输出的可视信息300的图像400(虚像)。
根据本发明的实施方式的眼镜型终端100可以存储与在用户的眼睛所朝向的前侧的虚拟区域450中可见的虚像400的显示位置(距离)和显示大小有关的数据。
并且,感测单元140可以感测在眼镜型终端100中或者在离眼镜型终端100的预设距离内的空间(或眼镜型终端100的附近)中做出的用户手势。例如,基于与虚像400的显示位置(距离)和显示大小有关的数据,感测单元140可以感测施加到虚像400(在下文中,被称为“图像400”)的用户手势(运动)。这里,用户手势可以是指由用户的身体的一部分(例如,手指、手、手臂、腿等)或被摄体(对象、杆等)做出的运动。
感测单元140可以使用各种传感器来感测在存在于离眼镜型终端100的预设距离内的空间中做出的用户手势。
例如,感测单元140可以通过使用接近传感器141、光照传感器142、磁传感器、运动传感器、RGB传感器、红外(IR)传感器、超声传感器、光学传感器(例如,请参照相机121)、环境传感器(例如,放射性传感器、热传感器等)中的至少一个或者通过组合这些传感器中的两个或更多个来感测在眼镜型终端100附近施加的用户手势。
控制单元180可以通过使用感测单元140来提取(确定)施加有用户手势的位置(坐标、用户手势(具体地,用户的手运动)与眼镜型终端的一点之间的距离,或施加有用户手势的方向)、运动(或动作)等。
并且,控制单元180可以通过感测单元140来感测施加到图像400的用户手势。
当感测到施加到图像400的用户手势时,这应该被理解为意指感测到在图像400上(即,在形成有图像400的显示位置中)做出的用户手势、感测到在用户的眼睛(或眼镜型终端100的一点(例如,棱镜151’))与图像400之间的空间460中做出的用户手势以及感测到在图像400周围的空间(例如,在离图像400的预设距离内的空间)中做出的用户手势。
并且,当在图像400中感测到用户手势时,这可以意味着用户手势被施加到图像400。
例如,基于与显示大小以及形成有图像400的显示位置(距离、方向、坐标等)有关的数据,控制单元180可以确定(定义)眼镜型终端100与图像400之间的空间460。并且,尽管未示出,但是基于与显示大小以及形成有图像400的显示位置有关的数据,控制单元180可以确定图像400周围的空间(例如,在离图像400的预设距离内的空间)。
并且,当通过感测单元140感测到用户手势时,控制单元180可以确定所感测到的用户手势、运动等的位置(坐标、距离和方向)。
当确定了用户手势的已确定位置是在空间460(或相邻空间)内时,控制单元180可以确定已对图像400施加了用户手势。
并且,当确定了用户手势的位置是在空间460(或相邻空间)内时并且当满足预设条件时,控制单元180可以确定已对图像400施加了用户手势。
例如,预设条件可以包括形成用户手势的被摄体在被定位在空间460内(悬停)的状态下不移动达预定时间段的条件、被摄体在空间460内做出特定运动的条件等。空间460可以包括图像400形成在虚拟空间中的空间以及存在于预设距离内的空间等。
控制单元180可以基于在图像400上感测到的用户手势来执行各种功能。例如,在图像400是从无人机发送的可视信息300的图像400(虚像400)的情况下,控制单元180可以基于施加到图像400的各种类型的用户手势按照各种方式控制已发送了可视信息300的无人机。
在下文中,将参照附图详细地描述与本发明有关的无人机。图4是例示了在一个方向上看到的与本发明有关的无人机的视图。
无人机1000(或无人飞行器)可以包括以上参照图1所描述的组件中的至少一个。
例如,无人机1000可以包括无线通信单元。无人机1000的无线通信单元可以与设置在眼镜型终端100中的无线通信单元110交换数据。
并且,无人机1000可以包括上壳体1001、下壳体1002、容纳单元1004、机翼部分1210、相机1121和控制单元。
上壳体1001和下壳体1002提供了安装有用于实现无人机1000的各种组件的空间。以上参照图1所描述的组件(例如,诸如控制单元、感测单元、用户输入单元、音频输出单元和麦克风的电子组件)中的至少一个可以被安装在上壳体1001和下壳体1002中。上壳体1001和下壳体1002可以被称为无人机1000的主体部分。
容纳单元1004形成在上壳体1001与下壳体1002之间,并且机翼部分1210被容纳在容纳单元1004中。机翼部分1210可以包括至少一个机翼单元。在该附图中,机翼部分1210被例示为包括四个机翼单元,但是机翼单元的数量不限于此。
机翼部分1210可以包括螺旋桨1211以及包括该螺旋桨1211的主体1212。主体1212可以包括连接至主体部分的连接部1212a以及被固定使得螺旋桨1211可旋转的固定部1212b中的至少一个。并且,机翼部分1210包括旋转地连接包括在主体1212中的连接部1212a的运动轴(未示出)。
主体1212的区域形成曲面,以便在容纳模式下与上壳体1001和下壳体1002的外表面连续地形成在一起。当容纳模式被切换到飞行模式时,运动轴旋转地移动连接部1212a,使得机翼单元可以向主体部分的外部突出并且固定部1212b被布置在外面。在飞行模式下,当螺旋桨1211旋转时,主体部分飞行。
基于来自眼镜型终端100的请求,无人机1000的控制单元可以控制机翼部分1210。详细地,当从眼镜型终端100接收到用于请求一个方向上的移动的信号时,无人机1000的控制单元可以控制机翼部分1210,使得无人机1000可以基于信号在一个方向上移动。
并且,与本发明有关的无人机1000可以包括相机1121。可以设置至少一个相机1121。
控制单元可以通过无线通信单元向外部装置发送通过相机1121接收的预览图像。例如,外部装置可以是与本发明有关的眼镜型终端100。
这里,预览图像是指通过相机接收并且随着时间的经过而连续地输出的图像。
响应于来自眼镜型终端100的请求,无人机1000的控制单元可以通过无线通信单元向眼镜型终端100发送通过相机1121接收的预览图像。因此,可以在眼镜型终端100上显示通过无人机的相机1121接收的预览图像。
在下文中,从无人机1000发送的预览图像将被称为可视信息300。也就是说,在眼镜型终端100中,从无人机1000发送的可视信息300(预览图像)的虚像400可以形成在虚拟区域450中。
并且,无人机的控制单元可以基于来自眼镜型终端100的请求来控制相机1121。例如,当从眼镜型终端100接收到用于执行相机的放大功能的请求时,无人机1000的控制单元可以控制相机1121执行放大功能,并且向眼镜型终端100发送通过放大功能改变的预览图像(可视信息)。
这里,显然,无人机1000可以由能够控制无人机1000的遥控器、移动终端或固定终端来控制,以及基于来自眼镜型终端100的请求被控制。
此外,眼镜型终端100可以按照各种方式控制以上参照图4所描述的无人机1000。在下文中,将参照附图详细地描述用于使用以上参照图1所描述的眼镜型终端100来控制无人机1000的方法。
图5是例示了本发明的控制方法的流程图,并且图6是例示了图5的控制方法的概念图。
首先,与本发明有关的眼镜型终端100可以基于用户请求连接至无人机1000以用于通信。可以按照各种方式做出用户请求。例如,可以通过执行与用于控制安装在眼镜型终端100中的无人机1000的功能关联的应用来做出用户请求。
例如,当安装在眼镜型终端100中的应用被执行时,眼镜型终端100的控制单元180可以通过无线通信单元110输出用于请求通信连接的信号。
在无人机1000存在于离眼镜型终端100的预设距离内的空间中的情况下,无人机1000可以接收输出信号并且连接至眼镜型终端100以便使用所接收的信号进行通信。
另外,与本发明有关的眼镜型终端100可以按照各种方式连接至无人机1000以用于通信,并且将参照图7和图8描述其细节。
与眼镜型终端100连接的无人机1000可以控制机翼部分1210开始飞行。并且,无人机1000可以基于连接开启相机1121。
此后,无人机1000可以向眼镜型终端100发送通过相机1121接收的预览图像,即,可视信息。
在与本发明有关的眼镜型终端100中,在步骤S510中形成从无人机1000发送的可视信息的图像。详细地,当从无人机1000接收到可视信息300(请参照图2B)时,眼镜型终端100的控制单元180可以控制显示单元151输出可视信息300。可以在包括在眼镜型终端100的光学单元130中的第一透镜131的焦点f与第一透镜131之间输出可视信息300。
光学单元130可以在眼镜型终端100的主体外部的虚拟区域中形成可视信息300的图像400(虚像)。如上所述,在主体外部的虚拟区域可以是被定位在用户的眼睛所朝向的前侧的空间(或虚拟区域或虚拟空间)。
当可视信息300被认为是实像时,可视信息300的图像400可以是可视信息300的放大虚像。也就是说,与实像相比,与虚像对应的图像400可以是放大图像。这是因为,与实像对应的可视信息300被定位在第一透镜131与第一透镜131的焦点f之间。
这里,当可视信息300改变了时可以改变图像400。也就是说,可以根据与实像对应的虚拟信息300的显示内容中的改变来依赖地改变与虚像对应的图像400的显示内容。
可视信息300可以被输出以被包括在用户的视场中,或者可以被输出使得它未被包括在用户的视场中。
如图3A和图3B所例示的,当光学单元130未被定位在用户的视场中时,可能不将可视信息300包括在用户的视场中。可以通过棱镜151’将可视信息300的图像400形成为被定位在眼镜型终端100的主体外部的虚拟区域中,即,在由用户观看的空间中(或者在包括在用户的视场中的空间中)。
可视信息300可以包括能够在眼镜型终端100中输出的任何类型的画面信息。可视信息300的图像400可以是与可视信息300相同的画面信息,可以是排除可视信息300的至少一部分的画面信息,或者可以是包括被添加到可视信息300的附加信息的画面信息。
例如,可视信息300的图像400可以包括与通过设置在无人机1000中的相机1121接收的可视信息300(例如,预览图像)对应的画面信息、图像、文本、图标、图形对象和通知信息。
此后,在步骤S520中在与本发明有关的眼镜型终端100中基于在图像400中感测到的用户手势来控制无人机1000。
在眼镜型终端100中,可以将与在用户位置中观看可视信息300的图像400的点(显示位置)与眼镜型终端100之间的距离以及可视信息300的图像400的显示大小有关的数据存储在存储器170中。
感测单元140可以基于所述数据来感测施加到可视信息300的图像400的用户手势。例如,感测单元140可以通过使用接近传感器141、磁传感器、运动传感器、红外(IR)传感器、超声传感器、光学传感器(例如,相机121)来感测施加到可视信息的图像400的用户手势。
如上所述,用户手势是指由用户身体的一部分(例如,手指、手、手臂或腿)或被摄体(对象或棒(或杆))做出的运动。
并且,当感测到施加到图像400的用户手势时,这应该被理解为意指感测到在图像400上(即,在形成有图像400的显示位置(点)中)做出的用户手势、感测到在用户的眼睛与图像400之间的空间460(请参照图3B)中做出的用户手势以及感测到在图像400周围的空间(例如,在离图像400预设距离内的空间)中做出的用户手势。
也就是说,控制单元180可以通过感测单元140来感测针对形成在主体外部的虚拟区域中的从无人机1000发送的可视信息300的图像400的用户手势。
基于形成在主体外部的虚拟区域中的图像400中感测到的用户手势,控制单元180可以控制无人机1000。详细地,当预设用户手势被施加到形成在虚拟区域中的图像400时,控制单元180可以控制无人机1000的移动以及设置在无人机1000中的相机1121中的至少一个。
例如,当第一用户手势被施加到图像400时,控制单元180可以控制无人机1000的移动,而当与第一用户手势不同的第二用户手势被施加到图像400时,控制单元180可以控制设置在无人机1000中的相机1121。
例如,如图6所例示的,控制单元180可以感测用户的被施加到形成在眼镜型终端100的主体外部的虚拟区域中的可视信息的图像400的手势。基于施加到图像400的各种类型的手势,控制单元180可以控制无线通信单元110来控制无人机1000。
例如,如图6所例示的,当在抓取形成在主体外部的虚拟区域中的可视信息的图像400的手势之后(紧跟该手势之后或继该手势之后)感测到在一个方向上移动的手势时,控制单元180可以控制已发送了可视信息的无人机1000在一个方向上移动。
这里,无人机1000的控制包括控制无线通信单元110向无人机1000发送控制信号。
通过配置,在本发明中,可以通过使用相对于形成在主体外部的虚拟区域中的图像400的用户手势来控制无人机1000,从而提供能够更方便地并凭直觉来控制无人机1000的UX/UI,而不必移动用户的穿戴眼镜型终端100的头部或者无需使用单独的遥控器。
在下文中,将描述使用由根据本发明的各种实施方式的眼镜型终端100形成的可视信息的图像来控制无人机的方法。
并且,在下文中,在参照附图进行描述时,在至少两个图像由单个附图(图N)中例示为2乘2的情况下,左上部所例示的图像将被称为“第一绘图”,右上部所例示的图像将被称为“第二绘图”,右下部所例示的图像将被称为“第三绘图”,并且左下部所例示的图像将被称为“第四附图”。
并且,在在单个附图(图N)中在垂直方向上(从上侧到下侧)按行例示了至少两个图像的情况下,从存在于最上部中的一个图像顺序地开始的图像将被称为“第一绘图”、“第二绘图”、...。
并且,在在单个附图(图N)中在水平方向上(从左向右)按行例示了至少两个图像的情况下,从存在于最左部中的一个图像顺序地开始的图像将被称为“第一绘图”、“第二绘图”、...。
图7是例示了根据本公开的实施方式的眼镜型终端和无人机的控制方法的流程图,并且图8是例示了根据本公开的实施方式的用于连接眼镜型终端和无人机以用于通信的方法的概念图。
参照图7,在本发明中,当在眼镜型终端100中接收到预设类型的用户输入时,在步骤S710中眼镜型终端100和无人机1000连接以用于通信。
例如,如图8的第一绘图所例示的,与本发明有关的无人机1000可能不在ON状态下飞行。除非接收到控制信号,否则无人机1000可以处于不飞行状态。
处于不飞行状态的无人机1000可以从眼镜型终端100接收信号。详细地,在眼镜型终端100处于ON状态的状态下,当由眼镜型终端100接收到预设类型的用户输入时(或者当眼镜型终端100满足预设条件时),控制单元180可以向无人机1000发送信号。
这里,所述信号可以是用于连接眼镜型终端100和无人机1000以用于通信的信号。
例如,基于用户请求,控制单元180可以激活设置在眼镜型终端100中的相机121。用户请求可以包括各种类型的输入,并且例如,用户请求可以是施加到眼镜型终端100的用户输入单元123的预设触摸(例如,长触摸)。
控制单元180可以对通过经激活的相机121接收的预览图像进行分析并且确定与无人机1000对应的图像是否可以被包括在预览图像中。
当与无人机1000对应的图像被包括在预览图像中时,控制单元180可以通过无线通信单元110向无人机1000发送用于连接至无人机1000的信号。
在另一示例中,在施加到用户输入单元123的触摸被维持的状态下,当与无人机1000对应的图像存在于预览图像中时,控制单元180可以向无人机1000发送用于连接至无人机1000的信号。
在另一示例中,尽管未示出,但是当相机121被激活时,控制单元180可以控制显示单元151输出通过相机121接收的预览图像并且控制光学单元130在主体外部的区域中形成预览图像的虚像。在形成了预览图像的虚像的状态下,当感测到用于选择包括在虚像中的无人机1000的图像的手势时,控制单元180可以向无人机1000发送用于连接至无人机1000的信号。
此后,在本发明中,基于通信连接,在步骤S720中从无人机1000接收的可视信息的图像形成在眼镜型终端100的主体外部的虚拟区域中。
例如,当无人机1000从眼镜型终端100接收到用于通信连接的信号时,眼镜型终端100和无人机1000可以连接以用于通信。
并且,当无人机1000从眼镜型终端100接收到信号时(即,当无人机1000连接至眼镜型终端100以用于通信时),如图8的第二绘图所例示的,无人机1000可以开始飞行。详细地,当无人机1000基于信号连接至眼镜型终端100时,无人机1000的控制单元可以控制无人机1000的机翼部分1210到达预设高度。
这里,可以根据用户设定确定预设高度,并且例如,预设高度可以等于已发送了信号的眼镜型终端离地的高度。
当无人机1000开始飞行时(或者当从眼镜型终端100接收到用于通信连接的信号时或者当被连接以用于通信时),无人机1000的控制单元可以将设置在无人机1000中的相机1121从停用状态切换到激活状态。可以按照各种方式激活相机1121。例如,当无人机1000连接至眼镜型终端100时(即,当无人机1000从眼镜型终端100接收到信号时),当无人机1000开始飞行时,以及当从眼镜型终端100接收到用于控制相机的激活的控制信号时,可以激活相机1121。
当相机1121被激活时,无人机1000的控制单元180可以通过无人机1000的无线通信单元向眼镜型终端100发送通过经激活的相机1121接收的预览图像。这里,从无人机1000发送的预览图像可以对应于由眼镜型终端100的显示单元151输出的可视信息300。
当可视信息300(预览图像)是从无人机1000发送的时,眼镜型终端100的控制单元180可以在眼镜型终端100的主体外部的虚拟区域中形成与该可视信息对应的图像400,即,可视信息300的图像400。可视信息300的图像400可以形成在被定位在用户前面的空间(主体外部的虚拟区域)中,并且可以包括与通过无人机1000的相机1121接收的预览图像对应的画面信息。
然而,用于连接眼镜型终端100和无人机1000以用于通信的方法不限于以上参照图5和图8所描述的示例。
此后,在本发明中,在步骤S730基于施加到所形成的图像400的用户手势来控制无人机1000的移动以及设置在无人机1000中的相机中的至少一个。
与本发明有关的眼镜型终端100可以基于施加到可视信息300的图像400的用户手势来控制无人机1000。例如,当在可视信息300的图像400中感测到特定用户手势时,眼镜型终端100可以向无人机1000发送与该特定用户手势关联的控制信号。当接收到与特定用户手势关联的控制信号时,无人机1000可以执行与该控制信号对应的操作。
如上所述,当第一用户手势被施加到形成在虚拟区域中的图像400时,与本发明有关的眼镜型终端100的控制单元180可以控制无人机1000的移动,而当与第一用户手势不同的第二用户手势被施加到图像400时,控制单元180可以控制设置在无人机1000中的相机1121。
在下文中,将参照附图详细地描述用于基于第一用户手势和第二用户手势来控制无人机1000的移动以及设置在无人机1000中的相机1121中的至少一个的方法。
图9是例示了根据本公开的实施方式的用于基于施加到虚像的用户手势来控制无人机的方法的流程图。
可以将图9所例示的流程图理解为具体地例示图7的步骤S730的流程图。
参照图9,在图像形成在眼镜型终端100的主体外部的虚拟区域中的状态下,当在所述图像中感测到用户手势时,在步骤S732中确定了用户手势是第一用户手势还是第二用户手势。
详细地,控制单元180可以通过感测单元140来确定在图像中感测到的用户手势是第一用户手势还是第二用户手势。
第一用户手势和第二用户手势可以是由在图像中感测到的对象(例如,用户的手)形成的预设手势。
并且,第一用户手势可以是与用于控制无人机1000的移动的功能关联的手势,而第二用户手势可以是与用于控制设置在无人机1000中的相机1121的功能关联的手势。
在步骤S732中感测到的用户手势是第一用户手势的情况下,控制单元180可以控制无人机1000的移动。这里,在步骤S733中控制单元180可以确定是否已按照第一方式或者按照第二方式施加了第一用户手势。
此后,在已按照第一方式施加了第一用户手势的情况下,在步骤S734中控制单元180可以控制无人机1000移动。并且,在已按照与第一方式不同的第二方式施加了第一用户手势的情况下,在步骤S735中控制单元180可以控制无人机1000旋转。
此外,在步骤S732中感测到的用户手势是第二用户手势的情况下,在步骤S736中控制单元180可以控制设置在无人机中的相机。这里,第二用户手势可以是指按照与第一用户手势的方式不同的方式施加的手势。
此外当用户手势被施加到图像时,在步骤S737中控制单元180可以使图像改变(变形)。图像的改变(变形)可以包括形成有图像的显示位置(距离、坐标、方向)以及显示方案的改变。
详细地,当用户手势(第一用户手势)被施加到形成在眼镜型终端外部的虚拟区域中的图像时,控制单元180可以改变形成有图像的显示位置以及图像的显示方案中的至少一个。
此后,当图像中感测到的用户手势被释放时,在步骤S738中控制单元180可以将经改变的图像恢复到用户手势被施加之前的状态。
步骤S732至S738在时间序列方面不受限制。
在下文中,将参照附图详细地描述根据本发明的实施方式的用于控制无人机的移动的方法、用于控制无人机的方法以及用于改变图像的方法。
图10A、图10B、图10C和图11是例示了根据本公开的实施方式的用于使用从无人机发送的可视信息的图像来控制无人机的移动的方法的概念图,并且图12是例示了根据本公开的实施方式的改变可视信息的图像的显示方案的概念图。
与本发明有关的眼镜型终端100可以通过使用形成在眼镜型终端100的主体外部的虚拟区域中的从无人机1000接收的可视信息的图像400来控制无人机1000的移动。
当在可视信息的图像400中感测到预设类型的用户手势时,控制单元180可以基于该用户手势通过无线通信单元110向无人机1000发送控制信号。
例如,当第一用户手势被施加到图像400时,控制单元180可以发送用于控制无人机1000的移动的控制信号,而当与第一用户手势不同的第二用户手势被施加到图像400时,控制单元180可以发送用于控制设置在无人机1000中的相机1121的控制信号。
这里,例如,第一用户手势可以是在抓取图像400的手势之后连续地施加的手势。
控制单元180可以感测抓取形成在眼镜型终端100的主体外部的虚拟区域中的从无人机1000发送的可视信息的图像400的手势。详细地,基于形成有可视信息的图像400的位置,控制单元180可以感测施加到可视信息的图像400的用户手势。并且,在用户手势对应于抓取可视信息的图像400的运动的情况下,控制单元180可以确定该运动是抓取图像400的手势。
此后,基于在抓取图像400的手势之后施加的手势,控制单元180可以向无人机1000发送用于移动无人机1000的控制信号。在抓取图像400的手势之后施加的手势是指在施加了抓取图像400的运动之后维持抓取运动的状态下附加地产生的运动。
这里,当感测到抓取图像400的手势时,控制单元180可以输出指示已经感测到抓取图像400的手势的通知信息。该通知信息可以是产生声音或振动或者在图像400上输出指示符。
此外,控制单元180可以根据抓取图像的手势的类型来控制无人机1000按照不同的方式移动。详细地,当手势是在按照第一方式抓取图像的手势之后施加的时,控制单元180可以移动无人机1000。另外,当手势是在按照与第一方式不同的第二方式抓取图像的手势之后施加的时,控制单元180可以使无人机1000旋转。
例如,按照第一方式抓取图像的手势可以是利用双手抓取图像400的用户手势,而按照第二方式抓取图像的手势可以是利用一只手抓取图像400的用户手势。
可以基于抓取图像400的手势以及在抓取图像400的手势之后施加的手势中的至少一种来改变图像400的显示位置、显示形式、显示模式和显示大小中的至少一个。
首先,将描述基于在按照第一方式抓取图像的手势之后施加的手势来移动无人机1000的方法。
参照图10A,当在一个方向810a上移动的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000在与一个方向810a对应的方向810a’上移动。
这里,可以相对于设置在无人机1000中的相机1121定义无人机1000的方向。例如,无人机1000的前方向可以是相机1121所朝向的侧面的方向,并且可以针对前侧定义无人机1000的左侧、右侧、后侧、上侧和下侧。
例如,当在向上方向810a或向下方向810c上移动图像400的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000在与向上方向对应的方向810a’上或者在与向下方向对应的方向1000c’上移动。
在另一示例中,当在向前方向810e上(例如,在远离用户的方向上)或者在向后方向810f上(例如,在朝向用户的方向上)移动图像400的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000在设置有无人机1000的相机1121的侧所朝向的方向810e’上或者在和设置有无人机1000的相机1121的侧相反的侧所朝向的方向810f’上移动。
在另一示例中,当在向左方向810d上或在向右方向810b上移动图像400的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000相对于设置有无人机1000的相机1121的侧在左侧所朝向的方向810d上或者在右侧所朝向的方向810b’上移动。
无人机1000移动的速度可以与在按照第一方式抓取图像400的手势之后移动图像400的手势的距离成比例。详细地,当考虑到按照第一方式抓取图像400的手势在一个方向上将图像400移动了第一距离的手势被感测到时,控制单元180可以控制无人机1000在一个方向上以与第一距离对应的第一速度移动。并且,当在按照第一方式抓取图像400的手势之后在一个方向上将图像400移动了与第一距离不同的第二距离的手势被感测到时,控制单元180可以控制无人机1000在一个方向上以与第二距离对应的第二速度移动。
此外,当在任何两个方向之间移动图像400的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000基于所述任何两个方向移动。
例如,当在前侧所朝向的方向810e以及右侧所朝向的方向810b上移动图像400的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000在与设置有相机的无人机1000的前侧所朝向的方向对应的方向810e’与相对于前侧的右侧所朝向的方向810b’之间移动。无人机1000被移动的方向可以对应于在前侧所朝向的方向810e上并且在右侧所朝向的方向810b上移动的手势的向量的方向,并且无人机1000被移动的速度可以与向量的距离(大小、值)成比例。
此外,当相对于任何一个轴使图像400旋转的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以将无人机1000移动到与旋转方向对应的路径。
例如,如图10B的第一绘图所例示的,当相对于图像400的左侧在远离用户的方向上移动图像400的左部的手势820是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000在设置有相机的无人机1000的前侧所朝向的方向与右侧所朝向的方向之间移动。
这里,可以移动无人机1000以具有特定曲率半径。也就是说,当使图像400旋转的手势是在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以控制无人机1000移动以具有特定曲率半径,而不是在直线上移动。
这里,曲率半径可能与根据用户手势使图像400旋转的程度成反比。
此外,与本发明有关的眼镜型终端100还可以输出用于通过用户手势来指导图像400的移动的指导信息。详细地,控制单元180可以控制显示单元151输出指导信息并且控制光学单元130形成指导信息的虚像850。
指导信息的虚像850可以与从无人机1000发送的可视信息的图像400一起形成。详细地,可视信息的图像400可以形成在眼镜型终端100的主体外部的虚拟区域中,使得它被包括在指导信息的虚像850中。指导信息的虚像850可以是背景图像(或背景界面)。即使用户手势被施加到虚像850,也可能不改变指导信息的虚像850的显示位置、显示大小和显示形式中的至少一个。
被形成为具有预设图案的图形对象852可以被包括在指导信息的虚像850中。例如,图形对象852可以被布置为彼此间隔开预设距离。图形对象852的形状不限于图10C所例示的形状并且可以包括网格形状等。
可以通过用户手势在指导信息的可视图像850内移动从无人机1000发送的可视信息的图像400。也就是说,通过用户手势来移动可视信息的图像400的范围可能限于在指导信息的虚像850内。
如图10C的第一绘图所例示的,当在一个方向860a上(例如,在向右方向上)移动图像400的手势是在按照第一方式抓取可视信息的图像400的手势之后施加的时,控制单元180可以根据移动图像400的手势来移动图像400。并且,基于在按照第一方式抓取可视信息的图像400的手势之后在一个方向860a上移动可视信息的图像400的手势,控制单元180可以控制无人机1000在与一个方向对应的方向860a’上(例如,在针对设置有相机的无人机1000的前侧的右侧所朝向的方向上)移动。
此外,如图10C的第二绘图所例示的,基于在按照第一方式抓取可视信息的图像400的手势之后在一个方向860a上(例如,在向右方向上)移动可视信息的图像400的手势,可视信息的图像400可以与指导信息的虚像850的至少一部分接触。在这种状态下,当在一个方向860a上移动可视信息的图像400的手势被连续地施加时,控制单元180可以限制可视信息的图像400的移动。并且,当在一个方向860a上移动可视信息的图像400的手势是在上述状态下连续地施加的时,控制单元180可以在与一个方向860a相反的方向860b上移动包括在指导信息的虚像850中的图形对象852。图形对象852移动的速度可以与连续地施加的在一个方向860a上移动图像400的手势的程度成比例。
这将通知在正在按照第一方式抓取可视信息的图像400的手势之后施加在一个方向850a上移动可视信息的图像400的手势。
这里,无人机1000在与一个方向850a对应的方向860a’上移动,并且在这种情况下,无人机1000可以以与对应于可视信息的图像400已被移动了的距离的绝对值速度以及图形对象852被移动的绝对值速度成比例的速度移动。
如上所述,根据本发明,基于在按照第一方式抓取图像400的手势(例如,利用双手抓取图像的手势)之后施加的手势,可以移动无人机1000。然而,在上文中,作为示例已经描述了第一方式是利用双手做出的手势并且基于在抓取图像的手势之后施加的手势移动无人机1000的情况,但是本发明不限于此。在另一示例中,第一方式可以是由一只手做出的手势。并且,可以基于在按照各种方式做出的手势之后施加的手势以及在抓取图像的手势之后施加的手势来做出无人机1000的移动。
在各种方式下的手势可以是用户的手被维持在图像400的一点(或一区域或一部分)中达预设时间段或更长时间段的手势。也就是说,当在用户的手被维持在一点中达预设时间段的手势之后在一个方向上移动图像400的手势被感测到时,控制单元180可以控制无人机1000在一个方向上移动。
并且,当仅施加了按照第一方式(用户的双手)抓取图像400的手势时,与本发明有关的眼镜型终端100可以移动无人机1000。这里,基于用户利用他的或她的双手抓取图像400的位置,控制单元180可以在不同的方向上移动无人机1000。
例如,当施加了抓取图像400的左侧和右侧的手势时,控制单元180可以在设置有相机的无人机1000的前侧所朝向的方向上移动无人机1000,而当施加了抓取图像400的上侧和下侧的手势时,控制单元180可以在与前侧相反的后侧所朝向的方向上移动无人机1000。
此外,与本发明有关的眼镜型终端100可以基于在按照与第一方式不同的第二方式抓取图像400的手势之后施加的手势来使无人机1000旋转。这里,使无人机1000旋转是指在无人机1000的位置中相对于无人机的中心轴使无人机1000旋转。
例如,第二方式可以是由用户的一只手而不是用户的双手执行的方式。详细地,按照第二方式抓取图像400的手势可以是指利用用户的一只手抓取图像400的手势。
当感测到按照第二方式抓取图像400的手势时,控制单元180可以输出指示已经感测到抓取图像400的手势的通知信息。该通知信息可以是声音或振动的产生或者向图像400输出指示符。
这里,如以上参照图10A至图10C所描述的,可以不同地形成当感测到按照第一方式抓取图像400的手势时输出的通知信息以及当感测到按照第二方式抓取图像400的手势时输出的通知信息。例如,在当感测到按照第一方式抓取图像400的手势时显示第一通知信息的情况下,当感测到按照第二方式抓取图像400的手势时,可以显示与第一通知信息不同的第二通知信息。
此后,基于在按照第二方式抓取图像400的手势之后施加的手势,控制单元180可以使无人机1000旋转。
例如,如图11的第一绘图所例示的,当在按照第二方式抓取图像400(例如,用户利用一只手抓取图像400)的手势之后感测到在一个方向910上使图像400旋转的手势时,控制单元180可以控制无人机1000相对于无人机1000的中心轴在与一个方向910对应的方向910’上旋转。
例如,当在朝向用户的方向上拉伸图像400的右侧的手势是在抓取图像400的右侧的手势之后施加的时,控制单元180可以控制无人机1000相对于无人机1000的中心轴在向右方向上旋转。
此外,以及基于在按照第二方式抓取图像400的手势之后施加的手势来使无人机1000旋转,与本发明有关的眼镜型终端100还可以基于按照第二方式抓取图像400的手势来使无人机1000旋转。这里,无人机1000旋转的方向可以基于施加有按照第二方式抓取图像400的手势的位置而变化。
例如,当施加了按照第二方式抓取图像400的右侧(用户利用一只手抓取图像400的右侧)的手势时,控制单元180可以控制无人机1000相对于无人机1000的中心轴在向右方向上旋转。
并且,当施加了按照第二方式抓取图像400的左侧的手势时,控制单元180可以控制无人机1000相对于无人机1000的中心轴在向左向上旋转。
此外,当以上参照图10A、图10B、图10C和图11所描述的第一用户手势(按照第一方式或第二方式抓取图像的手势或者在抓取图像的手势之后施加的手势)被释放时,控制单元180可以控制无人机1000不移动。也就是说,当抓取图像400的手势被释放时,控制单元180可以控制无人机1000维持在当前位置(无人机1000在手势被释放的时间点被定位在的点)中飞行。
此外,在按照第一显示方式显示(形成)图像400的状态下,当施加了第一用户手势时,眼镜型终端100可以响应于所施加的手势而按照与第一显示方式不同的第二显示方式显示图像400。
这里,显示方式应该被理解为包括形成有图像400的显示位置、图像400的显示形式以及图像400的显示大小的概念。
例如,在可视信息的图像400如图12的第一绘图所例示的那样按照第一显示方式(A)形成在眼镜型终端100的主体外部的虚拟区域中的状态下,当在朝向用户的方向上移动图像400的手势是如图12的第二绘图所例示的那样在按照第一方式抓取图像400的手势之后施加的时,控制单元180可以将可视信息的图像400从第一显示方式改变为第二显示方式(B)。例如,第二显示方式可以包括在更靠近用户的位置中显示按照第一显示方式(A)形成的图像400并且改变图像400的大小。
并且,基于在朝向用户的方向上移动图像400的手势,可以在和无人机1000的前侧相反的无人机1000的后侧所朝向的方向上移动无人机1000。
此后,如图12的第三绘图所例示的,当抓取图像400的手势被释放时,控制单元180可以将按照第二显示方式(B)显示的图像400恢复到第一显示方式(A)。这里,第一显示方式(A)可以是在抓取图像的手势被施加之前显示图像的方式,即,缺省显示方式。
并且,无人机1000可以维持在无人机1000在抓取图像400的手势被释放的时间点处被定位在的点处飞行。
通过配置,在本发明中,可以提供能够基于施加到形成在眼镜型终端的主体外部的区域中的可视信息的图像的用户手势(例如,第一用户手势)来控制无人机1000的移动的优化的UI/UX。
在下文中,将参照附图详细地描述用于基于被施加为与第一用户手势不同的第二用户手势来控制设置在无人机中的相机的方法。
图13A和图13B是例示了根据本公开的实施方式的用于使用从无人机发送的可视信息的图像来控制设置在无人机中的相机的方法的概念图,并且图14A和图14B是例示了根据本公开的实施方式的用于改变从无人机发送的可视信息的图像的显示尺寸的方法的概念图。
与本发明有关的眼镜型终端100可以基于施加到形成在眼镜型终端100的主体外部的虚拟区域中的可视信息的图像400的预置类型的手势来发送用于控制设置在无人机1000中的相机1121的控制信号。
这里,预置类型的手势可以是与以上参照图10A、图10B、图10C、图11和图12所描述的第一用户手势不同的第二用户手势。这里,第二用户手势可以是施加到图像400的向内挤压手势和向外挤压手势中的至少一种。
向内挤压手势是指在彼此朝向的方向上移动用户的被定位在两个不同点中的双手(或两根手指)中的至少一个的手势。
向外挤压手势是指在彼此远离的方向上移动用户的被定位在两个不同点中的双手(或两根手指)中的至少一个的手势。
当施加了向内挤压手势和向外挤压手势中的任一种时,控制单元180可以控制设置在无人机1000中的相机1121执行缩小功能和放大功能中的任一种。
例如,当如图13A的第一绘图所例示的那样对图像400施加向内挤压手势1100a时,控制单元180可以如图13A的第二绘图所例示的那样控制设置在无人机1000中的相机1121(或无人机1000)执行缩小功能。
当设置在无人机中的相机1121执行缩小功能时,通过相机1121接收的预览图像改变了。因此,与从无人机1000发送的预览图像对应的可视信息也改变了。并且,可视信息的图像400根据可视信息的改变而改变。
在另一示例中,当如图13B的第一绘图所例示的那样对图像400施加向外挤压手势1100b时,控制单元180可以如图13B的第二绘图所例示的那样控制设置在无人机1000中的相机1121执行放大功能(或者控制无人机1000执行缩小功能)。
此外,在如图13B的第二绘图所例示的那样施加向外挤压手势以移出图像400的情况下,控制单元180可以如图13B的第三绘图所例示的那样在设置有相机1121的无人机1000的前侧所朝向的方向上移动无人机1000。
例如,在用户的施加向外挤压手势的双手被施加到图像400上的两个不同点之后,当用户的双手中的至少一只在彼此远离的方向上移动并且随后施加移出图像400的手势时,控制单元180可以在设置有相机1121的无人机1000的前侧所朝向的方向上移动无人机1000。这里,无人机1000可以在向外挤压手势之后在用户的双手被维持在图像400外部的区域中的同时移动。
此外,当施加了向内挤压手势或向外挤压手势时,控制单元180可以基于各种条件来移动无人机1000。
例如,在无人机1000的相机1121被放大到最大的状态下,当施加了向外挤压手势时,即使向外挤压手势未移出图像,控制单元180也可以在设置有相机1121的无人机1000的前侧所朝向的方向上移动无人机1000。
在另一示例中,在无人机1000的相机1121被缩小到最大的状态下,当施加了向内挤压手势时,控制单元180可以在和设置有相机1121的无人机1000的前侧相反的无人机1000的后侧所朝向的方向上移动无人机1000。
施加到图像400的第二用户手势(例如,向内挤压手势或向外挤压手势)被释放,控制单元180可以控制无人机1000以维持在无人机1000在第二用户手势被释放的时间点处被定位在的点处飞行。
这里,当用户手势被释放时,这可能意味着用户的施加用户手势的手已被移出眼镜型终端100的感测单元140的感测区域。例如,在用于施加用户手势的用户的存在于眼镜型终端100的相机的视角中的手移出相机的视角的情况下,控制单元180可以确定用户手势已被释放。
此外,可以按各种方式形成向内挤压手势和向外挤压手势。例如,向内挤压手势和向外挤压手势可以包括使用户的双手维持在两个不同点中达基准时间段以上并且随后在彼此朝向的方向上或者在彼此远离的方向上移动双手中的至少一只手的手势。另外,向内挤压手势和向外挤压手势可以包括利用双手抓取图像400并且随后在彼此朝向的方向上或者在彼此远离的方向上移动双手中的至少一只手的手势。
通过此配置,在本发明中,可以使用与通过无人机1000的相机1121接收的预览图像对应的可视信息的图像来控制无人机1000的相机1121。因此,用户可以凭直觉更方便地在观看由无人机1000采集的图像的同时控制无人机1000的相机1121。
此外,与本发明有关的眼镜型终端100可以基于施加到从无人机1000发送的可视信息的图像400的预设类型的手势来改变图像400的显示大小或者改变图像400。
预设类型的手势可以是在利用双手抓取图像400的手势之后移动双手中的至少一只手的手势。例如,如图14A所例示的,当在彼此远离的方向上移动双手的手势是在利用双手抓取图像400的手势之后施加的时,控制单元180可以放大(增加)图像400的显示大小。
在另一示例中,尽管未示出,但是当在彼此朝向的方向上移动双手的手势是在利用双手抓取图像400的手势之后施加的时,控制单元180可以减小图像400的显示大小。
此外,基于在利用双手的抓取图像400的手势之后施加的移动双手中的至少一只手的手势,控制单元180可以改变图像400。
例如,如图14B所例示的,在利用双手抓取图像400的手势之后,当在双手中的一只手是固定的状态下感测到在朝向一只手的方向上移动另一只手的手势时,控制单元180可以基于另一只手的手势来改变图像400。这里,图像400的改变可以是裁切图像400的功能。
在另一示例中,尽管未示出,但是在利用双手抓取图像400的手势之后,当在双手中的一只手是固定的状态下感测到在远离一只手的方向上移动另一只手的手势时,控制单元180可以拉远无人机1000的相机1121或者可以控制无人机1000在和设置有相机1121的无人机的前侧相反的后侧所朝向的方向上移动。
在下文中,将参照附图详细地描述根据本发明的实施方式的使用从无人机发送的可视信息的图像来采集可视信息(或可视信息的图像)的方法。
图15A、图15B和图15C是例示了根据本公开的实施方式的用于通过使用可视信息的图像来采集从无人机发送的可视信息的方法的概念图。
与本发明有关的眼镜型终端100可以按照各种方式执行采集功能。采集功能是指将通过相机接收的预览图像采集为静止图像或视频的功能。在下文中,作为示例将描述采集功能是将预览图像采集为静止图像的功能的情况。
与本发明有关的眼镜型终端100可以基于施加到可视信息的图像400的预设类型的手势来采集图像400或可视信息。这里,图像400的采集可以与采集与图像400的实像对应的可视信息300相同或类似。在下文中,出于描述的目的,将描述的是图像400被采集。
与采集功能关联的预设类型的手势可以是性质不同的。
例如,如图15A的第一绘图所例示的,在从无人机1000接收的可视信息的图像400(通过无人机1000的相机接收的预览图像)形成在眼镜型终端100的主体外部的虚拟区域中的状态下,控制单元180可以感测到用户的手在图像400上是打开的1300a。
此后如图15A的第二绘图所例示的,当感测到闭上用户的处于打开状态的手的手势1300b时,控制单元180可以采集可视信息的图像400。
在另一示例中,当在可视信息的图像400中感测到手的预设形状时,控制单元180可以采集可视信息的图像400。
例如,手的预设形状是形成为用户的任何一只手的拇指和食指的形状并且另一只手的拇指和食指在图像400中或者在图像400周围成直角。另外,当感测到手的各种形状时,控制单元180可以采集可视信息的图像400。可以将所采集的图像存储在眼镜型终端100的存储器170中。
此外,与本发明有关的眼镜型终端100可以基于与施加到可视信息的图像400的全景摄影功能关联的用户手势来执行全景摄影。
全景摄影功能是指采集由相机接收的预览图像以及与预览图像不同的图像作为连续的单个图像(具有拉长的视场)的功能。为了执行全景摄影,具有相机的终端(例如,眼镜型终端或无人机)需要在一个方向上移动或者旋转。
与全景摄影功能关联的用户手势可以包括各种类型的手势。例如,如图15C的第一绘图和第二绘图所例示的,与全景摄影功能关联的用户手势可以是在利用用户的双手抓取图像400的手势之后在一个方向上移动双手中的任一只手的手势。
如图15C的第一绘图所例示的,在施加了利用双手抓取从无人机1000接收的可视信息的图像400的手势之后,当在一个方向上移动双手当中的任一只手(例如,右手)的手势是在所述手势之后施加的时,控制单元180可以执行全景摄影功能。并且,基于在利用双手抓取图像400的手势之后在一个方向上移动双手中的任一只手的手势,控制单元180可以在与所述一个方向对应的方向上移动无人机1000。
当在一个方向上移动双手中的任一只手的手势是在利用双手抓取图像400的手势之后施加的时,控制单元180可以根据在一个方向上移动任一只手的手势来移动图像400。并且,当基于手势执行全景摄影功能时,控制单元180可以在眼镜型终端100的主体外部的虚拟区域中形成指导全景摄影状态的图像1340。
虽然正在利用双手抓取图像400的手势之后施加在一个方向上移动双手中的任一只手的手势,但是控制单元180在无人机1000正在与所述一个方向对应的方向上移动的同时接收从无人机1000发送的可视信息。此后,控制单元180连续地连接从移动中的无人机1000发送的可视信息以产生单个图像。
此后,当利用双手做出的手势被释放时,控制单元180可以终止全景摄影功能。并且,当利用双手做出的手势被释放时,控制单元180可以形成直到利用双手做出的手势被释放为止产生的单个图像作为全景采集图像。所形成的全景采集图像可以是图15C的第四绘图所例示的图像,并且可以被存储在眼镜型终端100的存储器170中。
通过这种配置,在本发明中,能够更方便地提供用于采集通过无人机的相机接收的预览图像的用户界面。
在下文中,将参照附图详细地描述用于在与本发明有关的眼镜型终端中控制与通过设置在眼镜型终端100中的相机121接收的预览图像以及通过设置在无人机1000中的相机1121接收的预览图像对应的可视信息的图像的方法。
图16A、图16B、图16C和图16D是例示了用于控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像(虚像)的方法的概念图。
图17A和图17B是例示了根据本公开的另一实施方式的用于控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像(虚像)的方法的概念图。
控制单元180可以控制显示单元151输出通过设置在眼镜型终端100中的相机121接收的预览图像。并且,控制单元180可以控制光学单元130在眼镜型终端的主体外部的虚拟区域中形成预览图像的图像(虚像)。
这里,控制单元180可以控制显示单元151和光学单元130在眼镜型终端的主体外部的虚拟区域中一起形成从无人机1000接收的可视信息的图像以及预览图像的图像(虚像)。
例如,如图16A所例示的,当从无人机1000接收到与通过设置在无人机1000中的相机1121接收的预览图像对应的可视信息时,控制单元180可以在眼镜型终端100的主体外部的虚拟区域中形成可视信息的图像400a。
并且,如图16A所例示的,当基于用户请求激活了设置在眼镜型终端100中的相机121时,控制单元180可以通过相机121来接收预览图像并且在眼镜型终端100的主体外部的虚拟区域中形成所接收的预览图像的图像400b。
这里,可视信息的图像400a和预览图像的图像400b可以一起形成在眼镜型终端100的主体外部的虚拟区域中,并且可以基于用户请求而形成。
可视信息的图像400a和预览图像的图像400b可以被形成为彼此间隔开预设距离d。
也就是说,可视信息的图像400a可以对应于通过无人机1000的相机1121接收的图像,并且预览图像的图像400b可以对应于通过眼镜型终端100的相机121接收的图像。
当对图像400a和图像400b施加预设类型的手势时,控制单元180可以改变这些图像中的至少一个的显示位置或者可以移动这些图像中的至少一个。详细地,基于施加到可视信息的图像400a和预览图像的图像400b中的至少一个的预设类型的手势,控制单元180可以移动这些图像中的至少一个。
例如,预设类型的手势可以是在抓取这些图像中的至少一个的手势之后施加的手势。如图16B的第一绘图所例示的,当在一个方向上移动可视信息的图像400a和预览图像的图像400b当中的可视信息的图像400a的手势是在抓取可视信息的图像400a的手势之后施加的时,控制单元180可以在一个方向上移动可视信息的图像400a。当施加到可视信息的图像400a的预设类型的手势被释放时,如图16B的第二绘图所例示的,控制单元180可以在与释放了预设类型的手势的点对应的点中定位(显示或形成)可视信息的图像400a。
这里,当可视信息的图像400a和预览图像的图像400b根据移动而接触时,控制单元180可以采集可视信息的图像400a和预览图像的图像400b。
这里,当可视信息的图像400a和预览图像的图像400b根据移动而接触时,控制单元180可以将彼此接触的可视信息的图像400a和预览图像的图像400b采集为单个图像。
例如,如图16C的第一绘图所例示的,在可视信息的图像400a和预览图像的图像400b一起形成的状态下,当对可视信息的图像400a施加预设类型的手势(例如,在抓取可视信息的图像400a的手势之后在一个方向上移动可视信息的图像400a的手势)时,控制单元180可以移动可视信息的图像400a。
此后,如图16C的第二绘图所例示的,当可视信息的图像400a和预览图像的图像400b根据移动彼此接触时,控制单元180可以将可视信息的图像400a和预览图像的图像400b采集为如图16C的第四绘图所例示的单个图像1400。
在执行了采集之后,当预设类型的手势被释放时,控制单元180可以将已通过预设类型的手势移动了的图像(例如,可视信息的图像400a)恢复到可视信息的图像400a在施加了预设类型的手势之前被定位在的点处,如图16C的第三绘图所例示的。
此外,当可视信息的图像400a与预览图像的图像400b彼此接触时,控制单元180可以采集可视信息的图像400a和预览图像的图像400b中的至少一个。
此外,即使可视信息的图像400a和预览图像的图像400b通过预设类型的手势而彼此接触,控制单元180也可以提供控制以在预设条件满足时执行采集。
用于执行采集的预设条件例如可以是可视信息的图像400a与预览图像的图像400b彼此接触的一部分1410的连续性(或一致性程度)等于或大于预设阈值的条件。
例如,如图16D的第一绘图所例示的,当可视信息的图像400a和预览图像的图像400b彼此接触的部分1410不连续(或者部分1410的连续性低于预设阈值)时,即使可视信息的图像400a与预览图像的图像400b彼此接触,控制单元180也不执行采集。
这里,例如,控制单元180可以输出指示接触部分1410不连续的通知信息。在另一示例中,控制单元180可以控制发送可视信息的无人机1000、无人机1000的相机1121以及接收预览图像的眼镜型终端100的相机121中的至少任一个以改变可视信息和预览图像中的至少一个,使得接触部分1410的连续性等于或大于预设阈值。
如图16D的第二绘图所例示的,在可视信息的图像400a和预览图像的图像400b彼此接触的情况下(或者在部分1410的连续性等于或大于预设阈值的情况下),控制单元180可以基于可视信息的图像400a与预览图像的图像400b之间的接触来将可视信息的图像400a和预览图像的图像400b采集为单个图像1400。
类似地,当可视信息的图像400a和预览图像的图像400b彼此接触的部分的连续性等于或大于预设阈值时,控制单元180可以单独地采集可视信息的图像400a和预览图像的图像400b中的至少一个。
通过此配置,本公开的示例性实施方式可以提供能够通过使用通过眼镜型终端100的相机121接收的预览图像按照各种方式执行采集以及采集从无人机1000接收的可视信息的图像的UI/UX。
此外,即使激活了眼镜型终端100的相机121,也通过相机121接收预览图像,并且从无人机1000发送与通过无人机1000的相机1121接收的预览图像对应的可视信息,与本公开有关的眼镜型终端100也可以仅形成与可视信息和预览图像中的任一个对应的图像。
如图17A的第一绘图所例示的,即使当眼镜型终端100的相机121处于激活状态时,控制单元180也可以在眼镜型终端100的主体外部的虚拟区域中仅形成从无人机1000接收的可视信息的图像400a。
此后,控制单元180可以按照各种方式将可视信息的图像400a切换为通过眼镜型终端100的相机121接收的预览图像的图像400b。
例如,如图17A的第二绘图所例示的,感测单元140可以感测到穿戴眼镜型终端100的用户眨他的或她的眼睛。如图17A的第三绘图所例示的,控制单元180可以基于用户的眨眼将可视信息的图像400a切换为预览图像的图像400b。
这里,当用户眨他的或她的眼睛时,这可以意味着用户睁开、闭上并且随后再次睁开眼睛。
详细地,当用户眨左眼和右眼中的任一只时,控制单元180可以将可视信息的图像400a切换为预览图像的图像400b,或者可以将预览图像的图像400b切换成可视信息的图像400a。并且,当用户眨左眼和右眼中的任一只时,控制单元180可以执行控制以在眼镜型终端100的主体外部的虚拟区域中一起形成可视信息的图像400a和预览图像的图像400b(虚像)。
然而,可视信息的图像400a和预览图像的图像400b的切换可以基于各种方案来执行,而不是限于用户眨他的或她的眼睛的情况。例如,当对可视信息的图像400a施加拖曳手势、轻击手势或扫掠手势时,控制单元180可以将可视信息的图像400a切换成预览图像的图像400b。还可以按照相同的方式执行从预览图像的图像400b到可视信息的图像400a的切换。
拖曳手势可以是从形成在虚拟区域中的图像的第一点开始、在一个方向上连续地移动并从与第一点不同的第二点起被释放的手势。
轻击手势可以是在预设时间段内做出的拖曳手势。也就是说,轻击手势可以是以等于或大于预设速度的速度施加的拖曳手势。
扫掠手势可以是在水平方向上或者在垂直方向上施加的拖曳手势。
此外,基于用户的眨眼,控制单元180可以采集可视信息的图像400a和预览图像的图像400b中的至少一个。
例如,参照图17B,当用户的左眼1500a眨眼时,控制单元180可以采集可视信息的图像400a,而当用户的右眼1500b眨眼时,控制单元180可以采集预览图像的图像400b。
并且,当用户眨动双眼时,控制单元180可以一起采集可视信息的图像400a和预览图像的图像400b。
此外,眼镜型终端100可以按照各种方式输出采集的图像。在下文中,将参照附图描述用于输出采集的图像的方法。
图18是例示根据本公开的实施方式的用于检查采集的图像的方法的概念图。
当对形成在眼镜型终端100的主体外部的虚拟区域中的图像施加预设类型的手势时,与本公开有关的眼镜型终端100可以在虚拟区域中形成允许检查采集的图像的画面信息的图像。
预设类型的手势可以是施加到可视信息的图像400a和预览图像的图像400b中的至少一个的拖曳手势、轻击手势和扫掠手势中的至少一种。
例如,当对可视信息的图像400a和预览图像的图像400b二者施加轻击手势时,在如图18的第一绘图所例示的眼镜型终端100的主体外部的虚拟区域中,控制单元180可以将可视信息的图像400a和预览图像的图像400b切换为如图18的第二绘图所例示的允许检查采集的图像的画面信息的图像(虚像)1600。
允许检查所采集的图像的画面信息的图像(虚像)1600可以包括采集的图像(或所采集的图像的缩略图)、采集的天气信息,并且所采集的图像是否是从无人机1000发送的可视信息的图像的采集的图像或者所采集的图像是否是通过眼镜型终端100的相机121接收的预览图像的采集的图像(虚像)。并且,画面信息的图像1600可以包括根据日期分类的采集的图像、无人机1000的每次飞行时间、可视信息的图像、预览图像的图像。
图18的第二绘图例示了每当无人机1000飞行时从无人机1000发送的可视信息的虚图的采集的图像被分类的画面信息的图像(虚像)1600。所采集的图像中的每一个可以包括无人机1000在被采集时的位置信息、关于无人机1000的相机在被采集时面对的方向的信息等。
此外,画面信息的图像(虚像)1600还可以包括与输出地图信息的图像的功能关联的图标的图像1650。
当施加到图标的图像1650的触摸手势被感测到时,控制单元180可以将画面信息的图像1600切换成地图信息的图像1680。
如图18的第三绘图所例示的,地图信息的图像1680可以包括预先存储在存储器170中的地图信息或者从外部装置(或外部服务器)接收的地图信息、无人机图标2000、引导无人机的相机在被采集时所朝向的方向的指示符2010以及采集的图像1610a、1620a和1630a。
无人机图标2000、引导当对应的图像被采集时无人机的相机所朝向的方向的指示符2010以及所采集的图像可以彼此关联。基于包括在所采集的图像中的每一个中的无人机1000在被采集时的位置信息以及关于无人机1000的相机在被采集时所朝向的方向的信息,控制单元180可以在地图信息的图像1680中显示无人机图标2000、引导无人机的相机所朝向的方向的指示符2010以及所采集的图像中的至少一个。
并且,控制单元180还可以在地图信息的图像1680中显示关于无人机开始飞行的点、无人机1000的飞行路径等的信息。
通过此配置,本公开可以提供能够方便地并凭直觉检查采集的图像的眼镜型终端。
此外,与本公开有关的眼镜型终端100可以通过各种方法以及使用形成在眼镜型终端100的主体外部的虚拟区域中的图像的方法来控制无人机1000。
在下文中,将参照附图详细地描述用于通过使用眼镜型终端100来控制无人机的方法。
图19A、图19B、图19C和图19D是例示了通过使用根据本公开的实施方式的眼镜型终端来控制无人机的方法的概念图。
与本公开有关的眼镜型终端100可以基于眼镜型终端100的移动和用户输入单元123中的至少一个来控制无人机1000。
感测单元140可以感测眼镜型终端100的移动。对眼镜型终端100的移动的感测可以被理解为感测用户的穿戴眼镜型终端100的头部的移动。
例如,如图19A所例示的,在相机121被布置为面对无人机1000的状态下,当触摸被施加到用户输入单元123时,控制单元180可以向无人机1000发送控制信号。
控制信号可以包括用于连接眼镜型终端100和无人机1000的信号以及用于控制无人机1000的移动并且控制设置在无人机1000中的相机1121的信号。
相机121被布置为面对无人机1000的状态可以是指通过相机121接收的预览图像包括与无人机1000对应的图像的状态。
在相机121被布置为面对无人机1000并且触摸被施加到用户输入单元123的状态下,当感测到眼镜型终端100移动时,控制单元180可以控制无人机1000移动以对应于眼镜型终端100的移动。
例如,如图19A所例示的,在触摸被施加到用户输入单元123的状态下,当在一个方向1700a上移动眼镜型终端100时,可以在与一个方向1700a对应的方向1700a’上移动无人机1000。
此外,控制单元180可以根据施加到用户输入单元123的触摸的类型来控制无人机1000不同地移动。
例如,如图19B的第一绘图所例示的,在眼镜型终端100的相机121被布置为面对无人机1000的状态下,当在施加到用户输入单元123的第一类型的触摸(例如,施加到一点的触摸)被维持的同时移动(1700b)眼镜型终端100时,可以移动(1700b’)无人机1000以对应于眼镜型终端100的移动1700b。
这里,在第一类型的触摸被维持的状态下,当施加了与第一类型的触摸不同的第二类型的触摸(例如,施加到至少两个点的触摸)时,即使未移动眼镜型终端100,如图19B的第二绘图所例示的,控制单元180也可以控制无人机1000移动(1700b’)以对应于在第一类型的触摸被维持的状态下感测到的眼镜型终端100的移动1700b。
详细地,可以在用户未移动他的或她的身体的状态下将用户的穿戴眼镜型终端100的头部可动的范围划分成第一范围1710a以及与第一范围1710a不同的第二范围1710b。第一范围1710a是眼镜型终端100朝向的范围,即,能够被包括在通过眼镜型终端100的相机121接收的预览图像中的范围(视场),并且第二范围1710b可以是眼镜型终端100没有朝向的范围。
也就是说,在第一范围1710a中,可以移动无人机1000以对应于在眼镜型终端100在施加到眼镜型终端100的用户输入单元123的第一类型的触摸被维持的状态下的移动。
当正被移动的无人机1000进入超过第一范围1710a的第二范围1710b时(即,当无人机1000移出眼镜型终端100的相机121所朝向的范围时),控制单元180可以基于与施加到用户输入单元123的第一类型的触摸不同的第二类型的触摸来控制无人机1000连续地移动以对应于眼镜型终端100在第一类型的触摸被维持的状态下的移动。
此外,在眼镜型终端100的相机121面对无人机1000的状态下以及在第二类型的触摸而不是第一类型的触摸被维持的状态下,当感测到眼镜型终端100的移动时,可以控制无人机1000按照不同的方式移动。例如,在眼镜型终端100的相机121面对无人机1000的状态下,当在施加到用户输入单元123的至少两个点的触摸被维持的状态下在一个方向上以第一速度移动眼镜型终端100时,可以控制无人机1000在与所述一个方向对应的方向上以第一速度的n倍的第二速度移动。可以基于在用户输入单元123上维持的触摸点的数量来确定n倍速度。
此外,控制单元180可以基于施加到用户输入单元123的各种类型的触摸来控制无人机1000。
例如,在无人机1000在设置在其中的相机1121被定向在一个方向上的情况下飞行的状态下,当预设类型的触摸(例如,在基准时间内施加的双触摸(两个触摸))如图19C的第一绘图所例示的那样被施加到眼镜型终端100的用户输入单元123时,控制单元180可以如图19C的第二绘图所例示的那样使无人机1000旋转以被定向在与所述一个方向不同的方向上。这里,例如,不同的方向可以是和所述一个方向相反的方向。
在另一示例中,基于施加到眼镜型终端100的用户输入单元的拖曳触摸,控制单元180可以移动无人机1000。
例如,如图19D所例示的,当在一个方向上对用户输入单元123施加拖曳触摸时,控制单元180可以在与所述一个方向对应的方向上移动无人机1000。
当在施加到用户输入单元123的一个点的触摸之后在朝向用户的前侧(即,到眼镜型终端100的前侧)的方向1730a上施加拖曳触摸时,控制单元180可以在朝向设置有相机1121的无人机1000的前侧的方向1730a’上移动无人机1000。在在向上方向1730b上、在向后方向1730c上并在向下方向1730d上施加拖曳触摸的情况下,可以相对于设置有相机1121的无人机1000的前侧在向上方向1730b上、在向后方向1730c’上并在向下方向1730d’上移动无人机1000。在当在向前方向、向上方向、向后方向和向下方向当中的任何两个方向之间的一个方向上(即,在对角线方向上)施加拖曳触摸时的情况下,可以在与任何两个方向之间的所述方向对应的方向上移动无人机1000。
这里,控制单元180可以根据施加有拖曳触摸的触摸点的数量来控制无人机1000以不同的速度移动。例如,当在施加到用户输入单元123的一个点的触摸之后施加了拖曳触摸时,控制单元180可以以第一速度移动无人机1000,而当在施加到用户输入单元123的至少两个点的触摸之后施加了拖曳触摸时,控制单元180可以以与第一速度不同的第二速度移动无人机1000。
例如,当通过一根手指以特定速度施加拖曳触摸时,控制单元180可以以与该特定速度对应(成比例)的速度移动无人机1000,而当通过两根手指以特定速度施加拖曳触摸时,控制单元180可以以与该特定速度对应的速度的双倍的速度移动无人机1000。
通过此配置,在本公开中,可以根据施加到用户输入单元123的触摸的类型来控制无人机1000以各种速度移动,并且可以基于在施加到用户输入单元123的触摸被维持的状态下感测到的眼镜型终端100的移动来移动无人机1000。
此外,在与本公开有关的眼镜型终端100中,可以基于用户输入单元123以及眼镜型终端100的移动中的至少一个来控制形成在眼镜型终端100的主体外部的虚拟区域中的至少一个图像。
在下文中,将详细描述用于基于用户输入单元123以及眼镜型终端100的移动中的至少一个来控制形成在眼镜型终端100的主体外部的虚拟区域中的至少一个图像的方法。
图20是例示了通过使用根据本公开的实施方式的眼镜型终端来控制从无人机发送的可视信息的图像以及从设置在眼镜型终端中的相机接收的预览图像的图像(虚像)的方法的流程图,并且图21A、图21B和图21C是例示了图20所例示的控制方法的概念图。
参照图20,在本公开中,如以上参照图16A至图16D所描述的,在步骤S2000中从无人机1000接收的可视信息的图像以及通过眼镜型终端100的相机接收的预览图像的图像(虚像)形成在眼镜型终端100的主体外部的虚拟区域中。
例如,如图21A的第一绘图所例示的,从无人机1000发送的可视信息的图像400a以及通过眼镜型终端100的相机121接收的预览图像的图像400b可以形成在眼镜型终端100的主体外部的虚拟区域中。并且,但不限于此,仅可视信息的图像400a和预览图像的图像400b中的任一个可以形成在虚拟区域中。
此后,在在本公开中,当施加到眼镜型终端100的用户输入单元的触摸以及眼镜型终端100的移动中的至少一个被感测到时,在步骤S2100中执行与感测结果关联的功能。
这里,触摸可以包括各种类型的触摸。例如,触摸可以包括施加到一个点的触摸(例如,单触摸)以及施加到至少两个点的触摸(例如,多触摸)。并且,触摸可以包括被施加达比预设时间段短的时间段的触摸(例如,短触摸)、在预设时间段内施加的两个触摸(例如,双触摸)以及被施加达比预设时间段长的时间段的触摸(例如,长触摸)。并且,可以按照单触摸、多触摸、短触摸、双触摸和长触摸的任何组合的形式实现触摸。
控制单元180可以感测触摸以及眼镜型终端100的移动中的至少一个。
这里,基于所感测的触摸,控制单元180可以执行与所感测的触摸关联的功能,并且基于所感测的移动,控制单元180可以执行与所感测的移动关联的功能。并且,在一起感测到触摸和移动二者的情况下(或者在在触摸正被维持的同时感测到移动的情况下),控制单元180可以执行与感测结果关联的功能。
所关联的功能可以包括各种类型的功能。例如,所关联的功能可以包括改变形成在眼镜型终端100外部的虚拟区域中的图像的显示位置(或显示方案)的功能、采集从无人机1000接收的可视信息以及通过眼镜型终端100的相机接收的预览图像中的至少一个的功能以及控制无人机1000的移动或设置在无人机1000中的相机的功能。
例如,在施加到眼镜型终端100的用户输入单元123的触摸被维持的状态下,当感测到眼镜型终端100的预设类型的移动时,控制单元180可以改变图像400a和图像400b的显示位置。
如图21A的第一绘图所例示的,在施加到用户输入单元123的触摸被维持的状态下,当感测到眼镜型终端100移动了等于或大于预设距离的距离并然后返回时,控制单元180可以如图21A的第二绘图所例示的那样改变图像400a和图像400b的显示位置。例如,在图像400a和图像400b被形成为彼此垂直地间隔开的状态下以及在施加到用户输入单元123的触摸被维持的状态下,当感测到眼镜型终端100移动了等于或大于预设距离的距离并然后返回时,控制单元180可以改变图像400a和图像400b的显示位置,使得它们被形成为彼此水平地间隔开。
此外,当预设类型的触摸被施加到用户输入单元123时,控制单元180可以采集可视信息的图像400a和预览图像的图像400b中的至少一个。例如,在可视信息的图像400a和预览图像的图像400b中的至少一个如图21B的第一绘图所例示的那样形成在眼镜型终端100的主体外部的虚拟区域中的情况下,当预设类型的触摸(例如,在预设时间段内至少一次施加到至少两个点的触摸)被施加到用户输入单元123时,可以如图21B的第二绘图所例示的那样采集可视信息的图像400a和预览图像的图像400b中的至少一个。
控制单元180可以在眼镜型终端100的主体外部的虚拟区域中形成允许检查按照各种方式采集的图像的画面信息的图像。例如,在施加到用户输入单元123的触摸被维持的状态下,当感测到眼镜型终端100如图21B的第二绘图所例示的那样在预设方向上(例如,在向下方向上)移动时,控制单元180可以如图21B的第三绘图所例示的那样在眼镜型终端100的主体外部的虚拟区域中形成允许检查采集的图像的画面信息的图像1800。
如图18所例示的,画面信息的图像1800可以包括采集的图像1800a和1800b(或这些采集的图像的缩略图)、采集的天气信息以及指示是否已经采集到从无人机1000发送的视觉图像的图像或者是否已经采集到通过眼镜型终端100的相机121接收的预览图像的图像(虚像)的信息。并且,在画面信息的图像1600中,日期、无人机1000的每次飞行、可视信息的图像的采集的图像以及预览图像的图像(虚像)的采集的图像被分类并显示。
此外,与本公开有关的眼镜型终端100可以基于用户输入单元123以及眼镜型终端100的移动来执行各种功能。例如,眼镜型终端100可以执行全景图像采集功能。
可以按照各种方式定义用于执行全景图像采集功能的施加到用户输入单元123的触摸以及眼镜型终端100的移动。例如,如图21C的第一绘图所例示的,在施加到用户输入单元123的预设类型的触摸(例如,施加到至少两个点的触摸)被维持的状态下,当眼镜型终端100在预设方向(例如,向上方向、向下方向、向左方向和向右方向)上移动时,控制单元180可以执行全景图像采集功能。
在这种情况下,指导全景图像采集功能正被执行的图像1840还可以形成在眼镜型终端100的主体外部的虚拟区域中。并且,在施加到用户输入单元123的预设类型的触摸被维持的状态下,当眼镜型终端100在预设方向1810a上移动时,控制单元180可以控制无人机1000在与预设方向对应的方向1810a’上移动。
此后,如图21C的第三绘图所例示的,在预设类型的触摸被维持的同时执行全景图像采集功能,并且当预设类型的触摸被释放时,在预设类型的触摸一直被维持的同时采集的图像可以作为单个图像被采集。
详细地,在施加到用户输入单元123的预设类型的触摸被维持的状态下,在眼镜型终端100正在预设方向上移动的同时,控制单元180在与预设方向对应的方向上移动的同时接收从无人机1000发送的可视信息。此后,控制单元180在移动的同时连续地连接从无人机1000发送的多条可视信息以产生单个图像。
此后,当预设类型的触摸被释放时,控制单元180可以终止全景图像采集功能。并且,当预设类型的触摸被释放时,控制单元180可以形成直到当预设类型的触摸被释放时为止产生的图像作为单个全景采集图像。可以将所形成的全景采集图像存储在眼镜型终端100的存储器170中。
此外,以上所描述的内容不限于眼镜型终端。还可以按照相同或类似的方式推理并对移动终端应用与本公开有关的内容。例如,在与本公开有关的眼镜型终端100是移动终端的情况下,可以在移动终端的显示单元上输出从无人机接收的可视信息。此后,当感测到移动终端在一个方向上移动时,移动终端的控制单元180可以在与所述一个方向对应的方向上控制无人机1000。根据移动终端在施加到移动终端的显示单元的预设类型的触摸被维持的状态下的移动,可以按照各种方式控制无人机1000。
如上所述,根据本公开,本公开的眼镜型终端可以基于用户相对于从无人机发送的可视信息的图像的手势来控制无人机的移动或设置在无人机中的相机。因此,在本公开中,可以提供使得用户能够凭直觉控制无人机的优化的UI/UX。
另外,在从无人机发送的可视信息的图像形成在虚拟区域中的状态下,可以基于抓取形成在虚拟区域中的图像的手势及其之后的手势来控制无人机。因此,本公开可以提供使得用户能够在观看从无人机发送的可视信息的图像的同时通过使用操纵图像的手势来控制无人机的像手柄或操纵杆一样的新界面。
另外,可以通过相对于从无人机接收的可视信息的图像以及通过设置在眼镜型终端中的相机接收的预览图像的图像(虚像)做出预设手势来采集可视信息和预览图像。因此,本公开可以提供使得用户能够通过可视信息的图像和预览图像的图像(虚像)中的至少一个更方便地并凭直觉采集可视信息和预览图像中的至少一个的优化的UI/UX。
以上所描述的本发明可以作为计算机可读代码被实现在记录有程序的介质中。计算机可读介质包括存储有能够由计算机系统读取的数据的任何类型的记录装置。计算机可读介质例如可以是硬盘驱动器(HDD)、固态盘(SSD)、硅盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读介质还包括形式为载波(例如,经由互联网的传输)的实施方式。并且,计算机可以包括移动装置的控制单元180。因此,以上详细描述不应该在每个方面中被有限地解释,并且应该被认为是例示性的。本发明的范围应该由对所附权利要求书的合理解释来确定,并且在本发明的范围中包括等同范围内的每个修改。
上述实施方式和优点仅是示例性的,并且将不被认为限制本公开。本教导能够容易地应用于其它类型的设备。本说明书旨在为例示性的,而非限制权利要求的范围。对于本领域技术人员而言,许多另选方案、修改和变化将是显而易见的。可以按照各种方式组合本文所描述的示例性实施方式的特征、结构、方法和其它特性,以获得附加和/或另选的示例性实施方式。
因为本发明的特征可以在不脱离其特性的情况下按照多种形式具体实现,所以还应该理解,除非另外规定,否则上述实施方式不受前面描述的任何细节限制,而是应该在所附权利要求书中限定的范围内广义地考虑,因此,落入权利要求的边界和界限或者这些边界和界限的等同物内的所有改变和修改旨在被所附权利要求书包含。

Claims (20)

1.一种眼镜型终端,该眼镜型终端包括:
通信单元,该通信单元被配置为与无人机进行通信;
显示器,该显示器被配置为输出从所述无人机接收的可视信息;
光学单元,该光学单元包括至少一个透镜并且被配置为在外部虚拟区域中形成所述可视信息的图像,使得所述图像仅对穿戴所述眼镜型终端的用户可见;
传感器,该传感器被配置为感测针对所述图像施加的用户手势;以及
控制器,该控制器被配置为基于所感测到的用户手势来控制所述无人机。
2.根据权利要求1所述的眼镜型终端,其中,所述控制器还被配置为响应于针对所述图像施加的预设用户手势来控制所述无人机的移动或所述无人机的相机中的至少一个。
3.根据权利要求2所述的眼镜型终端,其中,所述控制器还被配置为:
在所述预设用户手势是第一用户手势时控制所述无人机的移动;并且
在所述预设用户手势是第二用户手势时控制所述相机。
4.根据权利要求3所述的眼镜型终端,其中,
所述第一用户手势是在抓取所述图像的手势之后施加的手势;并且
所述控制器还被配置为响应于之后施加的所述手势来使所述无人机移动。
5.根据权利要求4所述的眼镜型终端,其中,所述无人机根据抓取所述图像的手势的方式来按照不同的方式移动。
6.根据权利要求5所述的眼镜型终端,其中,
所述控制器还被配置为在所述手势的方式是第一方式时移动所述无人机;并且
所述控制器还被配置为在所述手势的方式是第二方式时使所述无人机旋转。
7.根据权利要求4所述的眼镜型终端,其中,当在按照第一显示方式显示所述图像的状态下施加所述第一用户手势时,按照第二显示方式显示所述图像。
8.根据权利要求7所述的眼镜型终端,其中,当所述第一用户手势被释放时,按照所述第二显示方式显示的所述图像被恢复为按照所述第一显示方式显示。
9.根据权利要求3所述的眼镜型终端,其中,
所述第二用户手势包括针对所述图像施加的向内挤压手势或向外挤压手势;并且
所述控制器还被配置为响应于所述向内挤压手势或所述向外挤压手势来控制所述相机执行缩小功能或放大功能。
10.根据权利要求9所述的眼镜型终端,其中,所述控制器还被配置为在施加了所述向外挤压手势时使所述无人机移动以移出所述图像。
11.根据权利要求1所述的眼镜型终端,该眼镜型终端还包括相机,其中,
所述控制器还被配置为使所述显示器显示经由所述相机接收的预览图像;并且
所述光学单元还被配置为除了形成所述可视信息的图像之外还形成所述预览图像的图像。
12.根据权利要求11所述的眼镜型终端,其中,所述预览图像的图像和所述可视信息的图像被形成为彼此间隔开。
13.根据权利要求11所述的眼镜型终端,其中,当预设类型的手势被施加到所述预览图像的图像或所述可视信息的图像中的至少一个时,所述控制器还被配置为使所述预览图像的图像或所述可视信息的图像中的至少一个移动。
14.根据权利要求13所述的眼镜型终端,其中,当所述预览图像的图像和所述可视信息的图像由于移动而彼此接触时,所述控制器还被配置为采集所述预览图像的图像和所述可视信息的图像。
15.一种用于控制眼镜型终端的方法,该方法包括以下步骤:
形成从无人机接收的可视信息的图像;以及
基于针对所述图像施加的用户手势来控制所述无人机,
其中,
所述图像形成在外部虚拟区域中,使得所述图像仅对穿戴所述眼镜型终端的用户可见;并且
控制所述无人机的步骤包括响应于针对所述图像施加的预设用户手势来控制所述无人机的移动或所述无人机的相机中的至少一个。
16.根据权利要求15所述的方法,其中,
当所述预设用户手势是第一用户手势时控制所述无人机的移动;并且
当所述预设用户手势是第二用户手势时控制所述相机。
17.根据权利要求16所述的方法,其中,
所述第一用户手势是在抓取所述图像的手势之后施加的手势;并且
所述控制器还被配置为响应于之后施加的所述手势来使所述无人机移动。
18.根据权利要求16所述的方法,其中,
所述第二用户手势包括针对所述图像施加的向内挤压手势或向外挤压手势;并且
所述控制器还被配置为响应于所述向内挤压手势或所述向外挤压手势来控制所述相机执行缩小功能或放大功能。
19.根据权利要求15所述的方法,该方法还包括以下步骤:
除了形成所述可视信息的图像之外,还形成经由所述眼镜型终端的相机接收的预览图像的图像,
其中,响应于施加到所述预览图像的图像或所述可视信息的图像中的至少一个的预设类型的手势来移动所述预览图像的图像或所述可视信息的图像中的所述至少一个。
20.根据权利要求19所述的方法,该方法还包括以下步骤:
当所述预览图像的图像和所述可视信息的图像由于移动而彼此接触时,采集所述预览图像的图像和所述可视信息的图像。
CN201610124368.8A 2015-05-26 2016-03-04 眼镜型终端及其控制方法 Expired - Fee Related CN106210253B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150073139A KR20160138806A (ko) 2015-05-26 2015-05-26 글래스타입 단말기 및 그 제어방법
KR10-2015-0073139 2015-05-26

Publications (2)

Publication Number Publication Date
CN106210253A true CN106210253A (zh) 2016-12-07
CN106210253B CN106210253B (zh) 2020-05-12

Family

ID=55177732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610124368.8A Expired - Fee Related CN106210253B (zh) 2015-05-26 2016-03-04 眼镜型终端及其控制方法

Country Status (4)

Country Link
US (1) US10061391B2 (zh)
EP (1) EP3098693B1 (zh)
KR (1) KR20160138806A (zh)
CN (1) CN106210253B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065884A (zh) * 2017-05-20 2017-08-18 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人车的系统
CN107168315A (zh) * 2017-05-20 2017-09-15 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人车的方法
CN107264731A (zh) * 2017-05-20 2017-10-20 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人船的方法
CN107331137A (zh) * 2017-05-20 2017-11-07 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人船的系统
CN108508599A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示装置和显示装置的控制方法
CN108510928A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示系统、显示装置以及显示装置的控制方法
CN110646938A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 近眼显示器系统
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
CN111522142A (zh) * 2020-06-14 2020-08-11 深圳市安之眼科技有限公司 一种ar智能眼镜
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
CN112422782A (zh) * 2019-08-23 2021-02-26 佳能株式会社 显示控制设备及其控制方法和计算机可读存储介质
CN114545629A (zh) * 2022-01-21 2022-05-27 广东虚拟现实科技有限公司 增强现实装置、信息显示方法及装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064935A1 (en) * 2013-10-28 2015-05-07 Lg Electronics Inc. Electronic device and control method thereof
TWI562814B (en) * 2015-04-13 2016-12-21 Pegatron Corp Method for adjusting orientation of head end and remote control aircraft using the same
JP6589456B2 (ja) * 2015-08-18 2019-10-16 セイコーエプソン株式会社 搬送装置、処理物生成方法、搬送制御プログラム
DE102015122183B4 (de) * 2015-12-18 2018-12-06 Antony Pfoertzsch Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
US20170214856A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
KR20170100332A (ko) * 2016-02-25 2017-09-04 삼성전자주식회사 화상 통화 방법 및 장치
WO2017201697A1 (en) * 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
CN106094861B (zh) * 2016-06-02 2024-01-12 零度智控(北京)智能科技有限公司 无人机、无人机控制方法及装置
US10455215B2 (en) * 2016-06-22 2019-10-22 International Business Machines Corporation System, method, and recording medium for a closed-loop immersive viewing technology coupled to drones
JP2018036993A (ja) * 2016-09-02 2018-03-08 オリンパス株式会社 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム
US10659279B2 (en) * 2016-10-04 2020-05-19 Htc Corporation Method and device for displaying video corresponding to physical object
CN110377053B (zh) * 2016-12-02 2023-03-31 广州亿航智能技术有限公司 无人机的飞行控制方法和装置
CN106681503A (zh) * 2016-12-19 2017-05-17 惠科股份有限公司 一种显示控制方法、终端及显示装置
JP6589902B2 (ja) * 2017-01-31 2019-10-16 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
KR101942703B1 (ko) * 2017-02-17 2019-01-28 김태환 선박 흘수 관측장치
CN106973261A (zh) * 2017-03-03 2017-07-21 湖北天专科技有限公司 以第三方视角观察无人机的设备、系统和方法
US10366521B1 (en) 2017-03-15 2019-07-30 Amazon Technologies, Inc. Augmented reality assembly assistance and monitoring
CN107256027A (zh) * 2017-06-29 2017-10-17 北京小米移动软件有限公司 用于无人机的头盔及其控制方法
CN107272724A (zh) * 2017-08-04 2017-10-20 南京华捷艾米软件科技有限公司 一种体感飞行装置及其控制方法
US10836486B2 (en) * 2017-11-06 2020-11-17 Teal Drones, Inc. Controlling a drone through user movement
US10712901B2 (en) 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
TWI682878B (zh) * 2018-10-11 2020-01-21 大陸商光寶電子(廣州)有限公司 使用無人機的旅遊系統與方法
JP6831949B2 (ja) * 2018-11-30 2021-02-17 楽天株式会社 表示制御システム、表示制御装置及び表示制御方法
WO2020110293A1 (ja) * 2018-11-30 2020-06-04 楽天株式会社 表示制御システム、表示制御装置及び表示制御方法
US10863277B2 (en) * 2019-03-07 2020-12-08 Bose Corporation Systems and methods for controlling electronic devices
JP2020155923A (ja) * 2019-03-20 2020-09-24 ソニー株式会社 リモートコントロール装置と撮像制御装置およびその方法
JP2021184050A (ja) * 2020-05-22 2021-12-02 株式会社日立エルジーデータストレージ 映像表示装置、ヘッドマウントディスプレイ
KR102509068B1 (ko) 2021-08-26 2023-03-09 경희대학교 산학협력단 무인 비행체를 이용한 햅틱 장치, 햅틱 시스템 및 햅틱 제어방법
US20230062433A1 (en) * 2021-08-30 2023-03-02 Terek Judi Eyewear controlling an uav
US20230063386A1 (en) * 2021-09-02 2023-03-02 Terek Judi Eyewear synchronized with uav image capturing system
US20230359422A1 (en) * 2022-05-03 2023-11-09 Meta Platforms Technologies, Llc Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
CN115357053A (zh) * 2022-10-19 2022-11-18 北京亮亮视野科技有限公司 基于ar眼镜的无人机操控系统及方法
US20240160204A1 (en) * 2022-11-10 2024-05-16 Htc Corporation Vehicle control system, head-mounted display device, and vehicle control method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
CN203193785U (zh) * 2012-12-14 2013-09-11 国家电网公司 一种眼镜
US20140139453A1 (en) * 2012-11-21 2014-05-22 Industrial Technology Research Institute Optical-see-through head mounted display system and interactive operation
CN203941453U (zh) * 2014-07-17 2014-11-12 金陵科技学院 一种可通过智能眼镜进行监控拍摄及控制的无人机
US20150002391A1 (en) * 2013-06-28 2015-01-01 Chia Ming Chen Systems and methods for controlling device operation according to hand gestures

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US6297838B1 (en) * 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7625287B2 (en) * 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8681104B2 (en) * 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
US8605873B2 (en) * 2011-06-28 2013-12-10 Lifesize Communications, Inc. Accessing settings of a videoconference using touch-based gestures
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR20140025941A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 이미지를 병합 및 공유할 수 있는 전자 장치 및 방법
CN105027030B (zh) * 2012-11-01 2018-10-23 艾卡姆有限公司 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
KR102219698B1 (ko) * 2014-04-30 2021-02-24 엘지전자 주식회사 무인 항공기 제어 장치 및 방법
US20170102699A1 (en) * 2014-12-22 2017-04-13 Intel Corporation Drone control through imagery
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20140139453A1 (en) * 2012-11-21 2014-05-22 Industrial Technology Research Institute Optical-see-through head mounted display system and interactive operation
CN203193785U (zh) * 2012-12-14 2013-09-11 国家电网公司 一种眼镜
US20150002391A1 (en) * 2013-06-28 2015-01-01 Chia Ming Chen Systems and methods for controlling device operation according to hand gestures
CN203941453U (zh) * 2014-07-17 2014-11-12 金陵科技学院 一种可通过智能眼镜进行监控拍摄及控制的无人机

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108508599A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示装置和显示装置的控制方法
CN108510928A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示系统、显示装置以及显示装置的控制方法
CN113885208B (zh) * 2017-02-27 2024-02-13 精工爱普生株式会社 显示装置、显示系统和显示装置的控制方法
CN113885208A (zh) * 2017-02-27 2022-01-04 精工爱普生株式会社 显示装置、显示系统和显示装置的控制方法
CN108508599B (zh) * 2017-02-27 2021-11-02 精工爱普生株式会社 显示装置和显示装置的控制方法
CN107065884A (zh) * 2017-05-20 2017-08-18 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人车的系统
CN107168315A (zh) * 2017-05-20 2017-09-15 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人车的方法
CN107264731A (zh) * 2017-05-20 2017-10-20 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人船的方法
CN107331137A (zh) * 2017-05-20 2017-11-07 天津市创恒机器人技术有限公司 一种高体验人机交互遥控无人船的系统
CN110646938A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 近眼显示器系统
CN110646938B (zh) * 2018-06-27 2022-05-24 脸谱科技有限责任公司 近眼显示器系统
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
US11202019B2 (en) 2019-08-23 2021-12-14 Canon Kabushiki Kaisha Display control apparatus with image resizing and method for controlling the same
CN112422782A (zh) * 2019-08-23 2021-02-26 佳能株式会社 显示控制设备及其控制方法和计算机可读存储介质
CN112422782B (zh) * 2019-08-23 2022-10-18 佳能株式会社 显示控制设备及其控制方法和计算机可读存储介质
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
US11782514B2 (en) 2019-08-29 2023-10-10 SZ DJI Technology Co., Ltd. Wearable device and control method thereof, gesture recognition method, and control system
CN111522142A (zh) * 2020-06-14 2020-08-11 深圳市安之眼科技有限公司 一种ar智能眼镜
CN114545629A (zh) * 2022-01-21 2022-05-27 广东虚拟现实科技有限公司 增强现实装置、信息显示方法及装置

Also Published As

Publication number Publication date
KR20160138806A (ko) 2016-12-06
CN106210253B (zh) 2020-05-12
US20160349849A1 (en) 2016-12-01
US10061391B2 (en) 2018-08-28
EP3098693B1 (en) 2021-05-05
EP3098693A1 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106210253B (zh) 眼镜型终端及其控制方法
KR102411100B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US20180136466A1 (en) Glass type terminal and control method therefor
CN106445219B (zh) 移动终端及其控制方法
KR102227087B1 (ko) 글래스 타입 단말기 및 그것의 제어방법
EP3494443B1 (en) Systems and methods for controlling an image captured by an imaging device
KR102400900B1 (ko) 시스템
KR102184402B1 (ko) 글래스 타입의 이동 단말기
US9874998B2 (en) Mobile terminal and controlling method thereof
KR101595957B1 (ko) 이동 단말기 및 제어 시스템
US9470894B2 (en) Head mounted display and method of controlling the same
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
KR20150129546A (ko) 안경형 단말기와 그 안경형 단말기의 제어 방법
KR20160148374A (ko) 이동 단말기 및 이의 제어방법
KR20170123907A (ko) 이동단말기 및 그 제어방법
CN103426282A (zh) 遥控方法及终端
KR20220074847A (ko) 카메라의 초점을 변경하는 방법 및 장치
KR20170014609A (ko) 이동 단말기 및 이의 제어방법
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
KR20150131837A (ko) 이동 단말기 및 그것의 제어 방법
KR20160134334A (ko) 이동 단말기 및 이의 제어방법
KR101612863B1 (ko) 이동 단말기 및 제어 시스템
KR20160041710A (ko) 글래스 타입의 이동 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200512

CF01 Termination of patent right due to non-payment of annual fee