CN104301709B - 眼镜型便携式设备及其信息投影面搜索方法 - Google Patents

眼镜型便携式设备及其信息投影面搜索方法 Download PDF

Info

Publication number
CN104301709B
CN104301709B CN201410336200.4A CN201410336200A CN104301709B CN 104301709 B CN104301709 B CN 104301709B CN 201410336200 A CN201410336200 A CN 201410336200A CN 104301709 B CN104301709 B CN 104301709B
Authority
CN
China
Prior art keywords
information
display
user
display area
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410336200.4A
Other languages
English (en)
Other versions
CN104301709A (zh
Inventor
朴钟景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104301709A publication Critical patent/CN104301709A/zh
Application granted granted Critical
Publication of CN104301709B publication Critical patent/CN104301709B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

眼镜型便携式设备及其信息投影面搜索方法。本发明公开了眼镜型便携式设备及其信息投影面搜索方法。在发生要显示信息的情况下,对用户注视的画面进行分析。设置候选UI区域,要显示的信息在所分析的画面上在候选UI区域上显示。从这些候选UI区域中选择满足预设条件的最佳UI区域。然后在最佳UI区域上显示该信息。在这种构造下,眼镜型便携式设备可在不阻挡用户的视野的情况下有效地显示信息。

Description

眼镜型便携式设备及其信息投影面搜索方法
技术领域
本发明涉及眼镜型便携式设备,具体涉及一种能够有效地显示信息而不会遮挡用户视线的眼镜型便携式设备,以及一种搜索其信息投影面的方法。
背景技术
运动终端可以被构造成执行各种功能。各种功能的示例可以包括数据和语音通信功能、通过摄像头视线的拍照或视频采集功能、语音存储功能、通过扬声器系统视线的音乐文件再现功能、图像或视频显示功能等等。某些运动终端可以包括能够进行游戏的额外功能,而某些其它运动终端可以被视线为多媒体播放器。此外,近来的运动终端接收广播或多播使得用户能够观看视频或电视节目。
此外,还进行了支持和增强运动终端的功能的诸多努力。之前的努力可以包括添加和改进软件或硬件以及改变和改进构成运动终端的结构元件。
眼镜型便携式设备是运动终端或眼镜型智能电话,它是佩戴在头上类似于眼镜的平视显示器。
眼镜型便携式设备具有摄像头功能、视频功能和麦克风功能,这些功能是通过位于眼睛前方诸如眼镜透镜的半透明小屏幕来实现的。眼镜型便携式设备还具有Wi-Fi功能和蓝牙功能,从而能够联网并能够与智能电话或其它类型的通信设备相兼容。眼镜型便携式设备是可穿戴智能设备而不是简单的视频播放器。
眼镜型便携式设备可以利用用户的视野来捕获运动图像或静止图像。眼镜型便携式设备的显示功能是对信息进行显示,就好像用户在观看位于该用户前方预定距离处的监视器。因此用户可以通过眼镜型便携式设备来检查眼前的电子邮件,并且可以下载各种类型的应用。
然而,这种眼镜型便携式设备仍然存在很多要解决的问题,即使其运转和联网技术已经被公开。尤其是,在眼镜型便携式设备中,由于显示器尺寸的限制,用户接口(UI)区域应该显示在不遮挡用户视线的位置。
如果UI区域以固定方式显示在显示单元上,则用户无法在观看UI区域的同时观看前方。这会导致安全问题并且会降低用户对周围的认知。
发明内容
因此,具体描述的一方面是提供一种能够提供最佳UI区域而不会遮挡用户视线的眼镜型便携式设备,以及一种搜索其信息投影面的方法。
具体描述的另一方面是提供一种能够根据用户的运动来转换UI区域的眼镜型便携式设备,以及一种搜索其信息投影面的方法。
为了实现这些和其它优点并且根据此处具体实施和广义描述的说明书的目的,提供了一种用于在眼镜型可佩带设备上定位用于显示信息的显示区域的方法,该方法包括以下步骤:基于摄像头捕获的图像对用户视野内的对象进行分析;基于所分析的对象的形式和位置,在显示单元上设置一个或更多个候选UI区域;从所设置的候选UI区域中选择最佳UI区域;以及在所选择的最佳UI区域上显示期望信息。
所述信息可以包括文本信息、图像信息、视频信息或者虚拟现实信息。
所述候选区域可以包括显示了很少运动且平坦对象的位置以及显示了上面有少量字母或图形的对象的位置。
所述UI区域可以根据要显示的信息的类型来生成。如果要显示的信息是文本信息,则候选UI区域可以被设置在所述显示器的用户习惯观看字母的位置。相反,如果要显示的信息是图像信息或视频信息,则候选UI区域可以被设置在要补偿的颜色数量最小的位置。
如果要显示的信息是文本信息且候选UI区域不是四边形时,则可以对所述信息进行调整,以匹配所述候选UI区域。可以在颜色、表面材料、表面形状或者光源中的至少一个方面调整所述信息。
可以从被设置在接近所述显示器的中心区域的对象处、具有大面积的对象处、矩形对象处、具有要插值的颜色数量少的对象处,以及在具有低亮度的对象处的候选UI区域中选择最佳UI区域,其中,设置在接近中心区域的对象处的显示区域具有最高优先级。
如果最佳UI区域大于要显示的信息,则可以不显示UI区域,而仅仅显示内容或者该UI区域的边缘。
该方法可以还包括以下步骤:根据用户输入将最佳UI区域转换到另一个UI区域,其中所述用户输入包括眨眼、通过瞳孔识别的视线改变、左右方向的头部运动以及头部倾斜。
该方法可以还包括以下步骤:根据用户视野的改变,将最佳UI区域改变为另一个UI区域。
该方法可以还包括以下步骤:如果用户视野连续改变,则基于摄像头所捕获的图像来计算先前视野与当前视野之差;以及当计算出的差大于预定值时,将所述UI区域固定到特定位置,其中,所述特定位置对应于默认区域或者先前显示区域。
为了实现这些和其它优点并且根据此处具体实施和广义描述的说明书的目的,提供了一种眼镜型可佩带设备,该眼镜型可佩带设备包括:显示单元,其被构造成显示信息;摄像头,其被构造成识别对象;以及控制器,其被构造成:通过基于摄像头捕获的图像分析用户视野内的对象的形式和位置,在显示单元上设置至少一个候选UI区域;被构造成从所设置的候选UI区域中选择最佳UI区域;以及在所选择的最佳UI区域上显示期望信息。
所述信息可以包括文本信息、图像信息、视频信息或者虚拟现实信息。
所述候选区域可以被设置在很少运动且平坦的位置以及显示了少量字母或图形的位置。
所述控制器可以根据要显示的信息的类型来设置候选UI区域。如果要显示的信息是文本信息,则控制器可以将候选UI区域设置在用户习惯观看字母的位置。相反,如果要显示的信息是图像信息或视频信息,则控制器可以将候选UI区域设置在要补偿的颜色数量最小的位置。
如果要显示的信息是文本信息且候选UI区域不是四边形,则控制器可以对该信息进行调整,以匹配候选UI区域。可以在颜色、表面材料、表面形状或者光源中的至少一个方面调整该信息。
所述控制器可以从被设置在接近所述显示单元的中心区域的对象处、具有大面积的对象处、矩形对象处、要插值的颜色数量少的对象处,或者在具有低亮度的对象处的候选UI区域中选择最佳UI区域,其中设置在接近中心区域的对象处的显示区域具有最高优先级。
如果最佳UI区域大于要显示的信息,则控制器可以不显示UI区域,而仅仅显示内容或者该UI区域的边缘。
所述控制器可以根据用户输入将最佳UI区域转换到另一个UI区域,其中所述用户输入包括眨眼、通过瞳孔识别的视线改变、语音输入、左右方向的头部运动以及头部倾斜。
所述控制器可以在转换UI区域时输出转换动画并显示用户视线的方向。
所述控制器可以根据用户视野的改变,将最佳UI区域改变为另一个UI区域。
如果用户视野连续改变,则所述控制器可以基于摄像头所捕获的图像来计算先前视野与当前视野之差。如果计算出的差大于预定值,则所述控制器将所述UI区域固定到特定位置。所述特定位置可以包括默认区域或者先前UI区域。
通过下面给出的详细说明,本申请的适用性的其它范围将变得明了。然而,应该理解的是,尽管详细说明和具体实施例表明了本公开的优选实施方式,但是它们仅仅是以例示的方式给出的,因为本领域技术人员根据详细说明可以容易想到落入本公开的主旨和范围内的各种改变和变型。
附图说明
所包括的附图提供了对本公开的进一步理解,并入且构成说明书的一部分,例示了示例性实施方式并且与文字描述一起用于解释本公开的原理。
附图中:
图1是根据本发明的实施方式的运动终端的框图;
图2A是根据本发明的实施方式的运动终端能够工作的无线通信系统;
图2B是例示了根据本发明的实施方式的运动终端能够工作的Wi-Fi定位系统的构造的图;
图3是例示显示在根据传统技术的眼镜型装置上的用户接口(UI)区域的示例的图;
图4是例示了根据本发明的实施方式的眼镜型便携式设备的搜索信息投影面的方法的流程图;
图5是例示了以不同方式使用UI区域的示例的图(候选UI区域);
图6A至图6C是例示了在根据本发明的眼镜型便携式设备中设置候选UI区域的实施方式的图(针对文本的候选UI区域);
图7是例示了在要显示的信息是图像信息或视频信息的情况下设置候选UI区域的实施方式的图(针对图像或者视频的候选UI区域);
图8A和图8B是例示了用户直接设置UI区域的实施方式的图(由用户直接选择候选UI区域);
图9是例示了在与他人分享内容(内容分享(的情况下在分享者附近显示内容的示例的图(在分享者旁边显示分享内容);
图10是例示了在通知区域已被固定到特定位置的状态下在UI区域上显示通知信息的示例的图;
图11A(仅显示内容)和图11B(仅显示UI区域的边缘)是例示了在要显示的内容与UI区域在大小和比例上不匹配的情况下的显示方法的图;
图12是例示了根据用户的眨眼或视线改变来转换UI区域的操作的流程图;
图13A到图13C是例示了转换图12的UI区域的实施方式的图;以及
图14A及图14B是例示了当背景图像随着用户视线的连续改变而转换了多次时(画面连续改变的情况)显示UI区域的方法(将UI区域固定到默认区域)的图。
具体实施方式
现在将参照附图根据示例性实施方式来详细进行说明。为了参照附图进行简要说明,相同或等效组件将被提供相同的附图标记,其说明将不会重复。在以下描述中披露的构成要素中使用的词尾“模块”或“单元”仅仅是为了容易描述说明书,词尾本身并不会给出任何特殊的含义或功能。在描述本发明时,如果相关的已知功能或构造的详细解释被认为是不必要地转移本公开的要点,则这样解释已被省略,但本领域技术人员会理解。附图用来帮助容易理解本发明的技术构思,且应该理解的是本公开的想法不受附图的限制。
此处所述的运动终端可以包括蜂窝电话、智能电话、笔记本电脑、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、平板电脑、超级本(ultra book)等。然而,本领域技术人员可以很容易理解,本说明书的示例性实施方式的构造可应用于诸如数字电视、台式计算机等固定终端,而不是仅仅适用于运动终端。
图1是根据一个示例性实施方式的运动终端100的框图。
运动终端100可以包括多个组件,如无线通信单元110,音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源190等。图1示出了具有各种组件的运动终端100,但应该理解的是,执行所有的所例示的组件并不是必要的。也可以实施更多或更少的组件。
下面顺序地描述每个组件。
无线通信单元110通常可以包括一个或多个模块,其允许运动终端100与无线通信系统之间或者运动终端100与运动终端100所处的网络之间进行无线通信。例如,无线通信单元110可以包括广播接收模块111、运动通信模块112、无线互联网模块113、短距离通信模块114、位置信息模块115等中的至少一个。
广播接收模块111经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。
广播信道可以包括卫星信道和陆地信道。广播管理实体可以表示生成并发送广播信号和/或广播相关信息的服务器或者接收到预先生成的广播信号和/或广播有关信息并将它们发送到运动终端的服务器。广播信号可实现为电视广播信号、无线电广播信号和数据广播信号。广播信号可以还包括与电视或电台广播信号相结合的数据广播信号。
广播相关信息的示例可以包括与广播信道、广播节目、广播服务提供商等相关联的信息。广播相关信息可经由运动通信网络来提供,并由运动通信模块112来接收。
广播相关信息可实现为各种格式。例如,广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。
广播接收模块111可以被构造成接收从各种类型的广播系统发送的数字广播信号。这种广播系统可以包括数字多媒体地面广播(DMB-T)、数字多媒体卫星广播(DMB-S)、媒体前向单链接(MediaFLO)、手持数字视频广播(DVB-H)、综合业务数字地面广播(ISDBT)等。广播接收模块111可以被构造成适合每个广播系统发送的广播信号,以及数字广播系统。
经由广播接收模块111接收的广播信号和/或广播相关信息可存储在合适的设备,如存储器160中。
运动通信模块112向/从运动通信网络上的至少一个网络实体(例如,基站、外部运动终端、服务器等)发送/接收无线信号。在这里,根据文本/多媒体消息的发送/接收,无线信号可以包括音频呼叫信号、视频(电话)呼叫信号或各种格式的数据。
运动通信模块112可以实现视频呼叫模式和语音呼叫模式。视频呼叫模式指示在观看呼叫方的图像的同时呼叫的状态。语音呼叫模式指示不看呼叫方的图像的状态。无线通信模块112可以发送和接收语音和图像中的至少一种以实现视频呼叫模式和语音呼叫模式。
无线互联网模块113支持运动终端的无线互联网接入。该模块可以内部或外部耦接到运动终端100。这种无线互联网接入的示例可以包括无线局域网(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球互通微波接入(Wimax)高速度下行链路分组接入(HSDPA)等。
短距离通信模块114是指用于短距离通信的模块。实施该模块的适当技术可以包括蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBeeTM、近场通信(NFC)等。
位置信息模块115是指用于检测或计算运动终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块。
仍然参照图1,A/V输入单元120被构造成向运动终端提供音频或视频信号输入。A/V输入单元120可以包括摄像头121和麦克风122。摄像头121接收和处理图像传感器在视频呼叫模式或拍照模式下获得的静止图片或视频的图像帧。处理后的图像帧可以显示在显示单元151上。
由摄像头121处理过的图像帧可以存储在存储器160中或通过无线通信单元110传输到外部。此外,可以从摄像头121所获得的图像帧来计算用户的位置信息等。根据运动终端的构造,可以设置两个或更多个摄像头121。
当运动终端处于特定模式,如电话呼叫模式、录音模式、语音识别模式等时,麦克风122可以接收外部音频信号。这个音频信号被处理成数字数据。处理过的数字数据被转化而输出为一种在电话呼叫模式的情况下可通过运动通信模块112发送给运动通信基站的格式。麦克风122可以包括各种噪声消除算法,以去除在接收外部音频信号的过程中产生的噪音。
用户输入单元130可以生成由用户输入来控制运动终端的操作的数据。用户输入单元130可以包括键盘、圆顶开关、触摸板(例如,静态压力/电容)、滚轮、滚轮开关等。
感测单元140提供运动终端的各个方面的状态测量。例如,感测单元140可以检测运动终端的打开/关闭状态、运动终端100的位置改变、是否存在与运动终端100的用户接触、运动终端100的位置、运动终端100的加速/减速等,以生成用于控制运动终端100的操作的感测信号。例如,对于滑盖型运动终端,感测单元140可以感测运动终端的滑动部分是打开还是关闭。其它示例包括感测功能,如感测单元140感测是否存在电源电源190提供的电力、接口单元170和外部设备之间是否存在耦合或其它连接。
输出单元150被构造成输出音频信号、视频信号或触觉信号。输出单元150可以包括显示单元151、音频输出模块153、警报单元154和触觉模块155。
显示单元151可输出在运动终端100中处理过的信息。例如,当运动终端工作在电话呼叫模式下时,显示单元151将提供用户接口(UI)或图形用户接口(GUI),其包括与呼叫相关联的信息。作为另一个示例,如果运动终端处于视频呼叫模式或拍照模式,则显示单元151可另外或另选地显示所拍摄和/或所接收到的图像,UI或GUI。
显示单元151可使用例如液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电子墨水显示器中的至少一种来实现。
这种显示器151中的一些可实现为通过它能够看到外面的透明类型或光学透明类型,它们被称为“透明显示器”。透明显示器的一个代表性示例可以包括透明OLED(TOLED)等。显示单元151的后表面也可被实现成光学透明的。在此构造中,用户可以通过被运动终端的显示单元151占据的区域来查看位于终端体后侧的对象。
根据运动终端100的构造方面,显示单元151可能的数量是两个或更多个。例如,多个显示器151可以布置在一个表面上彼此分开或相互一体,也可以布置在不同的表面上。
显示单元151可以还被实现为用于显示立体图像的立体显示单元152。
在这里,立体图像可以是三维(3D)立体图像,3D立体图像是指使观众觉得监视器或屏幕上的对象的渐进深度和现实与现实空间中的一样的图像。3D立体图像是利用双眼视差来实现的。双眼视差是指由两个眼睛的位置造成的差距。当两个眼镜观看不同的二维图像时,图像通过视网膜转移至脑部并在大脑中组合以提供深度感和现实感觉。
立体显示单元152可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)之类的立体显示方案。家用电视接收机等常用的立体方案包括惠斯登(Wheatstone)立体方案等。
自动立体方案例如包括视差屏障的方案、透镜方案、完整成像方案等。投影方案包括反射全息方案、透射全息方案等。
一般来说,3D立体图像是由左图像(左眼图像)和右图像(右眼图像)构成的。根据左和右图像如何合并成3D立体图像,3D立体成像方法分为左和右图像在一帧中上下设置的上-下方法、左和右图像在一帧中左右设置的左-右(左到右,并排)方法、左和右图像的片段设置为瓦形的棋盘方法、左和右图像由列和行交替设置的隔行扫描方法,以及左和右图像在时间上交替显示的时间序列(或帧)方法。
同时,针对3D缩略图图像,分别从原始图像帧的左和右图像产生左和右图像缩略图图像,然后组合而生成单个3D图像缩略图图像。一般来说,缩略图图像指的是缩小的图像或减小的静止图像。这样生成的左和右图像缩略图图像在屏幕上显示,它们之间存在水平距离差,深度对应于左图像和右图像之间的差距,从而提供了立体空间感。
如所例示的,由立体处理单元(未示出)在立体显示单元152上显示了实现3D立体图像所需的左图像和右图像。立体处理单元可接收3D图像并提取左图像和右图像,或可接收2D图像,把它变成左图像和右图像。
在这里,如果显示单元151和触敏传感器(称为触摸传感器)具有层状结构(称为“触摸屏”),显示单元151可用作输入装置和输出装置。触摸传感器可以实现成触摸膜、触摸板、触摸屏等。
触摸传感器可以被构造成将施加给显示单元151的特定部分的压力的改变或从显示单元151的特定部分出现的电容的改变转换为电输入信号。另外,触摸传感器可以被构造成不仅感测接触位置和触摸面积,而且感测触摸压力。在这里,触摸对象是向触摸传感器施加触摸输入的对象。触摸对象的示例可以包括手指、触摸笔、手写笔、指针等。
当触摸输入被触摸传感器感测到时,相应的信号被发送到触摸控制器。触摸控制器处理接收到的信号,然后发送相应数据到控制器180。因此,控制器180可以感测显示单元151的哪个区域被触摸了。
仍参照图1,接近传感器141可以设置在运动终端100的被触摸屏覆盖的内部区域中、或者触摸屏附近。接近传感器141可以作为感测单元140的一个示例来提供。接近传感器141表示利用电磁场或红外线无机械接触地检测是否存在接近待感测表面的对象,或设置在待检测表面附近的对象的传感器。接近传感器141较之接触传感器具有更长的寿命和更强的实用性。
接近传感器141可以包括透射式光电传感器、直接反射式光电传感器、镜面反射式光电传感器、高频振荡接近传感器、电容式接近传感器、磁场式接近传感器、红外线传感器等等。当触摸屏被视线为电容式时,指针对于触摸屏的接近是通过电磁场的改变来检测的。在这种情况下,触摸屏(触摸传感器)可归类为接近传感器。
以下,为简要说明起见,将指针被放置得靠近触摸屏但无接触的状态称为“接近触摸”,而将指针实质上与触摸屏接触的状态称为“接触触摸”。对于与指针在触摸屏上的触摸位置相对应的位置,这样的位置对应于在指针进行接近触摸时指针垂直地面对触摸屏的位置。
接近传感器141检测接近触摸、接近触摸模式(例如,距离、方向、速度、时间、位置、运动状态等)。与感测到的接近触摸和感测到接近触摸模式有关信息可以输出到触摸屏上。
当触摸传感器以分层的方式覆盖在立体显示单元152上(以下称为“立体触摸屏”),或当立体显示单元152和感测触摸操作的3D传感器相结合时,立体显示单元152可以还用作3D输入装置。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体触摸感测单元142、超声波感测单元143和摄像头感测单元144。
接近传感器141检测使用电磁力或红外线无机械接触地施加触摸的感测对象(例如,用户的手指或手写笔)与检测表面之间的距离。利用该距离,终端识别了立体图像的哪个部分被触摸了。特别是,当触摸屏是静电触摸屏时,基于电场随着感测对象的接近而产生的改变,检测感测对象的接近程度,并且利用该接近度来识别对3D图像的识别。
立体触摸感测单元142被构造成检测施加给触摸屏的触摸的强度或持续时间。例如,立体触摸感测单元142可以感测触摸压力。当压力强时,它可以将该触摸识别为相对于远离触摸屏向终端内的对象的接触。
超声波感测单元143被构造成使用超声波来识别感测对象的位置信息。
超声波感测单元143可以包括,例如,光学传感器和多个超声波传感器。光学传感器被构造成感测光,超声波传感器可以被构造成感测超声波。因为光比超声波快得多,所以光到达光电传感器的时间相比超声波到达超声波传感器的时间短得多。因此,可以利用从超声波达到的时间与光到达时间之间的时间差作为参考信号来计算波产生源的位置。
摄像头感测单元144包括摄像头、光传感器和激光传感器中的至少一种。
例如,摄像头和激光传感器可组合来检测感测对象相对于3D立体图像的触摸。当激光传感器检测到的距离信息被添加到由摄像头拍摄的二维图像中时,可以得到3D信息。
在另一个示例中,光传感器可层叠在运动终端上。光传感器被构造成扫描感测对象的接近触摸屏的运动。详细地,光传感器包括成行和成列的光电二极管和晶体管以利用电信号随着应用的光的数量而发生的改变来扫描安装在光传感器上的内容。即,光传感器根据光的改变来计算感测对象的坐标,从而获得的感测对象的位置信息。
音频输出模块153可以将从无线通信单元110接收的音频数据转换和输出为声音或在呼叫信号接收模式、呼叫模式,录音方式、语音识别模式、广播接收模式等模式下存储在存储器160中。同时,音频输出模块153可以提供与运动终端100执行的具体功能有关的可听输出(例如,呼叫信号接收声音、消息接收声音等)。音频输出模块153可以包括扬声器、蜂鸣器等。
警报单元154输出用于通知发生了运动终端100的事件的信号。运动终端中发生的事件可以包括呼叫信号接收、消息接收、键信号输入、触摸输入等。除了视频或音频信号,警报单元154可以以不同方式输出信号,例如,利用振动来通报事件的发生。视频或音频信号也可以通过音频输出模块153来输出,所以显示单元151和音频输出模块153可以归为警报单元154的一部分。
触觉模块155产生用户能够感觉到的不同触觉效果。触觉模块155产生的触觉效果的一个典型示例是振动。触觉模块155的强度和模式可以被控制。例如,不同的振动可以被组合输出或顺序输出。
除了振动,触觉模块155还可以产生各种其它的触觉效果,例如刺激效果,如引脚排列相对于接触肌肤垂直运动、空气通过喷射孔或吸入口的喷射力或吸力、对皮肤的接触、对电极的接触、静电场力等,通过可以吸收或产生热量的元件来再现感到寒冷和温暖的效果。
触觉模块155可以被实现成允许用户通过诸如用户手指或手臂的肌肉感觉感受到触觉效果,以及通过直接接触转移触觉效果。根据运动终端100的构造,可以设置两个或更多个触觉模块155。
存储器160可以存储用于处理和控制由控制器180执行的操作的软件程序,或可以暂时存储输入或输出的数据(例如,电话簿、消息、静止图像、视频,等)。此外,存储器160可以存储与对触摸屏输入了触摸时所输出的各种模式的振动和音频信号有关的数据。
存储器160可以包括至少一种类型的存储介质,包括闪存、硬盘、多媒体卡、微型记忆卡、卡型存储器(如SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。另外,运动终端100可与执行存储器160在互联网上的存储功能的网络存储设备相关地工作。
接口单元170充当与运动终端100相连的每一个外部设备的接口。例如,外部设备可以发送数据到外部设备,接收和发送电力到运动终端100的每个元件,或将运动终端100的内部数据发送到外部设备。例如,接口单元170可以包括有线或无线耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等的设备的端口。
识别模块可以是存储有用于认证使用运动终端100的权限的各种信息的芯片,且可以包括用户识别模块(UIM)、订户识别模块(SIM)、通用订户识别模块(USIM)等。此外,具有识别模块的装置(下面称为“识别装置”)可以采取智能卡的形式。因此,识别装置可通过接口单元170与终端100相连接。
当运动终端100与外部支架相连时,接口单元170可以充当允许电力从支架提供到运动终端100的通道,或可充当允许用户输入的各种命令信号从支架被转移到运动终端的通道。从支架输入的各种命令信号或电源可以充当识别该运动终端正确安装在支架上的信号。
控制器180通常控制运动终端的一般操作。例如,控制器180执行与语音呼叫、数据通信、视频呼叫等有关的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以构造在控制器180内或者可以被构造成与控制器180分开。
控制器180可以执行模式识别处理以识别将触摸屏上执行的手写输入或图片绘制输入分别识别为字符或图像。
另外,控制器18可以执行锁定状态以限制用户在运动终端的状态满足预设条件时输入应用的控制命令。另外,控制器180可以基于在运动终端的锁定状态下在显示单元151上感测到的触摸输入来控制在锁定状态下显示的锁定画面。
电源单元190接收外部电力或内部电力并在控制器180的控制下提供使各个元件和部件工作所需的适当电力。
本文描述的各种实施方式可以实现为计算机可读介质,或其使用例如软件、硬件或它们的任意组合的类似介质。
对于硬件实现,在此所描述的实施方式可以利用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用来执行本文所描述的功能的电子单元。在某些情况下,可以由控制器180本身来实现这样的实施方式。
对于软件实现方式,这里描述的诸如过程或功能的实施方式可以由独立的软件模块来实现。每个软件模块可以执行这里描述的一个或更多个功能或操作。
软件代码可以通过以任何适当的变成语言编写的软件应用来实现。软件代码可以被存储在存储器160中并由控制器180来执行。
下面将描述能够与根据本公开的运动终端100一起工作的通信系统。
图2A和图2B是能够与根据本公开的运动终端100一起工作的通信系统的概念图。
首先,参考图2A,这样的通信系统利用不同的空中接口和/或物理层。通信系统所利用的这样的空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用运动通信系统(UMTS)、UMTS的长期演进(LTE)、全球运动通信系统(GSM)等。
仅通过非限制性实例,进一步说明CDMA通信系统,但这样的教导同样适用于包括CDMA无线通信系统的其它系统类型。
现参照图2A,CDMA无线通信系统被示出为具有多个运动终端100、多个基站(BS)270、基站控制器(BSC)275和运动交换中心(MSC)280。MSC280被构造成与传统的公共交换电话网(PSTN)290接口。MSC280还被构造成与BSC275接口。BSC275通过回程线连接到基站270。回程线可以按照几种已知的接口来构造,例如包括E1/T1,ATM,IP,PPP,帧中继,HDSL,ADSL或xDSL。因此,多个BSC275可以包含在如图2A所示的系统中。
每个基站270可以包括一个或多个扇区,每个扇区有一个全向天线或指向径向远离基站270的特定方向的天线。另外,各扇区可以包括两个或更多的不同天线。每个基站270可以构造成支持多个频率分配,每个频率分配具有特定的频谱(例如,1.25MHz,5MHz等)。
扇区的交叉和频率分配可称为CDMA信道。基站270也可称为基站收发器子系统(BTS)。在某些情况下,术语“基站”可以用来总称BSC275和一个或更多个基站270。基站也可以表示为“小区站点”。或者,给定基站270的各个扇区可以被称为小区站点。
广播发射机(BT)295,如图2A所示,向工作在该系统内的运动终端100发射广播信号。广播接收模块111(图1B)典型地构造在运动终端100内以接收由BT295发射的广播信号。
图2A进一步描述了几种全球卫星定位系统(GPS)卫星300。这些卫星300方便了确定多个运动终端100中至少一个的位置。图2中描绘了两颗卫星,但应该理解的是,可以利用相比两个卫星而言更多或更少的卫星来获得有用的位置信息。GPS模块115(图1B)通常被构造成与卫星300合作以获得所需的位置信息。应该理解的是,也可以实现其它类型的位置检测技术(即,除了或代替GPS定位技术以外可以使用的定位技术)。如果需要的话,至少一个GPS卫星300可以替代地或附加地被构造成提供卫星DMB传输。
在无线通信系统的典型操作中,基站27从各个运动终端接收几组的反向链路信号。运动终端100从事呼叫、短信,并执行其它通信。给定基站27所接收的每个反向链路信号都在该基站270内进行处理。由此产生的数据被转发给相关的BSC275。BSC275提供呼叫资源分配和运动性管理功能,包括基站270之间的软切换的业务流程。BSC275还将接收到的数据路由给MSC280,后者提供额外的路由服务与PSTN290接口通信。同样,PSTN290与MSC280接口通信,MSC280与BSC275接口通信,BSC275又控制基站270向运动终端100发送几组前向链路信号。
以下将参考图2B来描述使用无线保真(WiFi)定位系统(WPS)来获取运动终端的位置信息的方法。
WiFi定位系统(WPS)300指的是一种基于无线局域网络(WLAN)的定位技术,使用WiFi作为跟踪运动终端100的位置的技术,使用运动终端100中设置的WiFi模块和无线接入点320向WiFi模块发送和从WiFi模块接收。
WiFi定位系统300可以包括WiFi定位服务器310、运动终端100、连接到运动终端100的无线接入点(AP)320和存储有无线AP信息的数据库330。
WiFi定位服务器310根据运动终端100的位置信息请求消息(或信号)提取连接到运动终端100的无线AP320的信息。无线AP320的信息可以通过运动终端100被发送到WiFi定位服务器310或者从无线AP320发送到WiFi定位服务器310。
基于运动终端100的位置信息请求消息的而提取的无线AP的信息可以是MAC地址、SSID、RSSI、信道信息、隐私、网络类型、信号强度和噪声强度中的至少一项。
WiFi定位服务器310接收如上所述的连接到运动终端100的无线AP320的信息,并将所接收到的无线AP320信息与包含在预先建立的数据库330中的信息进行比较以提取(或分析)运动终端的位置信息100。
另一方面,参照图2B,作为一个示例,连接到运动终端100的无线AP被例示为第一无线AP320、第二无线AP320和第三无线AP320。然而,连接到运动终端100的无线接入点的数量可以根据运动终端100所处的无线通信环境以多种方式改变。当运动终端100连接到至少一个无线AP时,WiFi定位系统300可以跟踪运动终端100的位置。
接下来,更详细地考虑存储有无线AP信息的数据库330,设置在不同位置的任何无线AP的各种信息可以存储在数据库330中。
存储在数据库330中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标的信息,无线AP所位于的建筑物、楼层数、详细的室内位置信息(GPS坐标可用)、AP所有者的地址、电话号码等。
这样,与任何无线AP相对应的任何无线AP信息和位置信息一起被存储在数据库330中,因此WiFi定位服务器310可以从数据库330中获取与连接到运动终端100的无线AP的信息对应的无线AP信息,以提取和搜索到的无线AP相匹配的位置信息,从而提取运动终端100的位置信息。
此外,所提取的显示装置(例如,运动终端)的位置信息可以通过WiFi定位服务器310发送到另一个显示装置,从而获取的显示装置100的位置信息。
在本发明中,在要显示信息的情况下,基于由摄像头拍摄的图像来分析处于用户视线方向上的对象。然后,基于分析对象的形状和位置来设置显示单元上能够显示信息的至少一个候选UI区域。然后从所设置的候选UI区域中选择满足预设条件的UI区域来显示信息。
图3是例示了显示在传统技术的眼镜型装置上的用户接口(UI)区域的一个示例的图。运动终端100相当于眼镜型便携式设备或反之亦然。
如图3所示,UI区域50固定在传统眼镜型设备的右上端。因此,图像、事件和各种类型的内容都只显示在UI区域50上。
如果UI区域50处于固定状态,则用户无法在观看UI区域50的同时看到前方。这可能会导致安全问题,并可能妨碍用户认识他或她的周围情况。
因此,本发明提出了一种搜索眼镜型便携式装置的投影面的方法,与在固定位置显示UI区域的传统方法不同,该方法能够根据要显示的信息的类型或投影面的形式来改变UI区域。
图4是例示了根据本发明实施方式的便携式眼镜式装置的搜索信息投影面的信息的方法的流程图,而图5是例示了以多种的方式使用UI区域的示例的图。
如图4所示,用户可以通过便携式眼镜型装置看到形成在他或她前面的场景(或背景)。在这种情况下,在接收到要显示的信息(或事件)时,控制器180实时地分析用户通过摄像头121当前看到的对象的位置和形状。然后,控制器180设置至少一个候选投影面(即,候选UI区域或候选区域),在那里可以将接收到的信息显示(或投影)在显示单元151上(S100~S120)。
信息是各种类型的内容,包括文本信息(电子邮件、SMS)、图像信息、视频数据和虚拟现实数据。候选UI区域要考虑以下因素来设置。
-平坦且不动的对象:窗、桌子、地板、黑板、天空等。
-表面上有少量字母或图形元素的对象
-要显示的信息类型
也就是,作为候选UI区域,平坦且不动的对象被优先确定。然而,表面上有少量字母或图形元素的对象是优选的。特别是,候选UI区域可以根据要显示的信息类型来改变。例如,短信优先显示在接近显示单元的中央区域的对象上,即使该对象较小。相反地,图像被优先显示在大的对象上。所设置的候选UI区域可以暂时存储在存储器160中。
在设置了至少一个候选UI区域后,控制器180根据要显示的信息类型和投影面的形式来选择(最佳的)UI(S130)。最佳UI区域是基于以下标准确定的。
-与中心的距离(视线方向)
-对象的面积(大面积是有利的)
-对象的形状(矩形)
-要插值的颜色数量(数量少是有利的)
-亮度
上述标准有值。值从上到下减小。也就是,在确定最佳UI区域时,用户视线方向和对象的面积是最优先考虑的,还要考虑其它因素。当有多个候选UI区域时,控制器180可选择最大面积的。在一个或更多个条件满足的情况下,可以选择具有最小运动的区域。
如图5所示,UI区域60和61能够以可改变的方式被显示,而不是固定的方式。在确定了最佳UI区域时,控制器180在对应的区域显示(通过投影仪投影)接收到的信息(S140)。
以下,参照附图更详细地描述本发明的优选实施方式。
图6A到图6C是例示了在根据本发明的便携式眼镜型设备中设置候选UI区域的实施方式的图。
如图6A所示,如果接收到的内容是文本,则将基于认知科学将用户习惯于看到字母的区域(即,中部区域)设定为候选UI区域70。
另外,候选UI区域可以是几乎不运动的平台对象,如窗户、桌子和黑板。如果用户看着地板、天空或天花板,则地板、天空或天花板可以是UI区域。
如果候选UI区域70是四边形或长方形(而不是正方形),则控制器180控制对原始数据信息进行调整,使该信息在实际显示时看上去被一个对象(例如,办公桌)覆盖。
要调整的项目可以包括颜色、表面材料、表面形状、光源等。
特别是,在相应的候选UI区域有很多要补偿的区域的情况下,将该候选UI区域从候选UI区域的组中排除,并搜索下一个优先级。如果没有匹配该条件的候选UI区域,则将默认区域71设置为UI区域。
图6B例示了将黑板设置为候选UI区域70的示例,图6C例示了将公告板设置为候选UI区域70的示例。
图7是例示了在要显示的信息是图像信息或视频信息的情况下设置候选UI区域的实施方式的图。
如图7所示,在要显示的信息是图像信息或视频信息的情况下,控制器180寻找要补偿的颜色数量最少的区域。然后,控制器180将该区域设置为候选UI区域70。最佳候选UI区域70被显示为不透明的。
图8A和图8B是例示了由用户直接设置UI区域的实施方式的图。
在本发明中,基于画面中所包含的用户注视的对象的面积、对象的距离和形状、要插值的颜色的数量和亮度来自动确定UI区域。然而,UI区域可以由用户直接确定。
如图8A所示,如果用户使用他或她的手指选择了特定位置,然后用户的手指接触该特定部分达预定时间,则控制器180可以将该特定位置确定为最佳UI区域80。如图8B所示,如果用户的手掌接触了特定对象,则控制器180可以将最接近该特定对象的平坦区域确定为最佳UI区域80。
图9是例示了在与他人分享内容的情况下在分享者附近显示内容的示例的图。
例如,用户可以从朋友A接收到指定图像,并可以从位于同一地点的朋友B接收到音乐,从而分享该指定图像和音乐。在这种情况下,如果用户看着朋友A和朋友B,则控制器180可以通过面部识别来在朋友A和B旁边显示分享信息90。这使用户能够很容易地识别正在与该用户共享信息的人。本实施方式有利于多媒体内容的小组播放、小组讨论等。
在本发明中,当通知信息到达时,将通知信息直接显示在候选区域上,或由用户选择来显示。
图10是例示了在通知区域被固定在特定位置的状态下在UI区域上显示通知信息的示例的图。
参照图10,如果在通知区域已经被固定在特定位置的状态下通知信息出现,则在相应的方向上显示渐变、图标、声音等。
在用户使用的声音、手、时间延迟等表明了想要查看通知信息的意愿时,则将通知信息以及指定动画(例如,飞下或滑下等)一起显示在UI区域80上。
图11A和图11B是例示了在要显示的内容在大小和比例上与UI区域不匹配的情况下的显示方法的图。
在接收到的内容显示在UI区域上的情况下,UI区域可能比该内容大得多。在这种情况下,为了防止降低眼镜型便携式装置对周围环境的识别,控制器180可以仅显示该内容而不显示UI区域(参见图11A)。另外,控制器180可以仅显示UI区域的边缘(参见图11B)。
也就是说,如果要显示的内容在大小或比例上与UI区域不匹配,则控制器10根据模式以不同方式来显示该内容。例如,如果当前模式是自动模式,则控制器180在与UI区域相对应的对象不需要补偿的情况下不显示UI区域。
图12是例示了根据用户的眨眼或实现改变来转换UI区域的操作的流程图。
根据用户注视的图像(位于前方的图像),屏幕上可能存在多个候选UI区域。如果在当前模式是自动模式的情况下候选UI区域的数量为2或更大,则控制器180自动选择并显示最佳UI区域(S200)。如果用户不喜欢所选择的UI区域,则用户可以使用以下方法来选择另一个位置上的UI区域。
1、眨眼
2、视线朝向的最接近的区域
3、诸如重新调整等语音命令
4、头部运动或倾斜的方向
控制器180感测用户的这种眼球运动、语音输入和头部运动(S210)。然后,控制器180将当前显示的UI区域转换为另一个UI区域,然后在该另一个UI区域上显示接收到的信息(S240)。
图13A到图13C是例示了转换图12所示的UI区域的实施方式的图。
在最佳UI区域(UI区域1)已被选择要显示的状态下,如果用户眨眼两次或更多次,则控制器180将所选定的UI区域1转换为UI区域2,如图13A所示。控制器180利用转换动画(淡入淡出、过渡、旋转等)来控制用户识别UI区域的转换。
在另一实施方式中,如图13B所示,控制器180在通过瞳孔识别方法被确定为最接近用户视线所指的方向的区域上显示UI区域2。然后,控制器180在UI区域2上以彩色点、眼状图标、十字、箭头等形式显示视线方向。
在另一实施方式中,控制器180可以通过识别诸如“重新调整”的用户语音来显示下一个优先级的UI区域,也可以控制用户搜索最佳UI区域。
最后,如果用户左右摇头,或者如果用户头部向一个方向倾斜,则控制器180利用安装在其中的传感器来识别该运动从而重新调整UI区域。如果不存在要转换的UI区域,则控制器180显示默认区域。
特别是,用户可以通过改变当前正在看的场景(背景)来改变UI区域。场景的改变意味着视野的改变。如图13C所示,如果用户将他或她的视线方向从窗外变到衣服或身体的一部分,如手掌,则控制器180将先前的UI区域转换为新的UI区域,即,默认区域,如手掌。
如果用户将他或她的视线方向从窗外转换为手表电话、智能电话、可穿戴计算机或打印机,则控制器180可将UI区域转换到相应的装置并且可以根据相应装置的特性(例如,输出功能和显示功能)来输出信息。
图14A和图14B是例示了当背景图像随着用户视线的连续改变而转换了很多次时显示UI区域的方法的图。
如果画面(背景图像)由于用户视线的连续改变而连续改变,则UI区域也连续改变。这可能会降低能见度。
在本发明中,为了提高能见度,当用户视线连续改变时,使用陀螺传感器识别不同的旋转矢量。然后考虑所识别的旋转矢量的差异来固定UI区域。
也就是说,基于图像处理偏移算法等来检查眼镜型便携式装置相对于摄像头拍摄的图像移开了多少。如果确定画面运动了超过预定值,则UI区域被固定到默认区域。该默认区域例如可以是右上区域或先前的UI区域。
如前所述,在本发明中,在用户佩戴眼镜型便携式装置的状态下接收到指定信息时,对用户注视的画面(背景或场景)进行实时分析,从而能够搜索能有效显示信息的区域(UI区域或投影侧)。因为相应信息被显示在最佳区域上,用户可以再不降低他或她的环境认知的情况下有效地检查接收到的信息。
根据本说明书中公开的一个实施方式,上述方法可以通过作为处理器可读的代码存储在程序存储介质中来实现。ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等是处理器可读介质的示例,处理器可读介质可实现为载波的形式(例如,互联网上的传输)。处理器可以包括运动终端的控制器。
上述实施方式和优势仅仅是示例性的,不应被视为限制本公开。本教导可以很容易地应用到其它类型的设备。说明书是例示性的,而不是要限制权利要求的范围。本领域技术人员可以想到许多选择、修改和改变。这里描述的示例性实施方式的特点、结构、方法和其它特性可以按照多种方式进行结合,以获得额外的和/或另选的示例性实施方式。
由于目前的特征可以按照若干形式来实施而不会偏离其特性,所以还应该理解,上述实施方式不受任何上述说明书细节的限制,除非另有规定,而是应该在所附权利要求限定的范围内广泛理解,因此所有这些改变和修改都落在权利要求的界限内,或这种界限的等价物也因此旨在由所附权利要求包含。

Claims (15)

1.一种用于在眼镜型可佩带设备上定位用于显示信息的显示区域的方法,该方法包括以下步骤:
对该设备的摄像头所捕获的图像内的对象的形状和位置进行分析,该图像对应于用户的视野;
基于所分析出的所述对象的形状和位置以及要显示的信息的类型来在所述设备的显示器上生成至少一个候选显示区域,所生成的至少一个候选显示区域被显示在所述对象上;
基于所述用户的视野的方向和所生成的候选显示区域的大小来从所述至少一个候选显示区域中自动选择显示区域;以及
将所述信息投影到所选择的显示区域上,使得所述信息显示在所述显示器的特定位置,
其中,所生成的至少一个候选显示区域的位置是能够根据要显示的所述信息的类型而变化的。
2.根据权利要求1所述的方法,其中,所述至少一个候选显示区域被生成在:
所述显示器的显示了很少运动且平坦的对象的位置;或者
所述显示器的显示了表面有少量字母或图形元素的对象的位置,以及
其中,所述信息包括用户接口UI、文本信息、图像信息、视频信息或者虚拟现实信息。
3.根据权利要求1所述的方法,其中:
当所述信息是文本信息时,所述至少一个候选显示区域被生成在所述显示器的所述用户习惯观看字母的位置;并且
当所述信息是图像信息或视频信息时,所述至少一个候选显示区域被生成在颜色数量少的所述对象上。
4.根据权利要求3所述的方法,其中:
当所述信息是文本信息且所选择的显示区域不是四边形时,将所述信息调整为匹配所选择的显示区域的颜色和形状中的至少一个。
5.根据权利要求1所述的方法,其中;
所选择的显示区域被显示在接近所述显示器的中心区域的对象上、大尺寸对象上、矩形对象上、颜色数量少的对象上或者具有低亮度的对象上;并且
在接近所述中心区域的对象上显示的显示区域在所述显示区域中具有最高优先级。
6.根据权利要求1所述的方法,该方法还包括以下步骤:
响应于用户输入从所选择的显示区域切换到另一个显示区域,所述用户输入包括由所述用户产生的运动或者由所述用户产生的语音输入,
其中,所述运动包括眨眼、通过瞳孔识别的视线改变、左右方向的头部运动以及头部倾斜。
7.根据权利要求1所述的方法,该方法还包括以下步骤:
响应于与所述用户的视野相对应的图像的改变,从所选择的显示区域切换到另一个显示区域,
当所述用户的视野连续改变时计算先前视野与当前视野之差;以及
当计算出的差大于阈值时,将所选择的显示区域设定到所述显示器的固定位置,
其中,所述固定位置对应于默认区域或者在先前观看期间生成的先前显示区域。
8.一种眼镜型可佩带设备,该眼镜型可佩带设备包括:
显示器,其被构造成显示信息;
摄像头,其被构造成捕获包括多个对象的图像;以及
控制器,其被构造成:
对所述图像内的对象的形状和位置进行分析,所述图像对应于用户的视野;
基于所分析出的所述对象的形状和位置以及要显示的信息的类型来在所述设备的所述显示器上生成至少一个候选显示区域,所生成的至少一个候选显示区域被显示在所述对象上;
基于所述用户的视野的方向和所生成的候选显示区域的大小来从所述至少一个候选显示区域中自动选择显示区域;以及
使投影仪将所述信息投影到所选择的显示区域上,使得所述信息显示在所述显示器的特定位置,
其中,所生成的至少一个候选显示区域的位置是能够根据要显示的所述信息的类型而变化的。
9.根据权利要求8所述的设备,其中:
所述信息包括存储在所述设备的存储器中的信息和来自于外部源的信息;
所述信息包括用户接口UI、文本信息、图像信息、视频信息或者虚拟现实信息;并且
所述至少一个候选显示区域被生成在所述显示器的显示了很少运动且平坦的对象的位置或者所述显示器的显示了少量字母或图形元素的对象的位置。
10.根据权利要求8所述的设备,其中,所述控制器被进一步构造成:
当所述信息是文本信息时,在所述显示器的所述用户习惯观看字母的位置生成所述至少一个候选显示区域;并且
当所述信息是图像信息或视频信息时,在所述显示器的要补偿的颜色数量最小的位置生成所述至少一个候选显示区域。
11.根据权利要求10所述的设备,其中,所述控制器被进一步构造成:
当所述信息是文本信息且所选择的显示区域不是四边形时,将所述信息调整为匹配所选择的显示区域的颜色和形状中的至少一个。
12.根据权利要求8所述的设备,其中:
所选择的显示区域被显示在接近所述显示器的中心区域的对象上、大尺寸对象上、矩形对象上、颜色数量少的对象上或者具有低亮度的对象上;并且
在接近中心区域的对象上显示的显示区域在所述显示区域中具有最高优先级。
13.根据权利要求8所述的设备,其中,所述控制器被进一步构造成,当所选择的显示区域的尺寸大于要显示的信息的尺寸时,使所述显示器在不显示所选择的显示区域的情况下仅显示内容或者显示所述信息和所选择的显示区域的边缘。
14.根据权利要求8所述的设备,其中,所述控制器被进一步构造成,响应于用户输入从所选择的显示区域切换到另一个显示区域,所述用户输入包括由所述用户产生的运动或者由所述用户产生的语音输入,
其中,所述运动包括眨眼、通过瞳孔识别的视线改变、左右方向的头部运动以及头部倾斜。
15.根据权利要求8所述的设备,其中,所述控制器被进一步构造成,
响应于与所述用户的视野相对应的图像的改变,从所选择的显示区域切换到另一个显示区域,
当所述用户的视野连续改变时计算先前视野与当前视野之差;以及
当计算出的差大于阈值时,将所选择的显示区域设定到所述显示器的固定位置,
其中,所述固定位置对应于默认区域或者在先前观看期间生成的先前显示区域。
CN201410336200.4A 2013-07-15 2014-07-15 眼镜型便携式设备及其信息投影面搜索方法 Expired - Fee Related CN104301709B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130083061A KR20150008733A (ko) 2013-07-15 2013-07-15 안경형 휴대기기 및 그의 정보 투사면 탐색방법
KR10-2013-0083061 2013-07-15

Publications (2)

Publication Number Publication Date
CN104301709A CN104301709A (zh) 2015-01-21
CN104301709B true CN104301709B (zh) 2018-05-11

Family

ID=51228277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410336200.4A Expired - Fee Related CN104301709B (zh) 2013-07-15 2014-07-15 眼镜型便携式设备及其信息投影面搜索方法

Country Status (4)

Country Link
US (1) US9569894B2 (zh)
EP (1) EP2827304A1 (zh)
KR (1) KR20150008733A (zh)
CN (1) CN104301709B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977241B2 (en) * 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
KR102063895B1 (ko) 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
US10110726B2 (en) 2015-06-11 2018-10-23 International Business Machines Corporation Rapid serial visual presentation to deliver messages in social spaces
US9852550B2 (en) * 2015-08-05 2017-12-26 Civic Resource Group International Inc. System and method of markerless injection of ads in AR
US10656705B2 (en) * 2015-08-28 2020-05-19 Interdigital Ce Patent Holdings, Sas Assisted item selection for see through glasses
GB2544469B (en) 2015-11-13 2020-05-27 Sony Interactive Entertainment Europe Ltd Communication method and device
US10242457B1 (en) * 2017-03-20 2019-03-26 Zoox, Inc. Augmented reality passenger experience
CN107479691B (zh) * 2017-07-06 2021-01-08 捷开通讯(深圳)有限公司 一种交互方法及其智能眼镜和存储装置
CN107450722A (zh) * 2017-07-12 2017-12-08 深圳纬目信息技术有限公司 一种带有噪音过滤功能的双重交互控制头戴式显示设备和交互方法
US11417135B2 (en) 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
KR102490630B1 (ko) * 2017-12-26 2023-01-20 엘지디스플레이 주식회사 접안 렌즈를 포함하는 디스플레이 장치
CN110149458A (zh) * 2018-02-13 2019-08-20 中兴通讯股份有限公司 增强现实视觉元素显示的方法和装置
KR102462678B1 (ko) 2018-05-18 2022-11-04 삼성전자주식회사 주변 조도에 기반하여 디스플레이에 표시되는 콘텐트의 위치를 조절하는 전자 장치와 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200641A (zh) * 2010-03-24 2011-09-28 奥林巴斯株式会社 头戴式显示设备
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
CN102651129A (zh) * 2011-02-24 2012-08-29 任天堂株式会社 图像处理装置、图像处理系统及图像处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP4878083B2 (ja) 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
JP3992629B2 (ja) * 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
JP4134785B2 (ja) * 2003-03-28 2008-08-20 株式会社デンソー 表示装置
US20060284834A1 (en) * 2004-06-29 2006-12-21 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using a haptic camera view
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP5293025B2 (ja) 2008-09-11 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5055402B2 (ja) 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
CN102200641A (zh) * 2010-03-24 2011-09-28 奥林巴斯株式会社 头戴式显示设备
CN102651129A (zh) * 2011-02-24 2012-08-29 任天堂株式会社 图像处理装置、图像处理系统及图像处理方法

Also Published As

Publication number Publication date
CN104301709A (zh) 2015-01-21
US20150015608A1 (en) 2015-01-15
EP2827304A1 (en) 2015-01-21
KR20150008733A (ko) 2015-01-23
US9569894B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
CN104301709B (zh) 眼镜型便携式设备及其信息投影面搜索方法
KR102021857B1 (ko) 이동 단말기 및 그의 파노라마 촬영방법
KR102080746B1 (ko) 이동 단말기 및 그것의 제어 방법
US9134952B2 (en) Terminal and control method thereof
US20180213144A1 (en) Terminal and method for controlling the same
CN104423878B (zh) 显示装置以及控制该显示装置的方法
US9547432B2 (en) Mobile terminal and control method thereof
EP2824559A1 (en) Mobile terminal and control method thereof
EP2846250A2 (en) Mobile terminal and method for controlling the same
CN104052866B (zh) 移动终端和控制移动终端的方法
CN104469132A (zh) 移动终端和该移动终端的控制方法
EP2982042B1 (en) Terminal and control method thereof
KR20150032054A (ko) 이동 단말기 및 그것의 제어방법
KR20150047032A (ko) 이동 단말기 및 이의 제어방법
US20160110094A1 (en) Mobile terminal and control method thereof
US20150070525A1 (en) Mobile terminal and control method thereof
KR20140085039A (ko) 이동 단말기의 제어 장치 및 그 방법
KR20150009488A (ko) 이동 단말기 및 그것의 제어방법
KR20150099940A (ko) 단말기 및 상기 단말기에서의 av 데이터 출력 제어 방법
KR101977089B1 (ko) 이동 단말기 및 이의 제어방법
KR20140099736A (ko) 이동 단말기 및 그것의 제어 방법
KR101984097B1 (ko) 이동 단말기 및 이의 제어방법
KR20150009017A (ko) 이동 단말기 및 이의 제어방법
KR20150047903A (ko) 이동 단말기 및 이의 제어방법
KR20150055900A (ko) 이동 단말기 및 이의 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180511

Termination date: 20210715

CF01 Termination of patent right due to non-payment of annual fee