CN104102344A - 可佩戴装置及可佩戴装置的显示控制方法 - Google Patents

可佩戴装置及可佩戴装置的显示控制方法 Download PDF

Info

Publication number
CN104102344A
CN104102344A CN201410144248.5A CN201410144248A CN104102344A CN 104102344 A CN104102344 A CN 104102344A CN 201410144248 A CN201410144248 A CN 201410144248A CN 104102344 A CN104102344 A CN 104102344A
Authority
CN
China
Prior art keywords
sensing
visual field
information
wearable device
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410144248.5A
Other languages
English (en)
Inventor
杉原良平
龙田成示
富田晃央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104102344A publication Critical patent/CN104102344A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供可佩戴装置及可佩戴装置的显示控制方法,在进行视场感测和周围感测两者后,进行对佩戴者提示适当的信息的显示控制。可佩戴装置包含:显示部(300),其将佩戴者的视场的部分区域设为显示区域,并在显示区域中显示放大虚像;视场感测部(100),其进行感测存在于视场方向的对象物的视场感测,取得视场感测信息;周围感测信息取得部(200),其取得感测存在于佩戴者的周围的对象物的周围感测的结果、即周围感测信息;以及显示控制部(400),其进行如下控制:将从通过视场感测和周围感测中的至少一方识别出的对象物即候选对象物中选择出的对象物的对象物信息显示在显示部(300)上。

Description

可佩戴装置及可佩戴装置的显示控制方法
技术领域
本发明涉及可佩戴装置以及可佩戴装置的显示控制方法。
背景技术
近年来,广泛公知有“Internet of Things”(IoT,物联网)这一思路。该思路考虑了配置于日常环境的所有“物品”具有信息、并被网络化的世界。
例如冰箱或空调等配置于家庭和办公室的所有家电化作所谓的“智能家电”,各个家电与互联网等网络连接而进行信息的发布等。此外,“物品”不限于家电等电子设备,盆栽花木、水槽、陈列在商店的架子上的所有商品都可能成为对象。
在这样将多个“物品”连接到网络来进行信息发布等的情况下,如果从给定用户的角度考虑,则需要信息的取舍选择。例如即使取得对于该用户而言关联性明显较低的商品信息也不能说是有用的,本来发布到网络上的信息量就比较庞大,阅览全部信息是不现实的。
此时,考虑进行一些感测处理,从而取得感测到的对象物的信息。例如在专利文献1中公开了以下方法:取得来自嵌入到周围的传感器的信息,通过将该信息显示在头戴式显示器上,得知周围的状况。并且在专利文献2中公开了以下方法:在数据库中对拍摄前方视场而得的图像进行分析,并将所拍摄的对象物的关联信息显示在显示装置上。
【专利文献1】日本特开2010-151867号公报
【专利文献2】日本特开2012-155313号公报
但是在专利文献1中,需要从所嵌入的传感器取得信息,并通过一些电器件发布信号,从而存在对于未组装传感器等电器件的对象物无法取得信息的问题。
并且在专利文献2中记载了根据由摄像元件拍摄的图像对该图像进行分析从而得出关联信息的方法,但是只能识别拍摄方向的对象物,在拍摄方向和视场方向以外存在对象物的情况下,存在无法检测对象物、或注意不到对象物存在的问题。此外,存在无法检测到进入拍摄死角的对象物的问题。
并且,在专利文献1和专利文献2中,未公开任何在感测到多个对象物时从其中选择1个等、考虑到用户的便利性等的显示控制方法。
发明内容
根据本发明的几个方式,提供一种可佩戴装置以及可佩戴装置的显示控制方法等,在进行视场感测和周围感测两者后,进行对佩戴者提示适当的信息的显示控制。
本发明的一个方式涉及可佩戴装置,其包含:显示部,其将佩戴者的视场的部分区域设为显示区域,并在所述显示区域中显示放大虚像;视场感测部,其进行感测存在于所述佩戴者的视场方向的对象物的视场感测,取得视场感测信息;周围感测信息取得部,其取得感测存在于所述佩戴者的周围的所述对象物的周围感测的结果、即周围感测信息;以及显示控制部,其进行如下控制:将从通过所述视场感测和所述周围感测中的至少一方识别出的所述对象物即候选对象物中选择出的所述对象物的对象物信息显示在所述显示部上。
在本发明的一个方式中,可佩戴装置取得视场感测信息和周围感测信息两者,并进行如下控制:显示从通过视场感测和周围感测中的至少一方识别出的候选对象物中选择出的对象物的信息。由此,与以往方法相比,能够适当地识别认为对于佩戴者而言关心程度高的对象物,并且能够通过对识别出的候选对象物进行选择处理,对佩戴者适当提示对象物信息等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:优先显示所述候选对象物中的、通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述对象物信息。
由此,能够通过优先显示通过视场感测和周围感测两者识别出的对象物,提示认为对于佩戴者而言关心程度高的对象物的信息等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:显示在针对所述对象物的控制指示中使用的控制画面,作为所述对象物信息。
由此,能够显示控制画面作为对象物信息。
此外,在本发明的一个方式中,所述可佩戴装置可以包含与作为所述对象物的电子设备进行通信的通信部,所述通信部根据基于所述控制画面的所述佩戴者的操作,对作为所述对象物的所述电子设备发送所述控制指示的信号。
由此,在进行了基于控制画面的操作的情况下,能够通过发送与该操作对应的控制信号,进行对象物的控制等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:显示表示第1~第N(N为大于等于2的整数)对象物的第1~第N图标作为所述对象物信息,所述显示控制部进行如下控制:在进行了从所述第1~第N图标中选择第i(i为满足1≦i≦N的整数)的图标的选择处理的情况下,显示所述控制画面,所述控制画面用于针对与所选择的所述第i图标对应的第i对象物的所述控制指示。
由此,能够在显示了多个图标后,显示与从多个图标中选择出的图标对应的对象物的控制画面等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:在所述图标的显示后,给定的期间内未进行所述佩戴者的所述选择处理的情况下,进行从所述图标中自动选择1个图标的所述选择处理,并显示与所选择的所述图标对应的所述对象物的所述控制画面。
由此,在未进行佩戴者的选择的情况下,可佩戴装置自动选择1个对象物,由此能够自动地转移到控制画面的显示等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:显示表示所述对象物的图标,作为所述对象物信息,所述显示控制部进行如下控制:以第1显示方式显示通过所述视场感测识别出且未通过所述周围感测识别出的所述对象物的所述图标,以与所述第1显示方式不同的第2显示方式显示未通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述图标,以与所述第1显示方式以及所述第2显示方式均不同的第3显示方式显示通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述图标。
由此,能够显示图标作为对象物信息,并且以是否分别由视场感测和周围感测识别出为基准,变更该图标的显示方式等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:根据所述视场感测信息和所述周围感测信息中的至少一方,从所述候选对象物中选择1个所述对象物,并显示所选择的所述对象物的所述对象物信息。
由此,能够使用视场感测信息和周围感测信息中的至少一方,从候选对象物中选择1个对象物作为显示对象。
此外,在本发明的一个方式中,所述视场感测部可以进行取得拍摄图像的所述视场感测,根据针对所取得的所述拍摄图像的图像处理取得所述视场感测信息,所述周围感测信息取得部作为接收来自所述对象物的信号的所述周围感测的结果,取得与所述信号的强度相关的信息作为所述周围感测信息,所述显示控制部进行如下控制:从所述候选对象物选择如下的1个所述对象物,并显示所选择的所述对象物的所述对象物信息,该1个所述对象物是根据所述视场感测信息判定为被拍摄到所述拍摄图像中、根据所述周围感测信息判定为被检测到所述信号、且根据所述视场感测信息和所述周围感测信息中的至少一方判定为相对于所述佩戴者的视线方向的角度比其他对象物小的1个所述对象物。
由此,能够通过摄像取得视场感测信息,并且取得与信号强度相关的周围感测信息,并以通过视场感测和周围感测两者感测出、和相对于视线方向的角度比其他对象物小为条件,从候选对象物中选择1个对象物等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:显示关于所述对象物的属性信息作为所述对象物信息。
由此,能够显示对象物的属性信息作为对象物信息等。
此外,在本发明的一个方式中,所述显示控制部可以进行如下控制:在所述候选对象物的数量大于等于给定阈值的情况下,在所述显示部上显示数量比所述阈值少的所述对象物信息,且显示所述候选对象物中的所述对象物信息不是显示对象的所述对象物的数量。
由此,能够限定作为显示对象的对象物信息的数量,并且向佩戴者通知没有作为显示对象的对象物的数量等。
此外,本发明的另一方式涉及使计算机作为如下部件发挥功能的程序:视场感测部,其进行感测存在于可佩戴装置的佩戴者的视场方向的对象物的视场感测,取得视场感测信息;周围感测信息取得部,其取得感测存在于所述佩戴者的周围的所述对象物的周围感测的结果、即周围感测信息;以及显示控制部,其进行如下控制:从通过所述视场感测和所述周围感测中的至少一方识别出的所述对象物即候选对象物中选择出的所述对象物的对象物信息显示在显示部上。
此外,本发明的又一方式涉及一种可佩戴装置的显示控制方法,所述可佩戴装置具有将佩戴者的视场的部分区域设为显示区域、并在所述显示区域中显示放大虚像的显示部,在所述可佩戴装置的显示控制方法中,进行感测存在于所述佩戴者的视场方向的对象物的视场感测,取得视场感测信息,进行取得周围感测信息的处理,所述周围感测信息是感测存在于所述佩戴者的周围的所述对象物的周围感测的结果,进行如下控制:将从通过所述视场感测和所述周围感测中的至少一方识别出的所述对象物即候选对象物中选择出的所述对象物的对象物信息显示在所述显示部上。
附图说明
图1是本实施方式的可佩戴装置的系统结构例。
图2是可佩戴装置、对象物和感测范围的关系图。
图3是说明经由移动电话等电子设备感测对象物的例子的图。
图4是拍摄图像的例子。
图5是显示图标作为对象物信息的情况下的显示图像的例子。
图6是进行列表显示作为对象物信息的情况下的显示图像的例子。
图7是显示控制画面作为对象物信息的情况下的显示图像的例子。
图8的(A)、图8的(B)是说明外界视野和显示区域的图。
图9是说明物联网(Internet of Things)的世界观的图。
图10是说明显示控制中的选择处理的流程图。
标号说明
100:视场感测部;200:周围感测信息取得部;300:显示部;400:显示控制部;500通信部;600:处理部;700:电池。
具体实施方式
下面对实施方式进行说明。另外,以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。另外,本实施方式所说明的所有结构并非都是本发明所必需的构成要件。
1.本实施方式的方法
首先说明本实施方式的方法。如上所述,在“物联网(Internet of Things)”的世界观中,配置于日常环境的所有“物品”具有信息、并被网络化。并且各“物品”(其是识别对象、信息取得对象,因此以下表述为对象物)将信息发布到网络上,用户取得并阅览该信息。
如上所述,作为对象物,可以是智能家电,可以不是电子设备而是盆栽花木、水槽,还可以如图9所示那样是陈列在商品架上的各种商品。考虑各种信息发布的形式,例如各个家电可以利用SNS(Social Networking Service:社会性网络服务),作为一例,考虑利用短文投稿服务,将自己保持的信息投给使用者。更具体而言,冰箱可以将保管在内部的食材量和保存状态等通知给该冰箱的所有人。另外,图9的对话框图形表现出各商品发布信息这样的“物联网(Internet of Things)”的世界观。因此可以使用扩展现实等实际用对话框图形的形式向用户进行信息提示,但本实施方式不限于那样的方法。
此外,关于盆栽花木和水槽等、其自身本来不是电子设备的不具有通信功能的物品,可以对这些对象物安装具有传感器和通信部的小型电子设备。或者,对象物的信息可以由服务器等进行管理,通过用户(例如盆栽花木的管理者、商品的购买者等)侧具有的设备识别对象物,并对服务器请求信息取得。
在这样的世界观中,完全取得网络上的庞大信息会包含无益的信息,并且如果最初就考虑信息量也是不现实的。因此,考虑进行使用一些传感器的感测处理,从而取得并显示感测到的对象物的信息。例如在专利文献1中公开了取得来自嵌入到周围的传感器的信息,并显示在头戴式显示器上的手段,在专利文献2中公开了在数据库中对拍摄前方视场而得的图像进行分析,并将所拍摄的对象物的关联信息显示在显示装置上的方法。
但是,在专利文献1中以在环境中配置传感器为前提,因此不能将未组装传感器的物品作为对象物。但是,目前也出现在商品包装上附加表示信息地址(例如主页的URL)的二维条形码的商品,像这样的即使该物品自身不具有传感器,该物品的信息也存在于网络上的例子较多。在专利文献1的方法中,难以访问那样的物品的信息。
并且在专利文献2中,对拍摄视场方向而得的拍摄图像进行图像处理,因此需要将期望的对象物拍摄到拍摄图像上。因此,即使对象物处于用户的近处,如果其从视场偏离,也不成为检测对象,并且即使在视场方向存在对象物,在被其他物品遮蔽等、处于摄像部的死角的情况下也不成为检测对象。
因此本申请人提出一并使用检测视线方向的对象物的视场感测、和感测用户周围的对象物的周围感测的方法。由此,即使是不处于佩戴者的视场方向的设备、或无法直接目视那样的设备也能够进行感测,并且还能够感测无法发出电波的对象物。
但是,在一并使用两个感测方法的情况下,需要研究怎样向用户提示感测结果,具体而言,需要研究怎样进行显示部中的显示控制。在本实施方式中,作为用户使用的设备,假定了具有透视型的显示部的可佩戴装置(例如Head Mounted Display,头戴式显示器,HMD)。因此,这里的用户是指佩戴可佩戴装置的佩戴者。假定透视型的可佩戴装置是考虑到视场感测时的用户便利性等。
例如,如上所述,广泛公知有在商品的包装、陈列架所附加的宣传单等上显示二维条形码的方法,但在目前使用移动电话等进行了操作。具体而言,强制用户进行如下操作:取出移动电话,起动该移动电话的相机,拍摄二维条形码,并转移到显示通过拍摄而取得的URL的浏览器画面。这些操作是非常繁杂的操作,对该商品很有兴趣的用户以外的用户不进行操作的可能性高。结果,从商品提供者的观点出发失去信息的提示机会,并且从用户的观点出发失去信息的取得机会。
在这点上,透视型的可佩戴装置被用作与外界视场重叠来显示信息的信息显示装置,因此外界视场有何物的信息是有用的,一般感测用户的视场方向。例如广泛使用了设置有拍摄用户的视场方向的摄像部的透视型可佩戴装置。即,在透视型可佩戴装置的情况下不需要有意识地进行将处于收纳状态的装置设为起动状态、进而起动该装置的相机、并将该相机的拍摄方向朝向想识别的对象物的方向这样的移动电话所需的操作,只要在佩戴着该可佩戴装置的状态下进行朝向对象物的方向的动作即足够。
此外,即使在对象物侧能动地发布信息的情况(例如对象物是电子设备的情况)下,如后所示那样判定该对象物是否处于用户正面也是有用的。从该点考虑,一般具有感测用户正面方向(狭义上是视线方向)的视场感测部的透视型可佩戴装置与本实施方式的方法的亲和性非常高。
即,能够通过使用透视型可佩戴装置提高便利性,但在该可佩戴装置中显示区域的狭窄成为问题,如上所述需要研究显示控制的方法。之所以这样,是因为假定在佩戴着透视型可佩戴装置的情况下进行移动,因此越难以识别外界视场越无法增大信息显示区域。因此,例如在用户的视场(实际视野)是图8(A)所示的状态的情况下,显示区域如图8(B)的DA所示那样停留于外界视场的一部分,结果限定显示区域的面积。
如果限定显示区域的面积,则一次可显示的信息量也变少,如果如上述那样一并使用视场感测和周围感测两者,则可识别的对象物反而增加。即,关于假定检测到多个的对象物,以适当的方式显示该对象物的信息(以下为对象物信息)也成为必要的处理。
如上所述,本申请人提出如下透视型可佩戴装置:一并使用视场感测和周围感测、且进行适当显示检测到的对象物的对象物信息的控制。具体而言,如图1所示,本发明的一个方式涉及一种可佩戴装置,该可佩戴装置包含:显示部300,其将佩戴者的视场的部分区域设为显示区域,并在显示区域中显示放大虚像;视场感测部100,其进行感测存在于视场方向的对象物的视场感测,取得视场感测信息;周围感测信息取得部200,其取得感测存在于佩戴者周围的对象物的周围感测的结果、即周围感测信息;以及显示控制部400,其进行如下控制:将从通过视场感测和周围感测中的至少一方识别出的对象物即候选对象物中选择的对象物的对象物信息显示在显示部300上。
图1示出本实施方式的可佩戴装置的系统结构例。图1是从上方观察到的眼镜型的可佩戴装置(HMD)的图,镜腿部是挂耳部分,如果是通常的眼镜,则前部是设置有镜片的部分。另外,本实施方式的可佩戴装置不限于眼镜型。如图1所示,可佩戴装置包含视场感测部100、周围感测信息取得部200、显示部300、显示控制部400、通信部500、处理部600和电池700。但是,可佩戴装置不限于图1的结构,可实施省略这些结构要素的部分结构要素或追加其他结构要素等各种变形。
视场感测部100进行感测处于用户视场的对象物的视场感测。周围感测信息取得部200取得感测处于用户周围的对象物的周围感测的结果,作为周围感测信息。视场感测部100和周围感测信息取得部200的详细情况将后述。另外,进行周围感测的周围感测部可以包含在可佩戴装置中,也可以通过其他设备实现。
显示部300在用户的外界视场上重叠显示显示图像。作为一例,如图1所示,可以设置前端来到用户的眼球正面的位置那样的镜架,通过在该镜架前端设置显示器来实现显示部300。显示控制部400进行显示部300中的显示控制。另外,本实施方式的显示控制部400不仅进行显示部300的动作控制,还进行显示在显示部300上的显示图像的生成处理等。
通信部500经由网络进行与其他电子设备的通信。具体而言,接收来自对象物的对象物信息,并且将基于后述的控制画面中的用户操作的控制信号发送到对象物。
处理部600根据基于用户操作的操作信息、和通信部500接收到的信息进行各种处理。该处理部600的功能能够通过各种处理器(CPU等)、ASIC(门阵列等)等硬件,或者程序等实现。另外,如上所述,假定由显示控制部400进行显示部300中的显示控制所需的处理。
电池700提供用于使可佩戴装置的各部件动作的电力。
以下,在说明视场感测和周围感测的具体例子后,对在本实施方式中进行的显示控制的详细情况进行说明。作为显示控制,说明进行从候选对象物中选择1个或多个对象物的选择处理(不仅是单纯的选择而包含优先度信息的设定处理等)、图标显示的例子,以及进行控制画面显示的例子。
2.视场感测和周围感测
对视场感测和周围感测的具体例子进行说明。另外,视场感测和周围感测不限于以下说明的情况。只要能够如图2所示那样识别与佩戴者的视场对应的区域的对象物,则视场感测也可以是其他方法,对于周围感测,只要能够如图2所示那样识别佩戴者周围的对象物,则也可以是其他方法。
2.1视场感测的具体例子
作为视场感测的一例,可以考虑如图1所示那样使用摄像部,并对通过该摄像部取得的拍摄图像进行图像处理。可考虑各种从拍摄图像中检测对象物的方法,但例如也可以按照每个对象物保持模板信息,并对拍摄图像进行使用了该模板信息的模板匹配处理。或者,还可以存储对象物的特征量信息,并进行与根据拍摄图像求出的特征量信息的比较处理。这里,特征量可以是像素值(例如R、G、B的值),也可以是亮度或色差(Y、Cr、Cb),还可以是根据这些值求出的其他值。此外,可以将进行傅立叶变换等取得的空间频率特性设为特征量。
这里,摄像部的视场角(作为摄像部的拍摄对象的被摄体范围)、与佩戴者的实际视场的视场角不一定需要一致。如上所述,如果考虑佩戴者以朝向对象物的方向这样的动作进行感测的例子,则摄像部的视场角与用户视野的视场角优选具有对应关系。但是,如果考虑佩戴状态的个体差异、和佩戴时的歩行行进引起的佩戴状态的偏差等,则难以严格要求一致,即使最初不严格一致也能够进行期望的处理。此外,如果使用用户的视线方向集中在视场的中央部分(例如不考虑仅移动眼睛的情况)这样的假定,则只要能够取得用户视野的中央部分的拍摄图像即可。或者,还存在以下思路:考虑用户的视线方向与摄像部的光轴的上述偏差,取得视场角比用户视野宽的拍摄图像。即,摄像部的拍摄范围能够实施各种变形,本实施方式能够广泛应用这些变形。
或者,如果能够设置向对象物照射可见光或红外光等的发光部、或者安装具有该发光部的电子设备,则视场感测能够通过接收来自发光部的光的受光部实现。该情况下,作为视场感测部,不需要如上述摄像部那样取得至拍摄图像,只要存在能够识别从对象物发出的光的结构即可,能够容易且价廉地实现视场感测部。该情况下,需要在对象物中设置发光部,因此无法感测不具有发光部的对象物,从而可能产生无法识别不是电子设备的对象物这样的与专利文献1相同的问题。但是,由于发光部比较价廉,因此与将具有通信部的电子设备附加到对象物的情况相比,能够比较容易地实现。
2.2周围感测的具体例子
接着叙述周围感测的具体例子。关于周围感测,与上述视场感测不同,将从对象物侧输出一些信号作为前提。即,对于不是电子设备、且未安装信号输出用的设备的对象物,即使极其接近佩戴者也不识别,本实施方式允许该情况。
作为周围感测的一例,例如可以检测对象物为了通信而输出的Wi-Fi等无线LAN的电波。如上所述,作为电子设备的本实施方式的对象物假定输出自身使用传感器等取得的信息,因此一般具有通信部。在检测到了那样的通信用的信号的情况下,能够判定为输出该信号的对象物处于可佩戴装置的周围。此外,可佩戴装置与对象物的距离越近,则信号强度越增强,越远则越减弱。即,不是仅单纯地估计对象物的有无,还能够通过使用信号强度估计可佩戴装置到对象物的距离。此外,还能够一定程度地估计信号输出方的方向,因此还能够估计对象物相对于可佩戴装置处于哪个方向。因此,如图2所示,能够根据信号强度和信号方向求出可佩戴装置与对象物的相对位置关系。但是,对于这些信号,不仅是直接到达可佩戴装置的信号,通过其他物体反射后的信号也在可佩戴装置中被检测到。因此,在将信号方向用于处理的情况下,应该留意需要进行以下应对的方面,即设为即使精度不高也没有问题的处理、或者考虑反射波的存在而进行用于提高精度的校正处理。
此外,还考虑对象物与可佩戴装置不直接交换信号的情形。例如,如图3所示,还考虑以下情况:可佩戴装置WE与移动电话SP以短距离无线(例如为Bluetooth(注册商标)但不限于此)进行连接,移动电话SP与对象物以及互联网等网络连接。该情况下,上述周围感测通过移动电话SP进行,可佩戴装置WE取得作为周围感测结果的周围感测信息。
或者,还考虑以下方式:可佩戴装置(或可佩戴装置的用户所保持的移动电话)和对象物分别具有GPS等位置信息取得部,并将所取得的位置信息发送到网络上的位置信息管理服务器。该情况下,可佩戴装置与对象物不相互连接,但能够在位置信息管理服务器中掌握可佩戴装置的位置、和对象物的位置,因此能够确定存在于可佩戴装置的周边的对象物,这无非是周围感测的处理。该情况下,可佩戴装置自身也不进行周围感测,而从外部取得作为周围感测结果的周围感测信息。
3.显示控制
对在显示控制部400中进行的显示控制的具体例子进行说明。在首先说明了从候选对象物进行选择的处理后,作为对象物信息的具体例子,对显示图标的例子、和显示控制画面的例子进行说明。
3.1候选对象物和选择处理
在本实施方式中,如上述那样一并使用视场感测和周围感测。因此,能够取得通过视场感测和周围感测中的至少一方识别出的对象物的信息,因此能够成为显示部300中的显示的候选。因此在本实施方式中,将通过视场感测和周围感测中的至少一方识别出的对象物称作候选对象物。
如上所述,假定候选对象物为一定程度的数量,因此认为难以在透视型可佩戴装置的显示部300上显示全部候选对象物的对象物信息,或者由于以同等的优先度显示全部对象物信息而使得佩戴者难以理解信息。
因此在本实施方式中,对候选对象物进行选择处理,并进行根据其结果确定显示部300中的显示方式的显示控制。这里的选择处理可以是从候选对象物中选择1个对象物的处理,也可以是从候选对象物中选择多个对象物的处理。在选择1个对象物的情况下,能够将显示区域整体用于所选择的该1个对象物的对象物信息的显示,因此能够进行更详细的信息提示等。但是,对于未被选择的候选对象物,尽管通过视场感测和周围感测中的至少一方识别出,但也不能提示信息。因此,可以设为通过从候选对象物选择多个对象物,显示更多的对象物的对象物信息。
这里,在选择处理中,考虑使用作为视场感测结果的视场感测信息、和作为周围感测结果的周围感测信息。例如,候选对象物中包含仅由视场感测识别出的对象物、仅由周围感测识别出的对象物、以及由视场感测和周围感测两者识别出的对象物这3种,可以优先显示其中的由视场感测和周围感测两者识别出的对象物。如果是图2的例子,则配置于环境的对象物AAA~EEE中的AAA、BBB、DDD、EEE是可识别的候选对象物,其中的AAA通过视场感测和周围感测两者识别出,BBB仅通过视场感测识别出,DDD和EEE仅通过周围感测识别出。该情况下,从图2可知,AAA处于用户正面且接近用户的位置处,与此相对,BBB位于用户的正面方向但距离比AAA远,对于DDD和EEE,虽然与用户的距离较近,但位于用户的侧面和背面。即,假定如AAA那样通过视场感测和周围感测两者识别出的对象物对于用户而言关心程度较高,因此在选择处理中可以优先选择。
此外,在视场感测中,还能够取得相对于用户的正面方向的角度信息。例如,如果是使用拍摄图像的例子,则可知与摄像部的光轴方向对应的像素是摄像部的设计上已知的信息,例如是指拍摄图像的中央的像素。因此,能够通过对该与光轴对应的像素、和识别出的对象物的图像上的位置进行比较,得知对象物相对于光轴的角度。例如认为在图2的视场感测时取得的拍摄图像如图4所示,如果在该拍摄图像中对与光轴对应的像素AX和图像上的对象物AAA、以及AX和图像上的对象物BBB进行比较,可知AAA离光轴方向的角度较小,BBB与AAA相比离光轴方向的角度较大。在取得了角度信息的情况下,假定越处于接近光轴方向的位置,用户的关心程度越高,因此只要进行优先选择那样的候选对象物的选择处理即可。另外,以上的说明将摄像部的光轴方向与佩戴者的视线方向具有一定程度的对应关系作为前提。因此,如果摄像部的光轴方向与佩戴者的视线方向是差异较大的方向,且与视线方向对应的拍摄图像上的像素是已知的,则可以将该像素作为基准进行角度信息的处理。
另外,如果摄像部是能够进行立体匹配的结构,则能够根据拍摄图像取得到对象物的距离信息。该情况下,进行优先选择与用户的距离较近的候选对象物的选择处理即可。
此外,在周围感测中,能够通过如上述那样使用信号强度等,取得用户与候选对象物的距离信息。该情况下,进行优先选择与用户的距离较近的候选对象物的选择处理即可。如上所述,还能够如上述那样根据电波方向估计对象物的方向。该情况下,进行优先选择位于接近用户的正面方向(狭义上是视线方向)的方向的候选对象物的选择处理即可。但是,在如上述那样使用了信号方向的估计处理中,可能会产生由被其他物体反射的信号等引起的误差。因此,期望进行抑制该误差的产生的校正处理,并且对于由视场感测和周围感测两者识别出的候选对象物,进行使用根据视场感测信息取得的角度信息等的应对。
如上所述,通过使用是由视场感测和周围感测中的任意一个识别出还是由两者识别出那样的信息,以及将用户作为基准的对象物的方向、距离那样的信息进行选择处理。作为一例,在上述说明中,考虑对被设为优先选择的对象物,进行赋予比没有被优先选择的对象物高的分数的计分,并使用根据各种观点进行的计分结果进行选择处理。此时,可能存在将预先选择的对象物的数量确定为k(k为大于等于1的整数)个,并从上述分数较高一方选择k个的方法,还可能存在设定分数阈值Th,并将上述分数超过Th的对象物设为显示对象的方法。
此外,在从候选对象物中选择多个对象物作为显示对象的情况下,可以同等显示这多个对象物,但也可以设置优先度并根据优先度的高低变更显示方式。在该情况下的优先度的设定中可以使用与上述计分相同的方法。
此外,也可以不设定作为显示对象而被选择的多个对象物的优先度,而进行将这多个对象物分类为多个组的处理,并按照每组变更显示方式。例如将k个选择出的对象物分类到组1和组2,以第1显示方式显示分类到组1的对象物,以第2显示方式显示分类到组2的对象物。例如,考虑将由视场感测识别出的对象物设为组1、将由周围感测识别出的对象物设为组2这样的分类。如之后在图5中使用图标的例子叙述那样,显示方式可以是表示显示区域中的图标的配置位置的方式,也可以是表示图标的形状、大小等的方式。该情况下,在设为同一组的对象物间可以不对优先度设置差异,并且在组间也可以不对优先度设置差异。
或者,还可以进行组分类和优先度设定两者。具体而言,可以对组内的对象物设置优先度来进行排序,也可以在组间设置优先度,并且相比组2的对象物,较大显示组1的对象物并将其显示在容易观察的位置处,还可以进行该两者。
此外,也可以在选择显示对象的处理、和确定所选择的显示对象的优先度的处理中,变更所使用的观点。例如,在显示对象的选择中,显示由视场感测和周围感测两者识别出的对象物,不将仅由任意一方识别出的对象物设为显示对象,此时不将接近用户的正面方向、或与用户的距离较近作为判断基准。并且,在设定作为显示对象而被选择的对象物的优先度时,能够采取按照相对于正面方向的角度、和与用户的距离这样的观点进行处理的实施方式。
另外,本实施方式的“选择处理”中包含从多个候选对象物中选择k个作为显示对象的对象物的狭义的选择处理、优先度设定处理、和组分类处理。并且作为选择处理,不需要进行狭义的选择处理、优先度设定处理、组分类处理的全部处理,可以是其中的1个处理或两个处理的组合等。即,本实施方式的选择处理是还包含如下处理的概念,即跳过狭义的选择处理,而仅进行优先度设定处理和组分类处理。例如在识别出的候选对象物的数量足够少的情况下,即使显示全部的候选对象物也不会造成障碍,该情况下跳过狭义的选择处理。
3.2图标显示
接着,说明显示图标作为对象物信息的例子。考虑各种来自对象物的信息,例如在识别出电子设备的情况下取得该电子设备的名称、型号、制造商、功耗、当前的动作状况等信息,并且还能够如上述的冰箱的例子那样,取得内置的食品的量和新鲜度等信息。并且如果是上述盆栽花木的例子,则取得由传感器取得的温度的信息、和土所包含的水分量的信息。即,本来对象物想通知给用户的详细信息(以下为详细信息)的信息量较多,如果考虑显示部300的宽度,则难以显示来自多个对象物的详细信息,如果一次进行大量的信息提示反而可能妨碍用户的理解。
因此,最初不显示详细信息,首先显示表示候选对象物、或者表示从候选对象物中通过狭义的选择处理选择的对象物的图标。对于图标,期望观察该图标的用户能够确定对应的候选对象物,因此例如考虑使用将对象物进行了示意化的图案。但是,图标不限于示意图,能够通过各种形式实现。另外,这里未详细说明,但也可以不使用图标,而如图6所示那样,将对象物的名称等的文本进行列表显示。
使用图5说明分别与狭义的选择处理、组分类处理、优先度设定处理对应的显示控制的例子。在进行狭义的选择处理时,在候选对象物中出现不作为显示对象的对象物。该情况下,可以显示单纯地通过狭义的选择处理选择的对象物的图标,而对于未被选择的对象物,完全不进行信息显示。
但是对于未被选择的对象物,即使存在离视线方向的角度较大、与用户的距离较远等一些未被选择的理由,只要确实处于可感测程度的较近位置处,则如果用户期望,就能够从该对象物取得信息。即,即使不显示到未被选择的对象物的独立信息,通知被感测到而不显示的对象物的存在也是有用的。因此,作为一例,可以如图5的A4所示那样显示被设为不显示的候选对象物的数量。该情况下,在由用户进行了操作以指示不显示的对象物的信息显示时,进行显示该对象物的对象物信息(例如图标)的控制即可。
此外,图5还进行了组分类处理。具体而言,在将由视场感测识别出的对象物分类到组1、将未由视场感测识别出而由周围感测识别出的对象物分类到组2后,进行在图5的G1所示的显示区域的上部显示组1、在图5的G2所示的显示区域的下部显示组2的控制。此外,在显示方式中,不仅使显示位置还使图标的框形状不同,在组1中如A1所示那样使用方形的框,在组2中如A2所示那样使用角被设为圆角的方形的框。
并且在图5的例子中,将组1细分化成由视场感测和周围感测的两者识别出的组1-1、和在视场感测中被识别出但在周围感测中未被识别出的组1-2。并且,在图5中设置了显示方式的差异,即组1-1如A3所示那样双层显示方形的框、和将角设为圆角的方形框这两者,在组1-2中如A1所示那样仅显示方形的框。
此外,在图5中,对组1设定比组2高的优先度,其结果,组1所包含的图标(例如A1和A3)显示得比组2所包含的图标(例如A2)大。这里,未特别考虑组内的优先度设定处理,但例如也可以在组1内进行优先度设定处理,进行在中央显示优先度较高的对象物的处理。
另外,在上述选择处理的说明中未详细叙述,但例如还能够采取在进行了组分类处理、优先度设定处理后,使用其结果进行狭义的选择处理这样的实施方式。如果是图5的例子,可以事先进行组1显示3个图标、组2显示8个图标这一设定,使用组分类处理和优先度设定处理的结果,进行在组1所包含的对象物中从优先度较高一方起选择3个对象物、在组2所包含的对象物中从优先度较高一方起选择8个对象物的狭义的选择处理。该情况下,每组都可能产生未通过狭义的选择处理选择的候选对象物,因此虽然在图5中未图示,但也可以按照每组显示不显示的对象物的数量。例如,可以在显示区域的上部(G1)显示分类到组1且不显示的候选对象物的数量,在显示区域的下部(G2)显示分类到组2且不显示的候选对象物的数量。
3.3控制画面显示
接着,对显示用于对象物控制的控制画面作为对象物信息的例子进行说明。该例子假定了对象物是电子设备的情况。控制画面是例如图7所示的画面,是用于进行作为对象物(如果是图7的例子则为AAA)的电子设备的接通/断开控制、和执行各种设定的控制的画面。设定内容根据电子设备的类别而不同,但例如,如果对象物是电视,则为信道和音量的变更、以及接收信道的设定,并且如果是空调,则为制冷制热这样的工作模式、温度、风量的设定。该设定使可佩戴装置宛如操作对象物的遥控进行工作。
另外,控制画面所显示的项目的选择、确定处理可以通过设置于可佩戴装置的操作部(操作按钮等)进行。例如图7的CU2所示,通过光标等向用户提示处于选择状态的项目,用户一边观察光标的位置一边将期望的项目设为选择状态。并且在进行了确定操作的情况下,执行与处于选择状态的项目对应的控制即可。但是,如果考虑长时间的佩戴,则可佩戴装置期望设为小型轻量,无法充分设置操作部的可能性也较高。因此,可以通过设置于可佩戴装置的传感器类进行选择、确定处理。例如,如果使用加速度传感器和方位传感器(例如地磁传感器),则能够检测用户的头部摆动动作。因此,能够通过组合纵向的头部摆动和横向的头部摆动进行选择、确定处理。如图7所示,如果是沿纵向排列菜单项目的例子,则通过纵向的头部摆动使选择项目(光标位置)沿上下方向移动。并且,通过在选择了期望项目的状态下进行横向的头部摆动,进行执行所选择的项目的确定处理。但是,在可佩戴装置中能够搭载各种传感器,也可以通过其他传感器实现控制画面中的操作。例如,如果设置拍摄用户眼球的摄像部,则能够检测用户的视线方向,因此能够使用视线方向的变化进行选择、确定处理等。
这里,控制画面与上述详细信息的例子同样地可包含多个显示项目,如果考虑显示部300的大小,则同时显示与多个对象物对应的控制画面是不恰当的。此处,在使用了控制画面的操作中实际向其他电子设备发送控制信号,因此应避免错误操作的可能性,从该点出发,应避免多个控制画面的同时显示。
因此,在显示控制画面时,缩减为少数(狭义上是1个)对象物进行显示即可。这里考虑各种显示控制画面的对象物的确定方法。例如图5所示,考虑如下情况,使用图标等提示多个候选对象物的存在,通过用户的操作从多个候选对象物中选择1个图标,并显示所选择的对象物的控制画面。该情况下,可以对与图7同样地处于选择状态的图标进行显示由CU示出的光标等控制。另外如上所述,对象物中包含能够通过可佩戴装置控制的电子设备、和如陈列在商品架上的商品那样不可进行控制的对象物。因此,虽然用户要操作对象物而选择了图标,但也可能产生与该图标对应的对象物是不可控制的对象物的情形,该情形使用户混乱从而不优选。
因此,在上述选择处理(狭义的选择处理、组分类处理、优先度设定处理)中,可以进行基于候选对象物是否可控制这一观点的处理。例如,如果是可佩戴装置侧知晓用户期望显示控制画面的情形,则可以在狭义的选择处理中选择可控制的对象物、而不选择不可控制的对象物。或者,在组分类处理中生成可控制的组、和不可控制的组,并按照每组变更显示方式。例如,如图5那样排列显示图标时,考虑如下的显示控制,即用给定颜色的框围起可控制的对象物的图标,对于不可控制的对象物的图标,不附加那样的带颜色的框。
此外,在用户操作给定的电子设备时,假定去往该电子设备的近处,朝向该电子设备的方向进行操作。即,处于接近用户的位置、和与用户的视线方向的角度较小,在考虑了控制画面的显示的情况下成为特别重要的指标。反言之,不论是处于多么接近用户的位置处,用户操作从视线方向偏离的对象物的可能性也较低,并且即使与视线方向的角度较小,用户操作过远的对象物的可能性也较低。
考虑到该点,还能够在显示图标等后不受理用户对控制对象的选择操作,而在可佩戴装置侧自动选择控制对象。具体如上所述,自动选择处于接近用户的位置处且与用户的视线方向的角度较小的1个对象物,并显示该对象物的控制画面。由此,能够在不向用户强制烦杂操作的情况下显示控制画面。
或者,也可以自动选择显示控制画面的候选对象物,并提示其结果。例如在显示图标时,在将自动选择的控制对象的候选设为选择状态后,在该对象物的图标上显示表示选择状态的光标(例如图5的CU等)。由此,在自动选择的结果正确的情况下,用户能够在不进行光标移动的情况下进行确定操作,因此能够抑制操作的繁杂性。并且即使在自动选择不是用户所想要的结果的情况下,也能够给予用户进行纠正的机会。
4.本实施方式的具体例子
在以上的本实施方式中,如图1所示,可佩戴装置包含:显示部300,其将佩戴者的视场的部分区域设为显示区域,并在显示区域中显示放大虚像;视场感测部100,其进行感测存在于视场方向的对象物的视场感测,取得视场感测信息;周围感测信息取得部200,其取得感测存在于佩戴者周围的对象物的周围感测的结果、即周围感测信息;以及显示控制部400,其进行如下控制:将从通过视场感测和周围感测中的至少一方识别出的对象物即候选对象物中选择的对象物的对象物信息显示在显示部300上。
这里,“将佩戴者的视场的部分区域设为显示区域,并在显示区域中显示放大虚像”是指在如图8(A)、图8(B)所示那样将用户的视场(视野)理解为区域的情况下,在该区域的部分区域中对显示图像进行显示,而用户的视场中的不是显示区域的部分表示可直接识别外界的状态。
由此,能够适当识别未组装传感器等电器件的对象物、或进入拍摄死角的对象物等无法仅用视场感测和周围感测中的一方进行识别的对象物。并且,通过显示从识别出的候选对象物中选择的对象物的对象物信息,能够抑制显示的信息量过剩、以及由此而使得1个1个信息的视觉辨认性降低的情况,并且能够提示对于用户而言关心程度强的信息等。
此外,显示控制部400可以进行如下控制:优先显示候选对象物中的、通过视场感测识别出且通过周围感测识别出的对象物的对象物信息。
由此,能够优先显示候选对象物中的、由视场感测和周围感测两者识别出的对象物。如图2所示,由视场感测和周围感测两者识别出的对象物是指处于用户的正面方向且与用户的距离较近的对象物,因此用户关心的可能性高,且能够通过优先显示该对象物,提高可提示用户期望的信息的可能性等。
此外,显示控制部400可以进行如下控制:显示在针对对象物的控制指示中使用的控制画面,作为对象物信息。并且,如图1所示,可佩戴装置可以包含与作为对象物的电子设备进行通信的通信部500,通信部500根据基于控制画面的佩戴者的操作,对作为对象物的电子设备发送控制指示的信号。
由此,如图7所示,能够对作为对象物的电子设备、或对象物自身是非电子设备但附加到该对象物的电子设备(例如是包含设置于盆栽花木的传感器的设备等),进行作为可佩戴装置的佩戴者的用户的控制、操作。作为对象物,如果考虑家电的例子则容易理解,对象物不限于单方地发送信息的对象物,大多情况下是通过接收控制信号(操作信号)而开始或变更自身动作的设备。能够通过进行控制画面的显示和控制信号的发送来操作这些设备,能够宛如其他电子设备的遥控那样使用可佩戴装置等。
此外,显示控制部400可以进行如下控制:显示表示第1~第N(N为大于等于2的整数)对象物的第1~第N图标作为对象物信息,显示控制部400进行如下控制:在进行了从第1~第N图标中选择第i(i为满足1≦i≦N的整数)图标的选择处理的情况下,显示如下的控制画面,该控制画面用于针对与所选择的第i图标对应的第i对象物的控制指示。
另外,这里的选择处理这一用语与上述包含狭义的选择处理、组分类处理、优先度设定处理等的选择处理不同,是从多个图标中确定作为控制画面的显示对象的1个图标的处理。
由此,首先进行候选对象物的图标显示,能够显示与从图标中选择的图标对应的对象物的控制画面。如上所述,还能够采取通过在可佩戴装置侧自动选择1个对象物来跳过图标显示的实施例,但通过进行图标显示使得用户可进行选择,能够显示进一步依照用户意图的对象物的控制画面。
此外,显示控制部400可以进行如下控制:在图标显示后,给定期间内未进行佩戴者的选择处理的情况下,进行从图标中自动选择1个图标的选择处理,并显示与所选择的图标对应的对象物的控制画面。
这里,自动选择是指在可佩戴装置侧确定1个图标的处理,通过自动选择而选择的图标可以由可佩戴装置进行确定,也可以在开始自动选择的定时选择光标所处位置的图标。
由此,在用户未进行对图标的选择的情况下,能够自动地进行控制画面的显示。因此,用户可以不明确地进行选择处理,因此能够降低操作的繁杂性等。
此外,显示控制部400进行如下控制:如图5所示那样显示表示对象物的图标作为对象物信息,显示控制部400还可以进行如下控制:用第1显示方式显示通过视场感测识别出且未通过周围感测识别出的对象物的图标,用与第1显示方式不同的第2显示方式显示未通过视场感测识别出且通过周围感测识别出的对象物的图标,用与第1显示方式以及第2显示方式均不同的第3显示方式显示通过视场感测识别出且通过周围感测识别出的对象物的图标。
由此,能够显示表示对象物的图标作为对象物信息,并且能够根据是否分别由视场感测和周围感测识别出的信息变更显示方式。因此,在能够通过组合两个感测识别出较多对象物的状况下,能够向用户提示较多的候选对象物的信息,并且以容易知晓该候选对象物分别是通过哪个感测识别出的对象物的方式向用户进行提示。另外,在图5中将显示方式的差异表现为图标的框形状,但是不限于此,能够通过图标的大小和颜色、显示区域中的显示位置等各种方法对显示方式设置差异。
此外,显示控制部400可以进行如下控制:根据视场感测信息和周围感测信息中的至少一方,从候选对象物中选择1个对象物,并显示所选择的对象物的对象物信息。
由此,能够从多个候选对象物中选择1个对象物作为显示对象。如上述控制画面、和包含对象物的名称等的详细信息(例如属性画面等)那样,作为对象物信息,认为与图标等相比信息量非常多。该情况下,在显示区域被限定的透视型可佩戴装置中,根据显示部300的尺寸,同时显示多个对象物的对象物信息是不现实的,勉强地进行显示还有可能造成字符减小等、信息的视觉辨认性降低。因此,从候选对象物中将显示对象缩减为1个的处理是比较重要的处理,在本实施方式中作为显示控制来实现该处理。
因此,视场感测部100可以进行取得拍摄图像的视场感测,根据针对所取得的拍摄图像的图像处理取得视场感测信息,周围感测信息取得部200取得与信号强度相关的信息作为周围感测信息,并作为接收来自对象物的信号的周围感测的结果。并且,显示控制部400可以进行如下控制:从候选对象物中选择1个对象物,并显示所选择的对象物的对象物信息,该1个对象物是根据视场感测信息判定为被拍摄到拍摄图像中、根据周围感测信息判定为被检测到信号、且根据视场感测信息和周围感测信息中的至少一方判定为相对于佩戴者的视线方向的角度比其他对象物小的1个对象物。
由此,在显示1个对象物的对象物信息时,能够将假定为用户的关心程度最高的对象物设为显示对象。具体而言,在由两者的感测识别出后,将位于最接近视线方向的方向上的1个对象物设为显示对象。图10是示出该情况下的选择处理的流程的流程图,在开始该处理时,进行是否由周围感测检测到的判定处理(S101)、是否由视场感测检测到的判定处理(S102)、是否最接近佩戴者的视线方向(视场中央)的判定处理(S103),并进行自动选择满足条件的1个对象物的选择处理(S104)。其中,考虑各种确定1个对象物的方法。例如显示控制部400可以进行如下控制:从候选对象物中选择1个对象物,并显示所选择的对象物的对象物信息,该1个对象物是根据视场感测信息判定为被拍摄到拍摄图像、且根据周围感测信息判定为信号强度比其他对象物强的1个对象物。该情况下,使用由视场感测和周围感测两者识别出、且根据周围感测的结果判定为最接近用户的对象物。
此外,显示控制部400可以进行如下控制:显示关于对象物的属性信息作为对象物信息。
这里,属性信息是指与对象物的特性相关的信息,是比上述图标等详细的信息。例如,在考虑冰箱作为对象物的情况下,图标是表示对象物为冰箱的信息即可,属性信息是包含冰箱的名称和型号、或者通过传感器取得的信息等的信息。
由此,能够显示属性信息作为对象物信息。作为属性信息,考虑由对象物发送的各种信息,但可以是表示对象物属性的属性画面,可以是设置于对象物的传感器的传感器信息,也可以是针对该传感器信息的处理结果。针对传感器信息的处理结果为详细信息的情况与以下情况等对应,即例如在取得盆栽花木的土的水分量作为传感器信息的例子中,不是单纯地输出该水分量的数值,而考虑到了植物的品种、外部气体温度、土的特性等而输出判定了该水分量是否处于适当范围的判定结果。
此外,显示控制部400可以进行如下控制:在候选对象物的数量大于等于给定阈值的情况下,在显示部300上显示比数量比阈值少的对象物信息,且显示候选对象物中的对象物信息不是显示对象的对象物的数量。
由此,如图5的A4所示,当存在通过感测识别出并且没有成为显示对象的候选对象物的情况下,能够显示其数量。因此,能够向用户通知虽然不显示但被识别出的对象物的存在,并能够根据情况督促用户进行操作等,以显示该不显示的对象物的对象物信息。
另外,本实施方式的可佩戴装置等可以通过程序实现其处理的一部分或大部分。该情况下,通过由CPU等处理器执行程序,实现本实施方式的可佩戴装置等。具体而言,读出非临时性信息存储介质所存储的程序,并由CPU等处理器执行所读出的程序。这里,信息存储介质(计算机可读取的介质)是存储程序和数据等的介质,其功能能够通过光盘(DVD、CD等)、HDD(硬盘驱动器)、或存储器(卡型存储器、ROM等)等实现。并且,CPU等处理器根据信息存储介质所存储的程序(数据)进行本实施方式的各种处理。即,在信息存储介质中,存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部件发挥功能的程序(用于使计算机执行各部件的处理的程序)。
此外,以上对本实施方式进行了详细说明,但本领域技术人员能够容易地理解到,可以进行实质上未脱离本发明的新颖事项以及效果的多种变形。因而,这种变形例全部包含在本发明的范围内。例如,在说明书或附图中,对于至少一次地与更广义或同义的不同用语一起记载的用语,在说明书或附图的任何位置处,都可以将其置换为该不同的用语。并且可佩戴装置等的结构、动作也不限于本实施方式所说明的内容,可进行各种变形实施。

Claims (12)

1.一种可佩戴装置,其特征在于,包含:
显示部,其将佩戴者的视场的部分区域设为显示区域,并在所述显示区域中显示放大虚像;
视场感测部,其进行感测存在于所述佩戴者的视场方向的对象物的视场感测,取得视场感测信息;
周围感测信息取得部,其取得感测存在于所述佩戴者的周围的所述对象物的周围感测的结果、即周围感测信息;以及
显示控制部,其进行如下控制:将从通过所述视场感测和所述周围感测中的至少一方识别出的所述对象物即候选对象物中选择出的所述对象物的对象物信息显示在所述显示部上。
2.根据权利要求1所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:优先显示所述候选对象物中的、通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述对象物信息。
3.根据权利要求1所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:显示在针对所述对象物的控制指示中使用的控制画面,作为所述对象物信息。
4.根据权利要求3所述的可佩戴装置,其特征在于,
所述可佩戴装置包含与作为所述对象物的电子设备进行通信的通信部,
所述通信部根据基于所述控制画面的所述佩戴者的操作,对作为所述对象物的所述电子设备发送所述控制指示的信号。
5.根据权利要求3所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:显示表示第1~第N对象物的第1~第N图标作为所述对象物信息,
所述显示控制部进行如下控制:在进行了从所述第1~第N图标中选择第i图标的选择处理的情况下,显示如下的所述控制画面,该控制画面用于针对与所选择的所述第i图标对应的第i对象物的所述控制指示,
其中,N为大于等于2的整数,i为满足1≦i≦N的整数。
6.根据权利要求5所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:在所述图标的显示后,在给定的期间内未进行所述佩戴者的所述选择处理的情况下,进行从所述图标中自动选择1个图标的所述选择处理,并显示与所选择的所述图标对应的所述对象物的所述控制画面。
7.根据权利要求1所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:显示表示所述对象物的图标,作为所述对象物信息,
所述显示控制部进行如下控制:
以第1显示方式显示通过所述视场感测识别出且未通过所述周围感测识别出的所述对象物的所述图标,
以与所述第1显示方式不同的第2显示方式显示未通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述图标,
以与所述第1显示方式以及所述第2显示方式均不同的第3显示方式显示通过所述视场感测识别出且通过所述周围感测识别出的所述对象物的所述图标。
8.根据权利要求1~7中的任意一项所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:根据所述视场感测信息和所述周围感测信息中的至少一方,从所述候选对象物中选择1个所述对象物,并显示所选择的所述对象物的所述对象物信息。
9.根据权利要求8所述的可佩戴装置,其特征在于,
所述视场感测部进行取得拍摄图像的所述视场感测,根据针对所取得的所述拍摄图像的图像处理取得所述视场感测信息,
所述周围感测信息取得部作为接收来自所述对象物的信号的所述周围感测的结果,取得与所述信号的强度相关的信息作为所述周围感测信息,
所述显示控制部进行如下控制:从所述候选对象物中选择如下的1个所述对象物,并显示所选择的所述对象物的所述对象物信息,该1个所述对象物是根据所述视场感测信息判定为被拍摄到所述拍摄图像中、根据所述周围感测信息判定为被检测到所述信号、且根据所述视场感测信息和所述周围感测信息中的至少一方判定为相对于所述佩戴者的视线方向的角度比其他对象物小的1个所述对象物。
10.根据权利要求1~7中的任意一项所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:显示关于所述对象物的属性信息作为所述对象物信息。
11.根据权利要求1~7中的任意一项所述的可佩戴装置,其特征在于,
所述显示控制部进行如下控制:在所述候选对象物的数量大于等于给定阈值的情况下,在所述显示部上显示数量比所述阈值少的所述对象物信息,且显示所述候选对象物中的所述对象物信息不是显示对象的所述对象物的数量。
12.一种可佩戴装置的显示控制方法,所述可佩戴装置具有将佩戴者的视场的部分区域设为显示区域、并在所述显示区域中显示放大虚像的显示部,所述可佩戴装置的显示控制方法的特征在于,
进行感测存在于所述佩戴者的视场方向的对象物的视场感测,取得视场感测信息,
进行取得周围感测信息的处理,所述周围感测信息是感测存在于所述佩戴者的周围的所述对象物的周围感测的结果,
进行如下控制:将从通过所述视场感测和所述周围感测中的至少一方识别出的所述对象物即候选对象物中选择出的所述对象物的对象物信息显示在所述显示部上。
CN201410144248.5A 2013-04-15 2014-04-11 可佩戴装置及可佩戴装置的显示控制方法 Pending CN104102344A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-084895 2013-04-15
JP2013084895A JP6108926B2 (ja) 2013-04-15 2013-04-15 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法

Publications (1)

Publication Number Publication Date
CN104102344A true CN104102344A (zh) 2014-10-15

Family

ID=51670545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410144248.5A Pending CN104102344A (zh) 2013-04-15 2014-04-11 可佩戴装置及可佩戴装置的显示控制方法

Country Status (3)

Country Link
US (1) US20140306881A1 (zh)
JP (1) JP6108926B2 (zh)
CN (1) CN104102344A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119962A (zh) * 2015-07-14 2015-12-02 张媛媛 蓄电池电量信息获取方法和相关系统
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
CN107003739A (zh) * 2014-10-06 2017-08-01 皇家飞利浦有限公司 对接系统
CN107798733A (zh) * 2016-09-02 2018-03-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN108108025A (zh) * 2018-01-03 2018-06-01 上海闻泰电子科技有限公司 基于头戴设备的信息指引方法、装置、头戴设备和介质
CN109416573A (zh) * 2016-07-12 2019-03-01 三菱电机株式会社 设备控制系统
CN110069123A (zh) * 2018-01-22 2019-07-30 腾讯科技(深圳)有限公司 一种校验信息点采集合法性的方法和装置
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN113467731A (zh) * 2020-03-30 2021-10-01 精工爱普生株式会社 显示系统、信息处理装置和显示系统的显示控制方法
CN114035651A (zh) * 2015-06-16 2022-02-11 英特尔公司 经由hmi扩展来增强可穿戴设备用户体验的回转感测系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD708638S1 (en) * 2012-03-07 2014-07-08 Apple Inc. Display screen or portion thereof with graphical user interface
USD753137S1 (en) * 2014-04-06 2016-04-05 Hsien-Wen Chang Display screen with transitional graphical user interface
US9977241B2 (en) * 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP2016192096A (ja) * 2015-03-31 2016-11-10 大日本印刷株式会社 物体認識選択装置、物体認識選択方法及びプログラム
JP2017017545A (ja) * 2015-07-01 2017-01-19 シャープ株式会社 通話システムおよび電話機
JP2017054185A (ja) 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
WO2017104198A1 (ja) 2015-12-14 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018100877A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP6872985B2 (ja) * 2017-06-19 2021-05-19 株式会社コーエーテクモゲームス ゲームプログラム、記録媒体、ゲーム処理方法
WO2019059044A1 (ja) * 2017-09-20 2019-03-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10962783B2 (en) 2018-06-19 2021-03-30 Apple Inc. Electronic devices having electrically adjustable optical layers
US20200082576A1 (en) 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
CN113272766A (zh) 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制系统和应用程序控制方法
US20220270363A1 (en) * 2019-08-09 2022-08-25 Sony Group Corporation Image processing apparatus, image processing method, and program
KR20230022269A (ko) * 2019-10-15 2023-02-14 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
WO2023228337A1 (ja) * 2022-05-25 2023-11-30 日本電信電話株式会社 提示システム、提示方法及び提示プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284792A1 (en) * 2000-01-28 2006-12-21 Intersense, Inc., A Delaware Corporation Self-referenced tracking
CN101165538A (zh) * 2006-10-16 2008-04-23 索尼株式会社 成像显示设备和方法
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN102270043A (zh) * 2010-06-23 2011-12-07 微软公司 协调设备交互来增强用户体验
CN103003783A (zh) * 2011-02-01 2013-03-27 松下电器产业株式会社 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US6366285B1 (en) * 1997-11-21 2002-04-02 International Business Machines Corporation Selection by proximity with inner and outer sensitivity ranges
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
JP2007067724A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd 携帯端末装置及び表示方法
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
JP4934228B2 (ja) * 2010-06-17 2012-05-16 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
JP2012172910A (ja) * 2011-02-22 2012-09-10 Panasonic Corp 室内環境調整用機器の操作システム
US8571263B2 (en) * 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US8803699B2 (en) * 2011-08-18 2014-08-12 George Brandon Foshee Object detection device
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
KR20220032059A (ko) * 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9285871B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
WO2013101438A1 (en) * 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284792A1 (en) * 2000-01-28 2006-12-21 Intersense, Inc., A Delaware Corporation Self-referenced tracking
CN101165538A (zh) * 2006-10-16 2008-04-23 索尼株式会社 成像显示设备和方法
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN102270043A (zh) * 2010-06-23 2011-12-07 微软公司 协调设备交互来增强用户体验
CN103003783A (zh) * 2011-02-01 2013-03-27 松下电器产业株式会社 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003739A (zh) * 2014-10-06 2017-08-01 皇家飞利浦有限公司 对接系统
CN107003739B (zh) * 2014-10-06 2020-10-27 皇家飞利浦有限公司 对接系统
CN114035651A (zh) * 2015-06-16 2022-02-11 英特尔公司 经由hmi扩展来增强可穿戴设备用户体验的回转感测系统
CN105119962A (zh) * 2015-07-14 2015-12-02 张媛媛 蓄电池电量信息获取方法和相关系统
CN106125927A (zh) * 2016-06-23 2016-11-16 捷开通讯(深圳)有限公司 图像处理系统及方法
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
CN109416573A (zh) * 2016-07-12 2019-03-01 三菱电机株式会社 设备控制系统
CN109416573B (zh) * 2016-07-12 2022-04-12 三菱电机株式会社 设备控制系统
CN107798733B (zh) * 2016-09-02 2021-08-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN107798733A (zh) * 2016-09-02 2018-03-13 奥林巴斯株式会社 显示系统、便携信息设备、可佩戴型终端和信息显示方法
CN108108025A (zh) * 2018-01-03 2018-06-01 上海闻泰电子科技有限公司 基于头戴设备的信息指引方法、装置、头戴设备和介质
CN110069123B (zh) * 2018-01-22 2022-02-18 腾讯科技(深圳)有限公司 一种校验信息点采集合法性的方法和装置
CN110069123A (zh) * 2018-01-22 2019-07-30 腾讯科技(深圳)有限公司 一种校验信息点采集合法性的方法和装置
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN113467731A (zh) * 2020-03-30 2021-10-01 精工爱普生株式会社 显示系统、信息处理装置和显示系统的显示控制方法
CN113467731B (zh) * 2020-03-30 2023-06-02 精工爱普生株式会社 显示系统、信息处理装置和显示系统的显示控制方法

Also Published As

Publication number Publication date
JP6108926B2 (ja) 2017-04-05
JP2014206904A (ja) 2014-10-30
US20140306881A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
CN104102344A (zh) 可佩戴装置及可佩戴装置的显示控制方法
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US20200357042A1 (en) In-store object highlighting by a real world user interface
US10325409B2 (en) Object holographic augmentation
CN112666714B (zh) 注视方向映射
US10803315B2 (en) Electronic device and method for processing information associated with food
US10497043B2 (en) Online clothing e-commerce systems and methods with machine-learning based sizing recommendation
US10928914B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
US10026116B2 (en) Methods and devices for smart shopping
US9606992B2 (en) Personal audio/visual apparatus providing resource management
US9824384B2 (en) Techniques for locating an item to purchase in a retail environment
US20150309578A1 (en) Control of a real world object user interface
KR102209741B1 (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
CN104656888A (zh) 使用可穿戴设备的设备控制
CN108764998B (zh) 智能展示装置以及智能展示方法
US9354712B2 (en) Recognition device, intelligent device and information providing method for human machine interaction
CN105550224A (zh) 物品搜索方法、装置及系统
JP2021108162A (ja) 映像検索情報提供方法、装置およびコンピュータプログラム
US11436558B2 (en) Refrigerator, operating method thereof and information providing system
KR20190104282A (ko) 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말
US10154521B2 (en) Mobile device and method for establishing a wireless link
KR102605355B1 (ko) 이미지 기반 정보 제공 방법 및 장치
US9449340B2 (en) Method and system for managing an electronic shopping list with gestures
US20200059603A1 (en) A method of providing information about an object
CN106774838A (zh) 智能眼镜及其显示信息的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20191108