CN106164838A - 信息显示方法和信息显示终端 - Google Patents

信息显示方法和信息显示终端 Download PDF

Info

Publication number
CN106164838A
CN106164838A CN201480077827.0A CN201480077827A CN106164838A CN 106164838 A CN106164838 A CN 106164838A CN 201480077827 A CN201480077827 A CN 201480077827A CN 106164838 A CN106164838 A CN 106164838A
Authority
CN
China
Prior art keywords
information
communication unit
display terminal
message display
regulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480077827.0A
Other languages
English (en)
Other versions
CN106164838B (zh
Inventor
大内敏
瀬尾欣穗
大木佑哉
川村友人
中村俊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN106164838A publication Critical patent/CN106164838A/zh
Application granted granted Critical
Publication of CN106164838B publication Critical patent/CN106164838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0235Discounts or incentives, e.g. coupons or rebates constrained by time limit or expiration date
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/04Electronic labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Signal Processing (AREA)

Abstract

在可穿戴信息显示终端中,使信息显示的时机和频度与用户意愿相符,进而实现终端运行时间和通信费用的改善,从而提高使用终端时的用户的舒适性和便利性。信息显示终端(100)包括执行第一处理和第二处理的运算部(104),在第一处理中,根据针对拍摄图像中识别出的第一对象(42~45)预先保持的信息等选择多种通信部中的规定种类的通信部(108),经由该通信部(108)从网络(10)上的规定装置(300)获取相关信息,在第二处理中,在确定了拍摄图像中存在第二对象(46)或者第一对象(42~45)与第二对象(46)具有规定的位置关系的情况下,利用显示部(106)在视野方向上显示该第一对象。

Description

信息显示方法和信息显示终端
技术领域
本发明涉及信息显示方法和信息显示终端。
背景技术
近年来,使用护目镜型或眼镜型等头戴式显示器来显示规定信息的所谓可穿戴信息显示终端正在受到更多关注。人们随之提出了各种与这样的可穿戴信息显示终端的控制和各种应用相关的方法。即,在进行与用户的行动状态适应的信息显示这一技术问题之下,提出了在具备显示元件的头部佩戴型信息显示装置中,根据传感器等检测出的用户的行动状态相应地自动切换显示元件上显示的信息的显示模式(摘要模式和详细模式)的技术(参考专利文献1)等。
另外,对于用户对当前位置或对象关联地赋予了赋予信息,将该赋予信息与摄像单元所拍摄的影像进行合成显示这一技术问题,提出了这样一种信息处理终端,其包括对于根据位置信息而确定的现实世界的状况、或者根据识别出的对象信息而确定的现实世界的状况,将用户赋予的赋予信息与影像进行合成显示的单元,和将用户赋予的赋予信息发送给信息处理装置而保存在其数据库中的单元(参考专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2007-163634号公报
专利文献2:日本特开2011-28763号公报
发明内容
与智能手机和平板终端等相比,可穿戴信息显示终端从可穿戴这一点看来显然与用户的一体性更高,其用户无论如何移动和动作都能够稳定且容易地持续观看显示画面。
在对这样的信息显示终端进行信息分发而使其显示信息的情况下,或者使其显示信息显示终端自身正在拍摄的图像等的情况下,如果用户不积极地进行显示控制操作,则显示的可否和频度、或者时机等容易变得脱离用户的意愿。
对于这样的状况下的用户而言,与可穿戴信息显示终端的优点相比,可能会更强烈地感到持续进行无意义且不受控的信息显示的厌烦感。另外,显示用信息的获取所带来的与外部之间的通信也可能高频度且持续地进行,在电池容量容易受终端尺寸限制的信息显示终端中,可用时间可能会过度地减少。而且,这样的通信导致的通信费用也可能增加。
于是,本发明的目的在于提供一种提高使用终端时的用户的舒适性和/或便利性的技术。
解决问题的技术手段
用于解决上述问题的本发明的信息显示方法,其特征在于,由信息显示终端执行信息获取处理和信息显示处理,其中,所述信息显示终端包括对佩戴者的视野方向进行拍摄的摄像部,在所述视野方向上进行信息显示的显示部,和与网络或能够访问所述网络的其他终端进行通信的多种通信部,在所述信息获取处理中,在所述摄像部拍摄到的拍摄图像中基于预先决定的规定基准识别第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,在所述信息显示处理中,在判断为或确定了所述摄像部拍摄到的拍摄图像中存在第二对象或者所述第一对象与所述第二对象具有规定的位置关系的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
另外,本发明的信息显示方法的特征在于,由信息显示终端执行信息获取处理和信息显示处理,其中,所述信息显示终端包括在佩戴者的视野方向上进行信息显示的显示部,与网络或能够访问所述网络的其他终端进行通信的多种通信部,该信息显示终端的姿态检测部,测定该信息显示终端的当前位置的定位部,和保存有地图信息的存储部,在所述信息获取处理中,根据所述地图信息、从所述定位部得到的该信息显示终端的当前位置和从所述姿态检测部得到的该信息显示终端的朝向,将该信息显示终端的佩戴者在地图上所面向的对象识别为第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,在所述信息显示处理中,测量所述佩戴者面向所述第一对象的时间,在该测量时间达到一定时间以上的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
另外,本发明的信息显示终端其特征在于,包括:对佩戴者的视野方向进行拍摄的摄像部;在所述视野方向上进行信息显示的显示部;与网络或能够访问所述网络的其他终端进行通信的多种通信部;和执行第一处理和第二处理的运算部,其中,在所述第一处理中,在所述摄像部拍摄到的拍摄图像中基于预先决定的规定基准识别第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,在所述第二处理中,在判断为或确定了所述摄像部拍摄到的拍摄图像中存在第二对象或者所述第一对象与所述第二对象具有规定的位置关系的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
另外,本发明的信息显示终端其特征在于,包括:在佩戴者的视野方向上进行信息显示的显示部;与网络或能够访问所述网络的其他终端进行通信的多种通信部;该信息显示终端的姿态检测部;测定该信息显示终端的当前位置的定位部;保存有地图信息的存储部;和执行第一处理和第二处理的运算部,其中,在所述第一处理中,根据所述地图信息、从所述定位部得到的该信息显示终端的当前位置和从所述姿态检测部得到的该信息显示终端的朝向,将该信息显示终端的佩戴者在地图上所面向的对象识别为第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,在所述第二处理中,测量所述佩戴者面向所述第一对象的时间,在该测量时间达到一定时间以上的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
发明效果
根据本发明,在可穿戴信息显示终端中,能够使信息显示的时机和频度与用户意愿相符,能够实现终端运行时间和/或通信费用的改善。其结果,能够提高使用终端时的用户的舒适性和/或便利性。
附图说明
图1是表示包含第一实施方式的信息显示终端的网络结构例的图。
图2是表示第一实施方式的信息显示终端的硬件结构例的图。
图3是表示第一实施方式的信息显示终端的佩戴状况例的图。
图4是表示第一实施方式的对象信息表之示例的图。
图5是表示第一实施方式的通信单元信息表之示例的图。
图6是表示第一实施方式的基准信息表之示例的图。
图7是表示第一实施方式的信息显示方法的处理流程例的流程图。
图8是表示第一实施方式的显示部上的显示方式例1的图。
图9是表示第一实施方式的显示部上的显示方式例2的图。
图10是表示第二实施方式的信息显示终端的硬件结构例的图。
图11是表示第二实施方式的信息显示方法的处理流程例的流程图。
具体实施方式
实施例1
以下使用附图详细说明本发明的实施方式。图1是表示包括第一实施方式的信息显示终端100的网络结构例的图。图1所示的信息显示终端100是可穿戴信息显示终端,其使信息显示的时机和频度与用户意愿相符,进而实现终端运行时间和通信费用的改善,从而提高使用终端时的用户的舒适性和便利性。
这样的信息显示终端100例如是与头戴式显示器同样地佩戴在用户1的头部而直接跟随该用户1面向的方向,能够拍摄其视线方向的各种物体即对象的小型终端。并且,信息显示终端100以适当的触发为契机,将上述对象中按规定基准确定的候选对象(第一对象)的相关信息显示在用户1的视线前方的由透明材料构成的显示器上。
其中,信息显示终端100包括多种通信部,能够根据信息显示终端100所处的状况等有选择地使用通信部,与作为信息分发方的服务器300和作为对象的设施5的设施终端400等进行通信,获取上述相关信息。
在图1例示的网络结构中,上述服务器300是经由互联网10对信息显示终端100提供关于各对象在存储设备310中保持的信息、即候选对象的相关信息的装置。另外,作为对该服务器300提供相关信息的装置,能够设想由对于对象有了解的人所操作的个人计算机500,或者由店铺和公共设施等各对象的负责人所操作的设施终端400等。当然也可以不是如上所述由服务器300集中保持相关信息的应用方式,而是以连接在互联网10上的不确定数量的装置所公开的信息作为相关信息。
服务器300预先提供的相关信息例如是店铺的促销信息、折扣券、公共设施中的展示内容、入场优惠券等对于对各对象有兴趣的用户1而言有意义的信息。
虽然如上所述信息显示终端100具备多种通信部,但不一定总是能够支持用户1所处的通信环境。例如,在具备近距离通信单元但不具备移动电话单元的信息显示终端100的情况下,不能直接与互联网10等广域通信网连接来从服务器300获取相关信息。另一方面,假设该用户1持有具有近距离通信单元的移动电话机200。该情况下,信息显示终端100能够通过近距离通信13与移动电话机200连接,将该移动电话机200作为路由器而经由移动电话网络11与互联网10连接。
或者,假设该用户1持有具有近距离通信单元和无线LAN单元的移动电话机200。并且假设提供相关信息的装置是未与互联网10等广域通信网连接的设施终端400。该情况下,信息显示终端100能够通过近距离通信13与移动电话机200连接,将该移动电话机200作为无线LAN单元经由无线LAN11与设施终端5连接。
接着,对于上述信息显示终端100的硬件结构,使用图1和图2进行具体说明。图2是表示本实施方式的信息显示终端100的硬件结构例的图。信息显示终端100至少具备存储部101、存储器103、运算部104、通信部108、摄像部105、显示部106、声音输入输出部107、通信部108、姿态传感器109(姿态检测部)、GPS单元110(定位部)和电源管理单元120。其中,姿态传感器109在第一实施方式的信息显示终端100中不是必要结构。
其中,存储部101是由SSD(Solid State Drive,固态驱动器)等适宜的非易失性存储元件构成的存储部,至少保存供信息显示终端100实现必要功能的程序102和各种处理所需的表类。另外,存储器103由RAM等易失性存储元件构成,例如作为存储部101的程序102读取后存放的位置。
另外,运算部104是对存储部101中保持的程序102进行读取至存储器103等处理来运行该程序,进行终端自身的统一控制并且进行各种判定、运算和控制处理的CPU。
另外,摄像部105是尺寸和重量能够允许配备在可穿戴信息显示终端100中的摄像部,能够设想为可附带在眼镜等上的程度的极小型的数字摄像头单元。该摄像部105中,光学系统被配置成对用户1佩戴信息显示终端100时的视线方向进行拍摄。另外,摄像部105拍摄的拍摄图像的数据被发送至存储器103和/或存储部101的适当的保存区域中暂时保存,成为用于确定候选对象的处理的处理对象。
另外,显示部106具备与现有的可穿戴终端中具备的结构同样的结构,包括由与眼镜同样的透明材料构成的显示器和用于使从运算部104接收到的显示用数据(例如:摄像部105拍摄的图像和关于候选对象的相关信息等)输出到上述显示器上的显示控制单元等。
在图3中例示这样的显示部106进行信息显示的方式。如图3所例示,对于摄像部105在用户1前方的拍摄区域20,显示部106能够投影虚像面21作为相关信息的显示区域。
该虚像面21是以虚像或实像或者视网膜写入的方式显示相关信息的影像数据的区域。其中,图3所示的虚像面21的尺寸为仅占据摄像区域20的一部分的程度,但不限定于此,其尺寸也可以较大地覆盖摄像区域20。
无论如何,这种可穿戴的终端中的像头戴式显示器这样的信息显示方式,包括必要的结构在内都能够采用现有技术。另外,图3中例示的信息显示终端100的方式,只要一体地具备佩戴在用户1的头部、能够在该用户1的视野内显示信息的显示部106,和能够拍摄用户1的视野方向的摄像部105即可,可以是眼镜型、护目镜型、单眼佩戴型、双眼佩戴型等,不限定其方式。另外,显示器上的信息显示方式能够采用使用半反射镜的方式和在用户1的视网膜上直接投影虚像的方式等,但至少作为头戴式显示器采用透射型的、在不显示虚像的情况下不遮挡用户1的视野的方式。
另外,信息显示终端100所具备的声音输入输出部107包括探测用户1的声音的麦克风,和输出从运算部104发送来的声音数据的耳机。
另外,通信部108是利用移动电话网11、无线LAN12、近距离通信13等各种通信环境,与服务器300和设施终端400或移动电话机200等进行通信处理的装置。本实施方式的通信部108中,作为多种通信部的示例具备无线LAN单元111、移动电话单元112和近距离通信单元113。近距离通信单元113例如能够采用Bluetooth(注册商标)。除上述单元以外,也能够采用以UHF、VHF等各波长的电波作为载波的无线通信单元。
另外,姿态传感器109是检测信息显示终端100或佩戴它的用户1的姿态的传感器,能够采用检测相对于规定轴的倾斜和方向等的陀螺仪等现有传感器。
另外,GPS单元110是接收从绕地球旋转的多个定位卫星15(参考图1)发出的电波,确定自身即信息显示终端100或者佩戴它的用户1在地球上的当前位置坐标的装置。
另外,电源管理单元120是对用于驱动信息显示终端100的电池115进行管理的装置,能够监视电池115的状态,始终检测其剩余量。
另外,在存储部101内,除了用于实现作为本实施方式的信息显示终端100所必需的功能的程序102之外,还存储有对象信息表125、通信单元信息表126、地图信息127和基准信息表128。对于该表类的详细说明将在后文中叙述。这种作为计算机而言一般性的结构,对于服务器300和设施终端400也是同样的。
接着,对于本实施方式的信息显示终端100所具备的功能进行说明。如上所述,以下说明的功能例如可以认为是通过运行信息显示终端100所具备的程序102而实现的功能。
信息显示终端100具有信息获取功能,在摄像部105拍摄到的拍摄图像中,基于预先决定的规定基准(例如:后述的基准信息表128中预先保持的图像识别用的模板等)识别候选对象,根据针对该候选对象预先保持的信息(例如:对象信息表125中保持的信息)和从规定要素(部件,元件)得到的规定的检测信息(例如:姿态传感器109和GPS单元110、通信部108的各单元111~113)中的至少一个,选择多种单元111~113中的规定种类的通信单元,经由该通信单元访问服务器300等网络上的规定装置,基于从候选对象识别出的标识信息(例如:通过图像识别而得到的设施名、商品名等)获取该候选对象的相关信息。
另外,信息显示终端100具有信息显示功能,在确定了摄像部105拍摄到的拍摄图像中存在规定对象(第二对象,例如:接触候选对象的用户1的手指等),或者确定了候选对象与规定对象的规定位置关系的情况下,利用显示部106在用户1的视野方向上显示从上述网络上的规定装置获取的该候选对象的相关信息。
其中,信息显示终端100的上述信息显示功能,也可以在摄像部105拍摄到的拍摄图像中的候选对象与规定对象的规定位置关系例如持续一定时间(例如:基准信息表128中保持的值)以上的情况下,利用显示部106在用户1的视野方向上显示从上述网络上的规定装置获取的该候选对象的相关信息。
另外,信息显示终端100的上述信息获取功能,在选择通信部108中的通信单元111~113中的任一个时,也可以在后文详述的通信单元信息表126中对照作为针对候选对象预先保持的信息的、该候选对象的通信环境的信息所示的可通信的通信种类,选择相应种类的通信单元。
另外,信息显示终端100的上述信息获取功能,在选择通信部108中的通信单元111~113中的任一个时,也可以选择作为从规定部件例如在识别出候选对象时或之前得到的规定的检测信息的、由各通信单元111~113探测到的当前的电波强度在规定水平以上的通信单元。
另外,信息显示终端100的上述信息获取功能,在选择通信部108中的通信单元111~113中的任一个时,也可以在作为从规定部件例如在识别出候选对象时或之前得到的规定的检测信息的、从该信息显示终端100的电源管理单元120得到的电池剩余量的值为规定水平以下时,参考通信单元信息表126中的各通信单元的耗电水平的信息,选择耗电量最小的通信单元。
另外,信息显示终端100的上述信息获取功能,在选择通信部108中的通信单元111~113中的任一个时,也可以计算作为从规定部件例如在识别出候选对象时或之前得到的规定的检测信息的、从GPS单元110得到的该信息显示终端100的当前位置,与通过在地图信息127中对照从候选对象识别出的对象的标识信息(例如:设施名称等)而确定的候选对象在地图上的位置之间的距离,对该计算出的距离与通信单元信息表126中的各通信单元的通信距离的值进行对照,选择可通信距离为上述计算出的距离以上的通信单元。
另外,信息显示终端100的上述信息获取功能,在选择通信部108中的通信单元111~113中的任一个时,也可以根据针对候选对象预先保持的信息或从规定要素例如在识别出候选对象时或之前得到的规定的检测信息中的至少一个,按通信单元信息表126中的各通信单元的优先级的顺序选择通信单元。
接着,对于信息显示终端100在存储部101中保持的表类的具体结构进行说明。图4是表示第一实施方式的对象信息表125的例子的图。该对象信息表125是信息显示终端100保存针对店铺和设施、商品等各对象获取到的信息的表。其数据结构是以对象ID为键值,关联了该对象的种类、名称、通信环境和该对象的图像识别用模板等数据的记录的集合。其中,对象的图像识别用模板指的是用于从信息显示终端100的摄像部105所拍摄的拍摄图像中确定候选对象的模板,是由与该对象的形状和色彩的组合等相关的特征量等数据汇集而成的数据。
另外,图5是表示第一实施方式的通信单元信息表126的例子的图。该通信单元信息表126是保存构成通信部108的各通信单元111~113的规格和应当使用的优先级之各信息的表。其数据结构是以单元ID为键值,关联了该通信单元的通信种类、可通信距离、耗电量和使用的优先级等数据的记录的集合。
另外,图6是表示第一实施方式的基准信息表128的例子的图。该基准信息表128是保存信息显示终端100进行处理中的判断时作为基准的信息的表。其数据结构是以基准ID为键值,关联了基准种类及其基准值的各数据的记录的集合。信息显示终端100针对需要进行判断的处理预先保持标识信息,该标识信息与基准信息表128的基准ID相关联。从而,信息显示终端100在进行判断时从与该判断相关联的基准ID的记录中读取要参照的基准值,并使用该基准值。
另外,图2中示出了信息显示终端100中的存储部101还保存地图信息127的例子,由于该地图信息127是当前已广泛使用的一般的电子地图的数据,所以省略关于其具体内容的说明。
接着,对于第一实施方式中的信息显示方法的实际流程基于附图进行说明。与以下说明的信息显示方法对应的各种动作,由信息显示终端100读取至存储器103并运行的程序102实现。该程序102由用于执行以下说明的各种动作的代码构成。
图7是表示第一实施方式的信息显示方法的处理流程例1的流程图。此处,作为设想的信息显示终端100的使用状况,假定佩戴着信息显示终端100的用户1在购物广场或商业街闲逛并浏览各店铺的状况。假设该流程在信息显示终端100工作期间始终执行,以此进行说明,但也能够设想仅基于规定的开始触发而执行的应用方式。例如,作为流程开始的触发,可以采用信息显示终端100通过声音输入输出部107检测到的规定的声音的输入事件,和压力传感器等(未图示)探测到的触摸动作等各种用户指示。或者,也可以采用基于由GPS单元110检测出的位置信息或者由摄像部105拍摄到的图像,确定了用户1接近或者位于特定店铺中的事件。
此处,信息显示终端100与用户1一体地在上述购物广场中移动,对于摄像部105拍摄的广场内风景等拍摄图像,对照预先保持在对象信息表125(或者基准信息表128)中的店铺和商品等的各识别模板,识别拍摄图像中包括的候选对象,从对象信息表125中检索针对该候选对象预先保持的信息(s100)。
信息显示终端100在识别上述候选对象时,具体而言,对于上述拍摄图像,利用程序102所具备的规定的图像处理功能进行图像识别处理,对由该图像识别处理提取出的各对象与上述识别模板进行模式匹配处理,由此识别候选对象。
信息显示终端100在上述步骤s100中的检索中,例如在对于店铺“○○器具”这一候选对象成功获取到“店铺无线LAN”这样的通信环境信息的情况下(s101:“是”),根据通信单元信息表126确定支持该通信环境的通信单元,即无线LAN单元111(s102)。
另一方面,也存在虽然能够从拍摄图像中确定某些候选对象,但是对象信息表125等中对于相应模板没有注册通信环境信息的情况。这是因为,在该模板不是仅与个别特定的对象关联,而例如是用于确定作为一般概念的“快餐店”的模板的情况下,只要不是所有快餐店都具有共同的通信环境,就不能在对象信息表125中设定通信环境信息。
这样的情况下,信息显示终端100在上述步骤s100的检索中,针对该候选对象无法获取到通信环境信息(s101:“否”)。此时,信息显示终端100根据从自身具备的各部件中的至少一个得到的规定的检测信息来进行通信单元的选择动作(s103)。该情况下,信息显示终端100从预先决定的特定的部件或者根据检测信息能否获取或获取顺序而决定的部件获取检测信息,在通信单元信息表126中对照该信息,确定对应的通信单元。以下,对于该情况下的通信单元选择处理的例子以各模式进行说明。其中,信息显示终端100可以依次执行以下所示的各模式1~3的处理直到成功选择通信单元,或者也可以仅执行预先决定的任意模式。
模式1是信息显示终端100基于各通信单元111~113检测到的当前的电波强度来进行通信单元选择的模式。该情况下,信息显示终端100在上述步骤s103中,从各通信单元111~113调用探测到的电波强度的值,选择该电波强度的值在规定水平以上的通信单元(s104:“是”,s105)。例如在无线LAN单元111、移动电话单元112、近距离通信单元113中,仅移动电话单元112探测到的电波强度的值为可通信的实用值(信息显示终端100已预先识别)时,信息显示终端100选择该移动电话单元112。
在所有通信单元111~113的电波强度的值都没达到可通信的水平的情况下(s104:“否”),信息显示终端100识别为当前处于通信本身无法进行的环境中,暂时放弃获取相关信息,使处理返回上述步骤s100。并且,信息显示终端100对于本次处理中未能获取到相关信息的候选对象,优选在存储器103和/或存储部101中记录未获取到相关信息的状态值(s10),并待机直至检测到开始对其他候选对象执行的获取相关信息的处理和经过一定时间中的任一事件(s11:“否”),在检测到上述任一事件的情况下(s11:“是”),再次执行上述用于获取相关信息的一系列处理(s12)。
接着,模式2是信息显示终端100基于从电源管理单元120得到的电池剩余量的值进行通信单元选择的模式。该情况下,信息显示终端100在上述步骤s103中,从电源管理单元120调用电池115的电池剩余量的值,在该电池剩余量为规定水平以下时,参考通信单元信息表126中的各通信单元111~113的耗电水平的信息,选择耗电量最小的通信单元(s104:“是”,s105)。若为图5所示的通信单元信息表126之例,则选择单元ID“T003”的近距离通信单元113作为耗电量最少的通信单元。
接着,模式3是根据信息显示终端100与候选对象的距离而相应地进行通信单元选择的模式。该情况下,信息显示终端100在上述步骤s103中,计算从GPS单元110得到的该信息显示终端100的当前位置(坐标值),与通过在地图信息127中对照从候选对象识别出的对象的标识信息(例如:设施名等)而确定的候选对象在地图上的位置(坐标值)之间的距离,对该计算出的距离与通信单元信息表126中的各通信单元的可通信距离的值进行对照,选择可通信距离为上述计算出的距离以上的通信单元(s104:“是”,s105)。
例如,假定从GPS单元110得到的该信息显示终端100的当前位置坐标是(a,b),通过在地图信息127中对照从候选对象识别出的对象的标识信息(例如:设施名等)而确定的候选对象在地图上的位置坐标是(c,d),则其间的距离x能够按((a-c)2+(b-d)2)1/2计算。若该距离x例如是“5m”,则根据图5所示的通信单元信息表126,选择可通信距离为“5m”以上的单元ID“T001”的无线LAN单元111和单元ID“T002”的移动电话单元112。在像这样选择了多个通信单元的情况下,信息显示终端100例如选择优先级较高者,或者耗电量较少者即可。其中,在上述计算出的距离x超过了所有通信单元111~113的可通信距离的情况下(s104:“否”),信息显示终端100识别为当前处于通信本身无法进行的环境中,暂时放弃获取相关信息,使处理返回上述步骤s100。另外,如已说明的那样,信息显示终端100优选针对本次处理中未能获取到相关信息的候选对象在适当时机再次执行用于获取相关信息的一系列处理(s10~s12)。
在通过以上步骤s103~s105选择了通信单元后,信息显示终端100判定选中的该通信单元是否为能够直接访问互联网10的协议(s106)。如果该通信单元是移动电话单元112或无线LAN单元111,则信息显示终端100判定为能够直接访问互联网10(s106:“是”)。另一方面,在该通信单元为近距离通信单元113的情况下,信息显示终端100判定为不能直接访问互联网10(s106:“否”)。
在上述步骤s106中,在判定为该通信单元是能够直接访问互联网10的协议的情况下(s106:“是”),信息显示终端100利用该通信单元访问互联网10上的服务器300或设施终端400,以从候选对象识别出的标识信息(例如:通过图像识别得到的设施名、商品名等)作为键值,执行该候选对象的相关信息的检索,获取折扣券和促销信息、优惠券等各种相关信息(s107)。
另一方面,在上述步骤s106中,在判定为该通信单元是不能直接访问互联网10的协议的情况下(s106:“否”),信息显示终端100对于用户1持有的移动电话机200,利用近距离通信单元113尝试进行近距离通信13的连接建立处理(s108)。当然,在该用户1未持有具有近距离通信功能的移动电话机200的情况下,由于无法建立近距离通信13的连接,故结束该处理,返回s100。
在该尝试的结果是与移动电话机200之间成功建立了近距离通信13的连接的情况下(s109:“是”),信息显示终端100进行以移动电话机200作为路由器的所谓网络共享(tethering)处理,访问互联网10上的服务器300和/或设施终端400,与上述同样地执行该候选对象的相关信息的检索,获取相关信息(s107)。其中,在近距离通信13的连接建立处理中,首先确认或认证作为连接的建立目标的移动电话机200是否是预先与信息显示终端100配对(关联)的特定的移动电话机200。
另一方面,在上述尝试的结果是与移动电话机200之间建立近距离通信13连接失败的情况下(s109:“否”),信息显示终端100识别为不能建立用于获取相关信息的通信,暂时放弃获取相关信息,使处理返回上述步骤s100。另外,如已说明的那样,信息显示终端100优选针对本次处理中未能获取到相关信息的候选对象在适当时机再次执行用于获取相关信息的一系列处理(s10~s12)。
信息显示终端100反复执行以上各步骤直至在拍摄图像中确定了预先决定的规定对象(以下称为“显示触发”)(s109:“否”~s100)。本实施方式中,即使在上述步骤s100中检测出候选对象、并且在步骤s101中已获取到该候选对象的相关信息,只要尚未在摄像部105拍摄的包括该候选对象的拍摄图像中识别到该显示触发,就不在显示部106上显示相关信息的虚像。此处,关于显示触发,作为该实施方式中的具体例设想为用户1的身体的一部分。以下,作为该显示触发即用户1的身体部位,设想为“手指”进行说明。
例如,如图8所示,假设在与某一服装店内的摄像区域20对应的拍摄图像中,检测出了服装等商品和广告牌这样的候选对象42~45。另外,假设该情况下的信息显示终端100已执行了上述获取相关信息的处理,针对各候选对象42~45已获得相关信息。于是,信息显示终端100通过图像识别处理来判定在包括候选对象42~45的拍摄图像中是否包括作为显示触发的用户1的手指图像(s110)。为了该判定时使用的图像识别处理,信息显示终端100例如在上述基准信息表128中预先保持表示关于用户1的手指图像的特征量等的模板,能够适当使用。
然而,如图8所示,在摄像区域20的拍摄图像中不存在作为显示触发的用户1的手指图像。因此,信息显示终端100判定为在包括候选对象42~45的拍摄图像中不包括作为显示触发的用户1的手指图像(s110:“否”),不进行候选对象42~45之任一的相关信息的显示,使处理返回上述各步骤s100。
另一方面,假设用户1对上述候选对象42~45中的某一个表现出兴趣,使自身的手指接近该候选对象的实体。这样,在摄像部105拍摄到的摄像区域20的拍摄图像中,将会包含该手指与该候选对象接近或重叠的图像。在图9中,例示了作为显示触发46的用户1的手指图像与候选对象42的图像重叠的状况。
在这样的状况下,信息显示终端100判定为或确定在摄像区域20的拍摄图像中,显示触发46处于与候选对象42至少一部分重叠、或者在一定距离以内的位置关系(s110:“是”),将已在上述步骤中获取到的该候选对象42的相关信息,利用显示部106在用户1的视野方向上显示为虚像47(s111)。之后,或返回上述步骤s100,或接受用户1的指示而结束处理。另外,在上述步骤s110中,也可以测量摄像部105拍摄到的拍摄图像中候选对象与显示触发46保持规定位置关系的时间,在该测量时间超过一定时间(例如:在基准信息表128中保持的值)的情况下,在显示部106上显示该候选对象的相关信息。
如上所述,能够在信息显示终端100中始终执行相关信息的获取,并在用户对所感兴趣的、或者主动感到想要了解信息的对象,进行了伸手等人类可能采取的自然的动作的情况下,适当显示其相关信息。由此,对于佩戴信息显示终端100的用户而言,不会出现对于不特别感兴趣的对象高频度地显示不必要的信息的状况,能够尽可能避免因信息的显示而带来的厌烦感,并且能够以符合用户的自然意愿的时机和频度阅览信息,能够提高用户的舒适性和便利性。
实施例2
接着,对第二实施方式进行说明。图10是表示第二实施方式的信息显示终端的硬件结构例的图。该第二实施方式的信息显示终端100中,摄像部105不是必要结构(当然也可以具备),姿态传感器109、GPS单元110和地图信息127是必要的结构。其中,省略关于与第一实施方式的信息显示终端100同样的结构和功能等的说明。
该第二实施方式的信息显示终端100具备这样的功能,即,根据从GPS单元110得到的该信息显示终端100的当前位置坐标,从姿态传感器109得到的该信息显示终端100的朝向即用户1视线朝向的方向,和存储部101中保存的地图信息127,确定上述当前位置所示的地图上的位置和该位置处的地图上的用户1的视线方向。
另外,信息显示终端100还具备这样的功能,即,根据地图上的上述用户1的位置,利用地图信息127确定存在于上述视线方向上的对象,将该对象识别为用户1感兴趣的候选对象。
另外,信息显示终端100还具备这样的功能,即,根据针对上述候选对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一个,选择多种通信单元111~113中的特定的通信单元,并经由该通信单元访问互联网10上的服务器300和设施终端400等,基于从候选对象识别出的标识信息获取该候选对象的相关信息。
另外,信息显示终端100还具备这样的功能,即,测量用户1面向上述候选对象的时间,在该测量时间达到一定时间以上的情况下,利用显示部106在用户1的视野方向上以虚像显示已如上所述获取到的该候选对象的相关信息。
接着,对于上述第二实施方式的信息显示终端100的处理进行说明。图11是表示第二实施方式的信息显示方法的处理流程例的流程图。此处也主要针对与第一实施方式的流程的不同点进行说明。
此处,设想佩戴了信息显示终端100的用户1边在街头行走边随兴趣浏览途中的店铺的状况。该情况下,信息显示终端100每隔一定时间从GPS单元110获取该信息显示终端100的当前位置坐标的值,并且从姿态传感器109获取该信息显示终端100的朝向、即用户1视线朝向的方向的值(s200)。
接着,信息显示终端100在存储部101的地图信息127中对照上述步骤s200中得到的当前位置坐标的值,确定用户1在地图上的所在位置(s201)。并且,信息显示终端100将上述步骤s200中得到的用户1的视线方向的值(东西南北的角度等)应用到地图上的用户1的所在位置,确定用户1在地图上的什么位置面向什么方向(s202)。
该情况下的信息显示终端100例如基于地图信息127所示的GPS坐标值与地址信息之间的对应关系,对照从GPS单元110得到的当前位置坐标的值(e,f),将地图上与坐标值(e,f)对应的地址确定为用户1的所在位置。并且,信息显示终端100将从姿态传感器109得到的用户1的视线方向的值(例如设正北为0度、正东为90度、正南为180度、正西为270度的情况下,假设为45度)应用到如上所述确定的用户1的所在地址,确定用户1在地图上所在的地址面向东北方向等。
接着,信息显示终端100利用地图信息127,确定从如上所述确定的地图上的用户1的所在地址(例如:○○市○○町○丁目○番地)起的上述视线方向(例如:东北)的延长线上存在的对象中位置最近的对象,将该对象识别为用户1感兴趣的候选对象(s203)。
该情况下的信息显示终端100例如将上述地图上的从用户1的所在地址起向东北方向画线段的情况下最初到达的地图上的设施确定为候选对象等。并且,信息显示终端100在执行了上述步骤s203后,继续监视从GPS单元110得到的当前位置坐标的值和从姿态传感器109得到的用户1的视线方向的值,持续判定它们是否没有发生规定限度以上的变化(s204)。
另外,信息显示终端100根据针对上述候选对象预先保持的信息或者从规定部件得到的规定的检测信息中的至少一个,选择多种通信单元111~113中的特定的通信单元,经由该通信单元访问互联网10上的服务器300和设施终端400等,并基于从候选对象识别出的标识信息获取该候选对象的相关信息(s205)。该相关信息的获取时的通信单元的选择动作和后续的相关信息的获取处理,与第一实施方式相同。
在上述相关信息的获取之后,信息显示终端100确认上述步骤s204中执行的判定结果,判定当前位置坐标的值和视线方向的值没有发生规定限度以上的变化的状况是否持续了一定时间(s206)。在该判定的结果是判断为用户1面向上述候选对象的时间持续了一定时间(例如数秒)的情况下(s206:“是”),信息显示终端100利用显示部106在用户1的视野方向上以虚像显示如上所述获取到的该候选对象的相关信息(s207)。之后,使处理返回上述步骤s200,或者从用户1接受规定指示而结束处理。
另一方面,在上述判定的结果是判断为用户1面向上述候选对象的时间未持续一定时间的情况下(s206:“否”),信息显示终端100识别为用户1对于该候选对象并不怎么感兴趣,避免针对该候选对象执行所得到的相关信息的显示处理,使处理返回步骤s200。
这样,即使信息显示终端100是不具有摄像部105的结构,也能够在信息显示终端100中始终执行相关信息的获取,并在用户对所感兴趣的、或者主动感到想要了解信息的对象,进行了注视一定时间等人类可能采取的自然的动作的情况下,适当显示其相关信息。由此,对于佩戴信息显示终端100的用户而言,抑制了对于不特别感兴趣的对象高频度地显示不必要的信息的状况,能够尽可能避免因信息的显示而带来的厌烦感,并且能够以符合用户的自然意愿的时机和频度阅览信息,能够提高用户的舒适性和便利性。
以上对于本发明的实施方式等进行了具体说明,但本发明不限定于此,能够在不脱离其主旨的范围内进行各种变更。
根据这样的本实施方式,在可穿戴信息显示终端中,能够使信息显示的时机和频度与用户意愿相符,进而实现终端运行时间和通信费用的改善,从而提高使用终端时的用户的舒适性和便利性。
根据本说明书的记载,至少可知以下几点。即,第一实施方式的信息显示方法中,上述信息显示终端在上述信息显示处理中,可以在上述摄像部拍摄到的拍摄图像中的上述第一对象与上述第二对象的规定位置关系持续了一定时间以上的情况下,利用上述显示部在上述视野方向上显示上述获取到的该第一对象的相关信息。
由此,能够可靠地基于可穿戴信息显示终端的佩戴者带有确定兴趣地注视或者进行某种动作而使身体接近该第一对象这样的状况,进行与用户意愿高精度地相符的排除多余的信息显示。
另外,在第一实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以根据针对上述第一对象预先保持的信息——此处是该第一对象的通信环境的信息——所表示的可通信的通信种类,来选择上述多种中的相应种类的通信部。
由此,信息显示终端能够可靠且容易地识别在该第一对象周围能够使用的公共无线LAN、或者该第一对象自身提供的通信资源(无线LAN等)的存在,能够顺利且低成本地执行从该相关信息的获取至其显示的一系列处理。
另外,在第一实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以选择从规定部件得到的规定的检测信息——此处是由各通信部探测到的当前的电波强度——在规定水平以上的通信部。
由此,能够在电波强度良好的状况下利用该通信部进行效率良好的通信,能够避免必要以上的通信时间和电池消耗,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第一实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以在从规定部件得到的规定的检测信息——此处是从该信息显示终端的电源管理单元得到的电池剩余量的值——在规定水平以下时,选择耗电量最小的通信部。
由此,能够将通信部的耗电抑制在最低限度,例如在难以充电或供电的外出地点等使用信息显示终端的状况下,也能够持续进行从第一对象的确定到相关信息的获取以及显示的一系列处理。因此,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第一实施方式的信息显示方法中,上述信息显示终端可以还包括测定该信息显示终端的当前位置的定位部和保存有地图信息的存储部,在上述信息获取处理中选择通信部时,计算从上述定位部得到的该信息显示终端的当前位置与通过在上述地图信息中对照从上述第一对象识别出的对象的标识信息而确定的上述第一对象在地图上的位置之间的距离,选择可通信距离为该计算出的距离以上的通信部。
由此,在通信对方是对象或存在于其中的情况下,能够可靠地选择与其距离相应的通信部,通信性能与实际的通信环境没有分歧,能够进行效率最佳的通信,能够避免必要以上的通信时间和电池消耗,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第一实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以根据针对上述第一对象预先保持的信息或者从规定部件得到的规定的检测信息中的至少任一个,按上述各种类的优先级顺序选择通信部。
由此,例如在信息显示终端包括相当于优先级第一位的默认通信部和相当于优先级第二位的辅助通信部这2种通信部的情况下,能够进行这样的控制,即,在关于该顾客对象的信息或检测信息满足规定基准时选择默认通信部,仅在除此以外的情况下选择辅助通信部。从而,能够实现在能够使用一般可用且低廉的通信方法时通常使用默认通信部,仅在除此以外的特别状况下使用其他通信部这样的应用,能够抑制通信部工作引起的通信费用和电池消耗,从而能够提高使用终端时的用户(佩戴者)的舒适性和便利性。
另外,在第二实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以根据针对上述第一对象预先保持的信息——此处是该第一对象的通信环境的信息——所表示的可通信的通信种类,来选择上述多种中的相应种类的通信部。
由此,信息显示终端能够可靠且容易地识别在该第一对象周围能够使用的公共无线LAN、或者该第一对象自身提供的通信资源(无线LAN等)的存在,能够顺利且低成本地执行从该相关信息的获取至其显示的一系列处理。
另外,在第二实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以选择从规定部件得到的规定的检测信息——此处是由各通信部探测到的当前的电波强度——在规定水平以上的通信部。
由此,能够在电波强度良好的状况下利用该通信部进行效率良好的通信,能够避免必要以上的通信时间和电池消耗,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第二实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以在从规定部件得到的规定的检测信息——此处是从该信息显示终端的电源管理单元得到的电池剩余量的值——在规定水平以下时,选择耗电量最小的通信部。
由此,能够将通信部的耗电抑制在最低限度,例如在难以充电或供电的外出地点等使用信息显示终端的状况下,也能够持续进行从第一对象的确定到相关信息的获取以及显示的一系列处理。因此,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第二实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以计算从规定部件得到的规定的检测信息——此处是从上述定位部得到的该信息显示终端的当前位置——与上述第一对象在地图上的位置之间的距离,选择可通信距离为该计算出的距离以上的通信部。
由此,在通信对方是对象或存在于其中的情况下,能够可靠地选择与其距离相应的通信部,通信性能与实际的通信环境没有分歧,能够进行效率最佳的通信,能够避免必要以上的通信时间和电池消耗,使用终端时的用户(佩戴者)的舒适性和便利性得到提高。
另外,在第二实施方式的信息显示方法中,在上述信息显示终端于上述信息获取处理中选择通信部时,可以根据针对上述第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一个,按上述各种类的优先级顺序选择通信部。
由此,例如在信息显示终端包括相当于优先级第一位的默认通信部和相当于优先级第二位的辅助通信部这2种通信部的情况下,能够进行这样的控制,即,在关于该顾客对象的信息或检测信息满足规定基准时选择默认通信部,仅在除此以外的情况下选择辅助通信部。从而,能够实现在能够使用一般可用且低廉的通信方法时通常使用默认通信部,仅在除此以外的特别状况下使用其他通信部这样的应用,能够抑制通信部工作引起的通信费用和电池消耗,从而能够提高使用终端时的用户(佩戴者)的舒适性和便利性。
附图标记说明
1 用户(信息显示终端的佩戴者)
5 设施(对象)
10 互联网
11 移动电话网
12 无线LAN
13 近距离通信
15 定位卫星
20 摄像区域
21 虚像面
42~45 候选对象(第一对象)
46 显示触发(第二对象)
47 相关信息的虚像
100 信息显示终端
101 存储部
102 程序
103 存储器
104 运算部
105 摄像部
106 显示部
107 声音输入输出部
108 通信部
109 姿态传感器(姿态检测部)
110 GPS单元(定位部)
111 无线LAN单元
112 移动电话单元
113 近距离通信单元
115 电池
120 电源管理单元
125 对象信息表
126 通信单元信息表
127 地图信息
128 基准信息表
200 移动电话机
300 服务器
310 存储设备
400 设施终端
500 个人计算机

Claims (15)

1.一种信息显示方法,其特征在于:
由信息显示终端执行信息获取处理和信息显示处理,
其中,所述信息显示终端包括对佩戴者的视野方向进行拍摄的摄像部,在所述视野方向上进行信息显示的显示部,和与网络或能够访问所述网络的其他终端进行通信的多种通信部,
在所述信息获取处理中,在所述摄像部拍摄到的拍摄图像中基于预先决定的规定基准识别第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,
在所述信息显示处理中,在判断为或确定了所述摄像部拍摄到的拍摄图像中存在第二对象或者所述第一对象与所述第二对象具有规定的位置关系的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
2.如权利要求1所述的信息显示方法,其特征在于:
在所述信息显示处理中,所述信息显示终端在所述摄像部拍摄到的拍摄图像中的所述第一对象与所述第二对象的规定的位置关系持续一定时间以上的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
3.如权利要求1所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,根据作为针对所述第一对象预先保持的信息的、该第一对象的通信环境的信息所表示的可通信的通信种类,选择所述多种通信部中的相应种类的通信部。
4.如权利要求1所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,选择作为从规定部件得到的规定的检测信息的、由各通信部探测到的当前的电波强度为规定水平以上的通信部。
5.如权利要求1所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,在作为从规定部件得到的规定的检测信息的、从该信息显示终端的电源管理单元得到的电池剩余量的值为规定水平以下时,选择耗电量最小的通信部。
6.如权利要求1所述的信息显示方法,其特征在于:
所述信息显示终端还包括测定该信息显示终端的当前位置的定位部,和保存有地图信息的存储部,
在所述信息获取处理中选择通信部时,计算作为从规定部件得到的规定的检测信息的、从所述定位部得到的该信息显示终端的当前位置,与通过在所述地图信息中对照从所述第一对象识别出的对象的标识信息而确定的所述第一对象在地图上的位置之间的距离,选择可通信距离内包含该计算出的距离的通信部。
7.如权利要求1所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,根据针对所述第一对象预先保持的信息或者从规定部件得到的规定的检测信息中的至少任一者,按所述各种类的优先级顺序选择通信部。
8.一种信息显示方法,其特征在于:
由信息显示终端执行信息获取处理和信息显示处理,
其中,所述信息显示终端包括在佩戴者的视野方向上进行信息显示的显示部,与网络或能够访问所述网络的其他终端进行通信的多种通信部,该信息显示终端的姿态检测部,测定该信息显示终端的当前位置的定位部,和保存有地图信息的存储部,
在所述信息获取处理中,根据所述地图信息、从所述定位部得到的该信息显示终端的当前位置和从所述姿态检测部得到的该信息显示终端的朝向,将该信息显示终端的佩戴者在地图上所面向的对象识别为第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,
在所述信息显示处理中,测量所述佩戴者面向所述第一对象的时间,在该测量时间达到一定时间以上的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
9.如权利要求8所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,根据作为针对所述第一对象预先保持的信息的、该第一对象的通信环境的信息所表示的可通信的通信种类,来选择所述多种通信部中的相应种类的通信部。
10.如权利要求8所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,选择作为从规定部件得到的规定的检测信息的、由各通信部探测到的当前的电波强度为规定水平以上的通信部。
11.如权利要求8所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,在作为从规定部件得到的规定的检测信息的、从该信息显示终端的电源管理单元得到的电池剩余量的值为规定水平以下时,选择耗电量最小的通信部。
12.如权利要求8所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,计算作为从规定部件得到的规定的检测信息的、从所述定位部得到的该信息显示终端的当前位置,与所述第一对象在地图上的位置之间的距离,选择可通信距离内包含该计算出的距离的通信部。
13.如权利要求8所述的信息显示方法,其特征在于:
所述信息显示终端在所述信息获取处理中选择通信部时,根据针对所述第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,按所述各种类的优先级顺序选择通信部。
14.一种信息显示终端,其特征在于,包括:
对佩戴者的视野方向进行拍摄的摄像部;
在所述视野方向上进行信息显示的显示部;
与网络或能够访问所述网络的其他终端进行通信的多种通信部;和
执行第一处理和第二处理的运算部,其中,
在所述第一处理中,在所述摄像部拍摄到的拍摄图像中基于预先决定的规定基准识别第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,
在所述第二处理中,在判断为或确定了所述摄像部拍摄到的拍摄图像中存在第二对象或者所述第一对象与所述第二对象具有规定的位置关系的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
15.一种信息显示终端,其特征在于,包括:
在佩戴者的视野方向上进行信息显示的显示部;
与网络或能够访问所述网络的其他终端进行通信的多种通信部;
该信息显示终端的姿态检测部;
测定该信息显示终端的当前位置的定位部;
保存有地图信息的存储部;和
执行第一处理和第二处理的运算部,其中,
在所述第一处理中,根据所述地图信息、从所述定位部得到的该信息显示终端的当前位置和从所述姿态检测部得到的该信息显示终端的朝向,将该信息显示终端的佩戴者在地图上所面向的对象识别为第一对象,根据针对该第一对象预先保持的信息和从规定部件得到的规定的检测信息中的至少任一者,选择所述多种通信部中的规定种类的通信部,并经由该通信部访问所述网络或所述其他终端,基于从所述第一对象识别出的标识信息从所述网络获取该第一对象的相关信息,
在所述第二处理中,测量所述佩戴者面向所述第一对象的时间,在该测量时间达到一定时间以上的情况下,利用所述显示部在所述视野方向上显示所述获取的该第一对象的相关信息。
CN201480077827.0A 2014-04-08 2014-04-08 信息显示方法和信息显示终端 Active CN106164838B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/060217 WO2015155841A1 (ja) 2014-04-08 2014-04-08 情報表示方法および情報表示端末

Publications (2)

Publication Number Publication Date
CN106164838A true CN106164838A (zh) 2016-11-23
CN106164838B CN106164838B (zh) 2020-03-03

Family

ID=54287444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077827.0A Active CN106164838B (zh) 2014-04-08 2014-04-08 信息显示方法和信息显示终端

Country Status (4)

Country Link
US (1) US10445577B2 (zh)
JP (1) JP6177998B2 (zh)
CN (1) CN106164838B (zh)
WO (1) WO2015155841A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6312712B2 (ja) * 2014-01-15 2018-04-18 マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2016117116A1 (ja) * 2015-01-23 2016-07-28 日立マクセル株式会社 表示装置および表示方法
US9854529B2 (en) * 2015-12-03 2017-12-26 Google Llc Power sensitive wireless communication radio management
WO2018216220A1 (ja) * 2017-05-26 2018-11-29 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP6853152B2 (ja) * 2017-09-26 2021-03-31 株式会社Nttドコモ 情報処理装置、端末装置および情報処理システム
TWI633465B (zh) * 2017-11-21 2018-08-21 瑞軒科技股份有限公司 虛擬實境裝置及虛擬實境裝置的操作方法
JP6968689B2 (ja) * 2017-12-27 2021-11-17 Dynabook株式会社 電子機器、ウェアラブル機器及び表示制御方法
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010011010A1 (en) * 2000-01-31 2001-08-02 Fujitsu Limited Communication controller and computer product
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN101547506A (zh) * 2009-02-17 2009-09-30 华中科技大学 基于信号接收强度信息指纹的gsm网络定位用户方法
WO2010004788A1 (ja) * 2008-07-11 2010-01-14 エヌ・ティ・ティ・ブロードバンドプラットフォーム株式会社 無線中継装置
US20110158478A1 (en) * 2008-09-11 2011-06-30 Brother Kogyo Kabushiki Kaisha Head mounted display
CN102946591A (zh) * 2012-11-15 2013-02-27 天津黑米网络科技有限公司 一种利用WiFi实现即时发布信息的方法
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000194726A (ja) * 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
JP4631987B2 (ja) 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
JP3957040B2 (ja) 2000-01-31 2007-08-08 富士通株式会社 通信制御装置および通信制御プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに通信制御プログラム
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US20120191542A1 (en) * 2009-06-24 2012-07-26 Nokia Corporation Method, Apparatuses and Service for Searching
WO2011122654A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム
EP2557782B1 (en) * 2010-04-09 2019-07-17 Cyber Ai Entertainment Inc. Server system for real-time moving image collection, recognition, classification, processing, and delivery
JP5418386B2 (ja) * 2010-04-19 2014-02-19 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9330196B2 (en) * 2010-11-01 2016-05-03 Seven Networks, Llc Wireless traffic management system cache optimization using http headers
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
CN103377405A (zh) * 2012-04-24 2013-10-30 国际商业机器公司 部署和修改面向服务架构部署环境模型的方法和系统
IN2015DN02046A (zh) * 2012-09-21 2015-08-14 Sony Corp
US9603049B2 (en) * 2013-07-22 2017-03-21 Seven Networks, Llc Extending delay tolerance of mobile applications for optimizing mobile traffic management
US9563262B2 (en) * 2013-09-05 2017-02-07 Lenovo (Beijing) Co., Ltd. Electronic apparatus and information processing method
JP6118913B2 (ja) * 2013-09-24 2017-04-19 日立マクセル株式会社 表示装置
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
JP6312712B2 (ja) * 2014-01-15 2018-04-18 マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
JP2015135447A (ja) * 2014-01-20 2015-07-27 株式会社日立エルジーデータストレージ 映像投射装置、ヘッドマウントディスプレイ
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP2015210348A (ja) * 2014-04-25 2015-11-24 株式会社日立エルジーデータストレージ 光源モジュールおよび映像投射装置
WO2015174777A1 (ko) * 2014-05-15 2015-11-19 삼성전자 주식회사 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
US9857863B2 (en) * 2014-10-20 2018-01-02 Seiko Epson Corporation Display apparatus, control method for display apparatus, and program that can switch an operation mode of a display apparatus from a normal operation mode to a battery replacement mode
JP6535456B2 (ja) * 2014-11-10 2019-06-26 株式会社日立エルジーデータストレージ 映像投射装置及びヘッドマウントディスプレイ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010011010A1 (en) * 2000-01-31 2001-08-02 Fujitsu Limited Communication controller and computer product
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法
WO2010004788A1 (ja) * 2008-07-11 2010-01-14 エヌ・ティ・ティ・ブロードバンドプラットフォーム株式会社 無線中継装置
US20110158478A1 (en) * 2008-09-11 2011-06-30 Brother Kogyo Kabushiki Kaisha Head mounted display
CN101547506A (zh) * 2009-02-17 2009-09-30 华中科技大学 基于信号接收强度信息指纹的gsm网络定位用户方法
CN102946591A (zh) * 2012-11-15 2013-02-27 天津黑米网络科技有限公司 一种利用WiFi实现即时发布信息的方法

Also Published As

Publication number Publication date
CN106164838B (zh) 2020-03-03
US10445577B2 (en) 2019-10-15
JP6177998B2 (ja) 2017-08-09
WO2015155841A1 (ja) 2015-10-15
JPWO2015155841A1 (ja) 2017-04-13
US20170116479A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
CN106164838A (zh) 信息显示方法和信息显示终端
US9411780B1 (en) Employing device sensor data to determine user characteristics
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
CN109284445B (zh) 网络资源的推荐方法、装置、服务器及存储介质
CN109107155B (zh) 虚拟物品的调整方法、装置、终端及存储介质
CN106471860B (zh) 移动终端和用于控制其的方法
CN107835367A (zh) 一种图像处理方法、装置及移动终端
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
KR20180099026A (ko) 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN108781262B (zh) 用于合成图像的方法和使用该方法的电子装置
WO2022048398A1 (zh) 多媒体数据拍摄方法及终端
CN110765525B (zh) 生成场景图片的方法、装置、电子设备及介质
CN111104402A (zh) 查找数据的方法、装置、电子设备及介质
CN111651693A (zh) 数据展示方法、数据排序方法、装置、设备及介质
CN111028071A (zh) 账单处理方法、装置、电子设备及存储介质
CN113609358A (zh) 内容分享方法、装置、电子设备以及存储介质
CN112870697A (zh) 基于虚拟关系养成程序的交互方法、装置、设备及介质
KR20160104288A (ko) 모바일 디바이스와 연동하여 식사 여부를 판단하는 웨어러블 디바이스 및 그 제어 방법
CN111563201A (zh) 内容推送方法、装置、服务器及存储介质
CN111754272A (zh) 广告推荐方法、推荐广告显示方法、装置及设备
CN110399183B (zh) 虚拟宠物的繁育方法、装置、设备及存储介质
CN112989198B (zh) 推送内容的确定方法、装置、设备及计算机可读存储介质
CN110168599A (zh) 一种数据处理方法及终端
CN109618018B (zh) 用户头像显示方法、装置、终端、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180620

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Osaka Japan

Applicant before: Hitachi Maxell, Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220613

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.